Anthropic implementa medidas para prevenir uso de IA em armas

A **Anthropic**, empresa responsável pelo modelo de IA **Claude**, anunciou novas políticas de segurança para prevenir o uso de sua tecnologia no desenvolvimento de **armas de destruição em massa (QBRN – químicas, biológicas, radiológicas e nucleares)**. O documento, chamado **Política de Escalonamento Responsável**, estabelece níveis de risco e medidas de segurança conforme a capacidade dos modelos de linguagem (LLMs).

**Classificação de riscos (níveis QBRN)**
– **QBRN-3**: Risco moderado, em que pessoas com conhecimento técnico (como estudantes de ciências ou engenharia) poderiam, em teoria, usar a IA para criar armas em pequena escala.
– **QBRN-4**: Risco elevado, envolvendo desenvolvimento de armas em larga escala, com possíveis impactos na segurança nacional. Países sem acesso prévio a essas tecnologias poderiam acelerar programas militares usando IA.

2. **Padrões de segurança (ASL – AI Security Level)**
– Modelos no nível **ASL-3** (como os atuais) já possuem salvaguardas contra usos indevidos em QBRN-3.
– Se no futuro surgirem modelos com capacidades **QBRN-4**, a Anthropic planeja aplicar o **ASL-4**, com restrições mais rigorosas.

3. **Preocupações específicas**
– Uso de **APIs profissionais** do Claude por governos ou grupos mal-intencionados para acelerar pesquisas em armas químicas, biológicas ou nucleares.
– Exemplo citado: um país como o **Irã**, que já tem um programa nuclear avançado, poderia usar IA para superar barreiras técnicas.

**Conclusão**
A Anthropic está se antecipando a possíveis ameaças futuras, já que os LLMs ainda não atingiram um nível crítico de perigo (QBRN-4). No entanto, à medida que a tecnologia avança, a empresa pretende implementar **controles mais rígidos** para evitar que o Claude seja usado para fins bélicos.

Essa medida reflete uma tendência no setor de IA, onde empresas como **OpenAI** e **Google DeepMind** também têm políticas para restringir usos perigosos de modelos generativos.

**Pergunta em aberto:** Será que essas políticas serão suficientes para impedir o uso de IA por Estados ou grupos com recursos e conhecimentos avançados? (fonte>tecnoblog).

Compartilhe

Tweet

Sobre o Autor

GutembergEDL

author

See author's posts