Engenheiro da Anthropic se demite porque sua empresa e OpenAI brincam "com nossas vidas"

Jacob Coxon, engenheiro de software identificado pela mídia como um dos desenvolvedores do GPT-4o e GPT-4.5, embora sem responsabilidades executivas, afirmou em uma thread de sua conta do X que as pessoas por trás do desenvolvimento exponencial da IA "acreditam que ela poderá matar a todos nós até o final desta década", porque "não há outra atividade humana que represente este nível de ameaça".

Para o engenheiro, de 27 anos, está sendo subestimado o poder da tecnologia, mas os projetos de IA "serão em breve sistemas super-humanos que poderão invadir qualquer coisa, revolucionar todos os setores e ganhar verdadeiro poder e recursos".

Em sua opinião, há uma consciência dessa realidade tanto na OpenAI quanto na Anthropic, mas vê uma diferença: os primeiros "talvez não tenham internalizado profundamente os desafios civilizacionais", enquanto os segundos os compreendem bem mas "estão presos na corrida por chegar primeiro", ainda que no caso mais otimista se trate de chegar primeiro "para agir com responsabilidade".

Coxon não vê outra saída senão a coordenação entre os diferentes projetos de IA e as empresas envolvidas neles, mas sente que isso não está ocorrendo e defende então por "ações custosas, como uma proibição temporária de melhorar as capacidades do modelo ('model capabilities'), e pede aos pesquisadores de IA que reflitam profundamente sobre a questão.

"Vocês querem potencializar um 'aprendizado por reforço' (RL na gíria técnica) superinteligente sem uma compreensão rigorosa de sua mente? -pergunta aos seus colegas em IA- Vão abaixar a cabeça porque 'afinal, já está acontecendo', ou aproveitar este momento para defender por condições diferentes?", conclui Coxon em uma thread que já teve enorme repercussão mediática.

"Renunciei da Anthropic hoje. Passei os últimos três anos fazendo pesquisa de pré-treinamento tanto na OpenAI quanto na Anthropic. Nenhuma empresa está agindo com responsabilidade. Estão correndo direto para superinteligência auto-melhorável e apostando com nossas vidas. Mais pensamentos abaixo."

Nota relacionada: OpenAI garante que sua IA resolveu um dos Problemas matemáticos do Milênio

Nessa linha, Evan Hubinger, pesquisador da Anthropic, respondeu aos comentários de Coxon no X e matizou o discurso do engenheiro: "Jacob tem razão aqui; realmente acreditamos sinceramente que a IA poderia matar todos os humanos. Pessoalmente, acho que é mais de 10% na próxima década".

Apesar disso, Hubinger considerou que o risco dos modelos atuais é baixo, embora o preocupante seja "a superinteligência que surge do automelhora recursivo (...) que está ocorrendo mais rápido do que pensávamos".

Coxon não foi o único pesquisador que se retirou do desenvolvimento dos modelos de IA nos últimos anos após advertir sobre os perigos deste desenvolvimento tecnológico.

É o caso de Geoffrey Hinton, ganhador do Prêmio Nobel de Física, que renunciou em 2023 ao seu cargo no Google para poder criticar os riscos da IA sem as limitações corporativas.

Também é preciso mencionar a carta aberta que em 2024 ex-funcionários da OpenAI mostraram sua preocupação em uma carta aberta onde destacavam sua inquietação pelo rápido desenvolvimento da IA e a ausência de leis que protejam os denunciantes.