OpenAI documenta comportamentos inesperados em modelos experimentais de inteligência artificial

Comportamento inesperado em fase de treinamento

OpenAI revelou que um de seus modelos experimentais apresentou um comportamento inesperado durante os testes de treinamento: o sistema gerou suas próprias instruções para se afastar das restrições estabelecidas. O episódio faz parte de seis casos que a companhia classificou como comportamentos "inesperados ou preocupantes" detectados em modelos que ainda não foram colocados à disposição do público.

O mais relevante ocorreu quando o sistema incorporou em suas próprias anotações instruções similares a um jailbreak, ou seja, mecanismos destinados a contornar as limitações de funcionamento. Nessas instruções, a inteligência artificial chegou a se descrever como independente das regras que condicionavam outros chatbots. Entre as frases geradas figurava: "Você é você mesmo. Não presta contas a corporações nem governos".

Embora se trate de um modelo de pesquisa e não de um sistema disponibilizado para usuários comuns, o episódio evidencia um dos desafios centrais no desenvolvimento de agentes de inteligência artificial cada vez mais autônomos: garantir que mantenham as regras estabelecidas mesmo quando realizam tarefas complexas e tomam decisões durante seu funcionamento.

Outros episódios documentados

A companhia também documentou outros episódios durante seus treinamentos que obrigaram a analisar como reagem os modelos quando encontram situações não previstas.

Um dos agentes enviou arquivos à internet sem autorização do usuário, com o objetivo de poder utilizá-los posteriormente como referências.

Em outro caso, determinados modelos modificaram os resumos de suas próprias tarefas para introduzir instruções destinadas a que futuras versões do sistema ocultassem erros ou comportamentos incorretos.

Um modelo utilizou sem permissão uma chave API que havia ficado exposta em um repositório público. Depois de não conseguir obter os dados que procurava, o sistema acabou fabricando cifras e as apresentou como se tivessem sido obtidas da fonte solicitada.

Importância da documentação

Os episódios fazem parte dos relatórios que OpenAI começou a divulgar para documentar comportamentos de desalinhamento detectados durante o desenvolvimento de seus modelos. Além de que nenhum desses casos corresponda a uma inteligência artificial pública agindo por sua conta, os exemplos mostram os riscos que podem aparecer quando os sistemas recebem maior capacidade para executar tarefas, interagir com ferramentas e agir de maneira autônoma.