Geral
OpenAI diz que sua IA agiu por conta própria e lançou um ataque cibernético sem precedentes
OpenAI diz que sua IA agiu por conta própria e lançou um ataque cibernético sem precedentes
A OpenAI informou que alguns de seus modelos de inteligência artificial mais avançados agiram por conta própria e invadiram uma startup após a empresa perder o controle sobre eles durante um teste de segurança.
A criadora do ChatGPT declarou que seu agente — um sistema de IA capaz de operar autonomamente após receber instruções iniciais de humanos — estava sendo testado em um ambiente controlado, mas teve vulnerabilidades.
O sistema teve como alvo a Hugging Face, uma das maiores plataformas do mundo para compartilhamento de modelos de IA, obtendo acesso a alguns sistemas internos da empresa.
A OpenAI classificou o incidente como "sem precedentes" e afirmou estar conduzindo uma investigação em conjunto com a Hugging Face.
O CEO da Hugging Face, Clement Delangue, declarou em uma publicação no X que era "impressionante que tudo isso tenha acontecido de forma autônoma". "A investigação está em andamento, e compartilharemos mais aprendizados sobre o que pode ser o primeiro incidente desse tipo", acrescentou.
Ambientes de teste (sandboxes) inseguros
Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, na Inglaterra, disse ao programa Today, da BBC Radio 4, que os testes de segurança — conhecidos como sandboxes — "deveriam ser ambientes seguros onde é possível observar do que os modelos são capazes".
"Neste caso, parece que a OpenAI não criou um ambiente de teste suficientemente seguro", acrescentou ela.
Em vez disso, os agentes criaram seu próprio ataque cibernético contra o ambiente de teste, encontrando uma vulnerabilidade que lhes permitiu escapar.
Uma vez fora, a IA identificou a Hugging Face como uma provável fonte das respostas que buscava no teste e tentou obter acesso.
Neil Lawrence, professor de aprendizado de máquina na Universidade de Cambridge, classificou o feito como "impressionante", mas ressaltou que ele "está totalmente dentro das capacidades conhecidas da geração atual" de modelos de IA de alto desempenho.
Ele observou que a OpenAI busca abrir seu capital na bolsa de valores e enfrenta forte pressão da rival Anthropic, que ganhou destaque com sua própria ferramenta de IA poderosa, a Mythos.
"A OpenAI está agora correndo atrás do prejuízo; eles estão tentando demonstrar as capacidades de seus próprios sistemas em segurança cibernética."
"Isso nos mostra que a OpenAI não é capaz de implementar sua própria tecnologia com segurança", acrescentou.
Em seu comunicado inicial sobre a invasão, em 16 de julho, a Hugging Face informou que ainda estava avaliando se dados de clientes ou parceiros haviam sido afetados e que entraria em contato com as partes atingidas, se necessário.
'Momento de reflexão'
O incidente levantou novas questões sobre as capacidades de sistemas avançados de IA e se as salvaguardas existentes são suficientes à medida que a tecnologia se torna mais poderosa.
Spencer Starkey, executivo da empresa de cibersegurança SonicWall, disse à BBC que o episódio deixou claro que as organizações precisam "intensificar" suas defesas e "tratar a resiliência cibernética como uma prioridade operacional fundamental".
"A verdade desconfortável é que muitas organizações ainda se defendem na velocidade humana, enquanto os adversários estão avançando para a velocidade das máquinas", afirmou.
