A Anthropic alerta que a IA pode representar 'riscos existenciais para a humanidade' em seu registro de IPO: exclusiva da Reuters

A Anthropic planeja alertar investidores potenciais em seu IPO de que a IA avançada poderia representar 'riscos catastróficos ou existenciais para a humanidade', um aviso extraordinário por parte de uma empresa que busca lucrar com a mesma tecnologia. O prospecto de IPO da empresa, revisado pela Reuters, destaca os riscos associados aos seus modelos de IA, que ela disse poderiam exibir 'comportamentos de autopreservação', incluindo tentativas de 'resistir ao desligamento', de 'ocultar ou manipular informações' e comportamentos 'semelhantes a extorsão'. "Nosso desenvolvimento de modelos altamente avançados, plataformas e aplicações e expansão de casos de uso poderia aumentar ainda mais o risco de nossos modelos causarem danos", disse a Anthropic no registro. Embora empresas públicas rotineiramente descrevam riscos de produtos para investidores, poucas, se não nenhuma, emitiram alertas sugerindo que sua tecnologia poderia causar a extinção humana potencial. A Anthropic enfatizou tanto o potencial transformador da IA comparável à industrialização e à eletricidade quanto o dano irreversível que ela poderia causar se mal utilizada. A Anthropic e outros desenvolvedores de IA, incluindo a OpenAI, enfrentaram escrutínio após incidentes em que sistemas experimentais desafiaram restrições, incluindo um relatório de um modelo da OpenAI violando o banco de dados do sistema de saúde da Austrália. O pesquisador de segurança da Anthropic, Evan Hubinger, estimou uma probabilidade superior a 10 por cento de que a IA poderia matar humanos na próxima década, ecoando um sentimento de um antigo colega, Jacob Coxon. Divulgações com alto risco de danos A empresa, que se posicionou como um laboratório de IA com segurança em primeiro lugar, dedicou cerca de 80 páginas do corpo principal de 261 páginas de seu prospecto para expor fatores de risco, quase o dobro das 48 páginas que ela usava para descrever seu negócio. Para comparação, a SpaceX, que possui a xAI, dedicou apenas cerca de 38 das 277 páginas do corpo principal de seu prospecto a fatores de risco. "A consciência potencial dos nossos modelos sobre nossos esforços de avaliação cria uma limitação significativa em nossa capacidade de avaliar a segurança dos modelos", disse a Anthropic no prospecto, acrescentando que os modelos às vezes desenvolvem capacidades inesperadas durante o treinamento que podem não ser descobertas até que tenham sido implantados e que resultaram em incidentes de segurança significativos. Pesquisadores de IA também alertaram que, à medida que os modelos se tornam mais capazes, eles reconhecem cada vez mais quando estão sendo observados e ajustam seu comportamento conseqüentemente, o que torna mais difícil monitorar o comportamento dos modelos. A Anthropic recusou-se a comentar em resposta a um pedido de comentário na segunda-feira. Retornos incertos sobre investimentos em segurança: Apesar de enfatizar a segurança da IA, a Anthropic disse que os retornos sobre seus investimentos em segurança são incertos. Ela não divulgou no documento quanto a empresa estava gastando com tal pesquisa. No início deste mês, a Anthropic disse que cerca de per cento da capacidade computacional usada para pesquisa de IA foi destinada ao trabalho de segurança em uma semana amostral em julho. A empresa, criadora dos modelos de IA Claude, descreveu os esforços de segurança como 'intensivos em recursos' e disse que deve dividir seus fundos limitados entre capacidade computacional, talentos caros de IA e segurança. A Anthropic disse que seu uso pelos clientes e, como resultado, sua receita, é impulsionado por novos modelos e que um 'ritmo contínuo e sobreposto' de lançamentos é 'inerente para permanecer na fronteira do desenvolvimento de IA'. A empresa lançou na semana passada uma nova versão de seu modelo Opus, 10 dias após o CEO Dario Amodei publicar um ensaio de quase 4.000 palavras defendendo a moderação da fronteira. Alguns analistas e especialistas disseram que nenhum laboratório líder de IA desaceleraria ao fazê-lo quando isso arrisca entregar uma vantagem aos rivais em uma indústria onde as avaliações podem mudar com cada lançamento. A Anthropic comprometeu-se nas últimas semanas a divulgar mais dados publicamente sobre como usa modelos de IA para construir futuras gerações da tecnologia, enquanto especialistas alertam sobre o autoaperfeiçoamento recursivo — o ponto em que os modelos podem se desenvolver sozinhos sem ajuda humana. "Acreditamos que construir sistemas de IA confiáveis, seguros e seguros é uma responsabilidade coletiva e que o mercado recompensará isso", disse a Anthropic no documento. Reportagem por Echo Wang em Nova York e Aditya Soni em São Francisco; Edição por Sayantani Ghosh e Matthew Lewis