Anthropic e OpenAI buscam controlar relatórios de segurança de IA

A Anthropic e a OpenAI buscaram um controle significativo sobre o que avaliadores externos podem publicar sobre suas inteligências artificiais.

Empresas estariam preocupadas com a possibilidade de as descobertas

As empresas estariam preocupadas com a possibilidade de as descobertas revelarem segredos comerciais, segundo duas pessoas familiarizadas com as discussões.

O CEO da Anthropic, Dario Amodei, afirmou no mês passado que os avaliadores externos deveriam ter o direito de publicar as conclusões "sem controle editorial".

A OpenAI concordou dias depois, afirmando que os avaliadores deveriam ter "independência editorial".

Empresas de IA temem que funcionários avaliadores que trabalham

As empresas de IA temem que funcionários avaliadores que trabalham dentro das empresas possam levar informações confidenciais para a concorrência, de acordo com fontes que pediram para não serem identificadas, pois o assunto é privado.

Entre as medidas em discussão para evitar vazamentos de propriedade intelectual, estão a observação, por parte dos funcionários, das equipes alocadas em campo durante o trabalho e a proibição de que avaliadores alocados em um laboratório trabalhem simultaneamente em outro.

Mas o que os laboratórios consideram propriedade intelectual crucial pode se sobrepor a informações relevantes para avaliar o risco de um modelo. Isso levaria a discussões e redações, disse uma pessoa com conhecimento das negociações.

Especialistas afirmaram que a independência dos avaliadores é uma preocupação, visto que a Anthropic e a OpenAI escolhem quem realizará essas avaliações.

As discussões destacam a tensão entre a necessidade de conscientizar o mundo sobre a inteligência artificial potencialmente perigosa e as exigências de proteção de segredos comerciais por parte de empresas de IA que buscam avaliações trilionárias em suas ofertas públicas iniciais (IPOs).

O resultado das negociações ajudará a determinar como o mundo analisa uma tecnologia que, segundo alguns de seus criadores, pode estar avançando além da capacidade da humanidade de gerenciar.

Sem padrões e legislação para avaliações independentes, alguns especialistas afirmaram que as empresas que desenvolvem os modelos de IA mais poderosos poderiam ditar como seus sistemas são examinados, deixando os avaliadores à mercê dos próprios laboratórios.

As duas pessoas com conhecimento do assunto disseram que, até 5 de outubro, a Anthropic e a OpenAI buscavam um controle editorial rigoroso sobre o que os avaliadores podiam publicar.

Em 8 de outubro, as conversas entre a Anthropic e alguns avaliadores pareciam ter evoluído, segundo uma pessoa familiarizada com o assunto.

Em resposta a perguntas da Reuters, a Anthropic afirmou que buscar um controle significativo sobre as publicações de avaliadores internos não caracteriza com precisão todas as suas discussões com avaliadores independentes.

A empresa responsável pelo Claude afirmou que, em conversas recentes com avaliadores com quem já trabalhou, deixou claro que os revisores externos controlam seus métodos, critérios de avaliação, conclusões e o que será publicado.

Para novas empresas avaliadoras, a Anthropic afirmou que se reserva o direito de comentar e aprovar os relatórios à medida que os avaliadores aprendem como seus modelos funcionam e estabelecem uma relação de trabalho.

A OpenAI, por sua vez, afirmou que não estava buscando direitos de aprovação sobre o texto integral dos relatórios produzidos pelos avaliadores.

A empresa declarou que sua prática padrão é redigir informações confidenciais e que os avaliadores podem divulgar se redigiram informações importantes.

A desenvolvedora criadora do ChatGPT afirmou no mês passado que os laboratórios de IA e os avaliadores devem concordar com o escopo e o acesso antes dos testes, divulgar os métodos e conflitos de interesse e permitir que os avaliadores controlem suas conclusões, ao mesmo tempo que permitem que os laboratórios protejam as informações sensíveis.

De acordo com um contrato visto pela Reuters, a linguagem que os laboratórios de IA já utilizam em certos contratos com empresas que avaliam seus modelos pode impedir que elas publiquem informações confidenciais sem consentimento.