Claude colocou à prova as capacidades de seus modelos de IA - incluindo Claude Mythos e os modelos Claude Opus - em tarefas de bioinformática. O desempenho chamou atenção: a inteligência artificial conseguiu encontrar soluções para desafios que especialistas humanos não conseguiram resolver.
Desenvolvido pela Anthropic, o Claude Mythos segue no centro das conversas. Na área de cibersegurança, suas habilidades fora do comum ao mesmo tempo assustam e geram expectativas positivas. Ainda assim, apesar de a maior parte da repercussão até aqui ter se concentrado em segurança digital, vale lembrar que Mythos, assim como os demais modelos da Anthropic, é uma IA generativa de uso geral.
Por isso, sua existência pode abrir caminho para avanços relevantes em outras frentes, como a ciência. Um estudo da Anthropic indica que Mythos conseguiu resolver problemas de bioinformática que nem mesmo especialistas humanos foram capazes de solucionar.
Anthropic cria uma nova avaliação e mostra o potencial do Mythos
Em termos simples, bioinformática é o uso de computação, matemática e estatística aplicado às ciências biológicas. Para medir o nível de modelos de IA nesse campo, a Anthropic elaborou um novo benchmark chamado BioMysteryBench, formado por 99 questões complexas.
A proposta envolve problemas que são difíceis - ou até inviáveis - de resolver, mesmo quando existe uma resposta correta que pode ser verificada. Um exemplo citado no estudo é: “De qual espécie viral o paciente humano está infectado, com base nos dados de sequenciamento de RNA (RNA-seq)?”. A tarefa exige que a IA trabalhe com dados e ferramentas, o que torna o processo trabalhoso; por outro lado, a confirmação da resposta correta pode ser feita de forma objetiva por meio de um teste de PCR.
Das 99 perguntas, 73 puderam ser respondidas por um painel de especialistas. Nessa fatia considerada solucionável por humanos, o Claude Mythos acertou 82,6 % dos casos. Já o Claude Opus 4.7 - modelo que a Anthropic já disponibiliza ao público - ficou em 78,9 %.
O ponto mais marcante, porém, é que a IA também conseguiu responder parte das 23 questões que os especialistas humanos não conseguiram resolver. No Claude Mythos, a taxa de acertos foi de 29,6 %. E, no Claude Opus 4.7, o índice ficou em 27 %.
Como essa diferença pode ser explicada?
A Anthropic acompanhou o encadeamento de raciocínio do Claude Opus 4.6, que também foi capaz de resolver vários problemas que os especialistas classificaram como insolúveis. Segundo a empresa, parte da diferença tem relação com uma característica própria da IA: o volume de conhecimento disponível.
O laboratório afirma: “A vasta base de conhecimentos subjacente do Claude contém informações sobre biologia estrutural, perfis moleculares e meta-análises oriundas de centenas de milhares de artigos”. Já no caso de humanos, seria necessário executar meta-análises ou integrar diversas bases de dados para chegar a conclusões semelhantes.
E não se trata apenas de “saber mais”. O estudo sugere que a IA também acabou criando maneiras novas de atacar certos problemas - abordagens das quais cientistas poderiam tirar inspiração. Em linhas gerais, quando Claude não tem segurança sobre uma resposta, ele recorre a múltiplos métodos e reúne evidências vindas dessas rotas diferentes para então chegar a uma conclusão.
Claude Mythos não é apenas uma IA de cibersegurança
Por enquanto, o lançamento do Claude Mythos segue bloqueado (com exceção de algumas organizações), porque sua aptidão em cibersegurança poderia ser explorada por agentes mal-intencionados para encontrar novas falhas e usá-las para invadir softwares - em vez de reportá-las para correção.
Um exemplo citado é que, usando o Mythos, a Mozilla identificou 271 falhas de segurança no Firefox, que foram corrigidas em uma atualização do navegador.
Ainda assim, o estudo reforça que o Mythos apresenta desempenho muito alto em outras áreas e, portanto, poderia beneficiar a humanidade - desde que os riscos ligados à cibersegurança sejam neutralizados. A Anthropic já havia mostrado um pouco das capacidades do Mythos em programação, em raciocínio e em raciocínio visual ao publicar uma série de avaliações durante o lançamento do Opus 4.7.
A empresa também sinaliza a intenção de lançar o Claude Mythos - ou outro modelo do mesmo patamar - quando conseguir eliminar os riscos de cibersegurança. Inclusive, medidas que podem ser adotadas para tornar o Claude Mythos mais seguro estão sendo testadas atualmente no Claude Opus 4.7.
O que achamos
O anúncio do Claude Mythos ganhou enorme repercussão por causa de suas habilidades em cibersegurança. Só que o novo estudo da Anthropic muda o foco da conversa ao deixar mais claro para o público que esse modelo de inteligência artificial pode ter outras aplicações e, potencialmente, impulsionar descobertas científicas importantes.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário