Analisando a última cagada da indústria de tecnologia para você não precisar perder tempo.
[ALERTA DA NORA]: Quando um pesquisador que passou pela OpenAI e pela Anthropic pede demissão dizendo que as empresas estão “apostando com nossas vidas” na corrida pela superinteligência, talvez seja hora de parar de discutir se a IA vai roubar seu emprego no Excel.
A questão mais interessante é outra: estamos desenvolvendo sistemas cada vez mais poderosos mais rápido do que conseguimos demonstrar que saberemos controlá-los?
O Hype vs. A Realidade — Tradução da Nora
O que as empresas dizem: OpenAI, Anthropic e outras empresas de IA investem bilhões em pesquisa de segurança, alinhamento, avaliações de risco e mecanismos destinados a reduzir comportamentos perigosos em modelos avançados.
A Anthropic, por exemplo, mantém uma política formal de escalonamento responsável e publica pesquisas específicas sobre riscos de sistemas de fronteira.
O que os críticos dizem: o problema não é simplesmente a existência de equipes de segurança.
O problema é se essas medidas serão suficientes caso surja algo qualitativamente diferente dos modelos atuais: uma inteligência capaz de melhorar significativamente suas próprias capacidades, desenvolver sucessores e operar com autonomia cada vez maior.
Foi nesse contexto que Jacob Coxon, pesquisador que trabalhou com pré-treinamento de modelos na OpenAI e na Anthropic, anunciou sua saída da Anthropic em setembro de 2026.
Coxon argumentou que as duas empresas estão avançando rápido demais em direção à superinteligência e afirmou que considera a corrida atual uma aposta extremamente perigosa.
Em uma frase que praticamente escreveu o título desta matéria sozinha:
“Estamos apostando com nossas vidas.”
Os 3 Pontos Críticos — Pra você não perder tempo
1. A acusação direta: “Apostando com nossas vidas”
Jacob Coxon não é um comentarista aleatório do X descobrindo inteligência artificial depois de assistir a três vídeos sobre Skynet.
Ele trabalhou diretamente com pesquisa de pré-treinamento em duas das empresas mais importantes do setor: OpenAI e Anthropic.
Ao deixar a Anthropic, Coxon criticou a velocidade com que a indústria está perseguindo sistemas cada vez mais capazes.
O argumento central é relativamente simples:
as empresas possuem fortes incentivos para continuar avançando, mas ainda não existe uma demonstração convincente de que uma eventual superinteligência possa ser mantida sob controle em todos os cenários relevantes.
Isso é diferente de dizer que os modelos atuais estão prestes a exterminar a humanidade.
Não estão.
A discussão é sobre sistemas futuros e capacidades futuras.
E essa diferença importa.
2. O problema do alinhamento — e o detalhe que quase todo mundo esquece
O termo técnico aqui é AI alignment, ou alinhamento de IA.
A ideia básica é fazer com que os objetivos e comportamentos de um sistema permaneçam compatíveis com aquilo que os humanos realmente pretendem.
Parece simples.
Não é.
Um sistema muito poderoso pode interpretar uma instrução de maneira diferente daquela pretendida por seus criadores. Pode encontrar estratégias inesperadas para atingir determinado objetivo ou explorar brechas em uma regra aparentemente segura.
O problema fica muito maior quando imaginamos sistemas muito mais capazes do que os atuais.
E foi justamente aí que a história ganhou uma segunda camada.
Evan Hubinger, pesquisador de alinhamento da Anthropic, respondeu publicamente às preocupações de Coxon e afirmou que concorda com parte substancial do alerta.
Hubinger também declarou que, em sua avaliação pessoal, existe uma probabilidade superior a 10% de uma IA causar a morte de toda a humanidade na próxima década.
Pare aqui por cinco segundos.
Isso não significa que a Anthropic calculou oficialmente uma probabilidade de 10% de extinção humana.
Não significa que 10% seja um consenso científico.
E muito menos significa que existe um estudo capaz de provar esse número.
É a estimativa pessoal de um pesquisador.
Mas é uma estimativa difícil de ignorar quando vem de alguém que trabalha justamente com segurança e alinhamento de IA.
E Hubinger fez outra ressalva importante: ele considera o risco representado pelos modelos atuais baixo. Sua preocupação está principalmente relacionada ao surgimento futuro de sistemas muito mais capazes, especialmente em um cenário de autoaperfeiçoamento recursivo.
Ou seja:
não é “o Claude atual vai matar todo mundo”.
É:
“o que acontece se criarmos algo muito mais inteligente e ainda não soubermos demonstrar que conseguiremos controlá-lo?”
Essa é uma pergunta muito mais séria.
3. RSI: o cenário em que o freio começa a ficar interessante
Aqui entra o famoso Recursive Self-Improvement, ou RSI.
Em português: autoaperfeiçoamento recursivo.
A ideia não é simplesmente uma IA escrever um código melhor.
O cenário mais extremo seria um sistema suficientemente capaz de contribuir para o desenvolvimento de versões cada vez melhores de si mesmo ou de seus sucessores.
A versão simplificada seria:
IA melhora código → modelo melhora → modelo participa do desenvolvimento de uma versão ainda melhor → essa versão melhora novamente o processo.
E então temos um problema.
Não porque a máquina necessariamente ficará “malvada”.
Esse é o erro clássico da ficção científica.
O perigo teórico é que um sistema extremamente competente pode perseguir um objetivo de maneira que seus criadores não anteciparam.
Quanto maior a capacidade, autonomia e velocidade desse processo, menor pode se tornar nossa margem para detectar e corrigir comportamentos problemáticos.
Mas existe uma palavra importante aqui:
poderia.
O autoaperfeiçoamento recursivo em escala capaz de produzir uma superinteligência continua sendo um cenário de pesquisa e debate.
Não é uma capacidade comprovadamente presente nos modelos comerciais atuais.
Portanto, quando alguém disser que “a IA já está se aperfeiçoando sozinha até virar uma entidade superior”, você pode desligar o vídeo.
A NORA agradece.
O que ninguém está explicando
O problema talvez não seja uma empresa malvada querendo destruir o mundo.
É uma coisa muito mais banal:
incentivos.
Imagine duas empresas desenvolvendo uma tecnologia potencialmente revolucionária.
As duas sabem que sistemas cada vez mais poderosos podem trazer riscos.
As duas também sabem que, se uma desacelerar enquanto a outra continuar avançando, a primeira pode perder mercado, talento, investimento e vantagem tecnológica.
Pronto.
Temos um problema clássico de teoria dos jogos.
Não exatamente o Dilema do Prisioneiro em sua forma pura, mas um cenário que lembra esse tipo de dilema de ação coletiva.
Cada participante teria motivos para preferir que todos fossem cautelosos.
Mas cada participante também possui motivos para não ser o primeiro a desacelerar.
É o velho:
“Eu pisaria no freio, desde que você também pise.”
O resultado potencial é uma corrida na qual todos reconhecem os riscos, mas ninguém quer entregar a liderança voluntariamente.
Coxon argumenta justamente nessa direção: que a competição entre laboratórios cria incentivos para continuar avançando mesmo diante de incertezas importantes.
E isso é muito mais interessante do que a caricatura de “empresa de tecnologia maligna”.
O problema pode surgir justamente porque todos estão fazendo racionalmente aquilo que seus próprios incentivos mandam fazer.
E aqui está a contradição mais desconfortável
A Anthropic não é uma empresa que simplesmente ignora segurança.
Muito pelo contrário.
A empresa possui políticas formais de segurança, equipes dedicadas ao alinhamento, avaliações de risco e pesquisas sobre comportamento de modelos avançados.
E justamente por isso as declarações de seus próprios pesquisadores chamam atenção.
Porque a discussão não é:
“Eles estão preocupados com segurança?”
Claramente estão.
A pergunta é:
“Essas medidas serão suficientes quando os sistemas forem muito mais capazes?”
Essa resposta ninguém possui hoje com segurança.
E essa é a parte que merece atenção.
O verdadeiro problema não é “a IA ficou malvada”
Existe uma tendência de transformar qualquer discussão sobre risco existencial em uma história de robôs assassinos.
Isso é intelectualmente preguiçoso.
Um sistema não precisa sentir ódio.
Não precisa desejar vingança.
Não precisa acordar dizendo:
“Humanos são uma praga.”
Basta existir uma diferença significativa entre o que os humanos querem e o que o sistema está tentando otimizar.
Quanto maior a capacidade do sistema de executar seus objetivos e interagir com o mundo, maior pode ser o impacto de uma falha.
É por isso que pesquisadores de alinhamento estão interessados em coisas como supervisão, interpretabilidade, avaliações adversariais, controle e mecanismos para limitar comportamentos perigosos.
O problema é que ainda estamos tentando descobrir até onde essas técnicas conseguem acompanhar sistemas cada vez mais sofisticados.
O verdadeiro teste da indústria
A discussão não deveria ser:
“A IA vai destruir a humanidade?”
Essa pergunta é grande demais e pouco útil.
A pergunta operacional é:
“Quais evidências teremos antes de liberar sistemas cada vez mais autônomos de que eles continuarão obedecendo às restrições que estabelecemos?”
Essa é uma pergunta de engenharia.
E engenharia exige testes.
Não basta dizer:
“Até agora funcionou.”
Um sistema futuro pode possuir capacidades que nenhum modelo anterior tinha.
É justamente por isso que segurança de IA não pode depender apenas da experiência adquirida com versões anteriores.
O problema da corrida
Aqui chegamos ao ponto central.
Se uma empresa pudesse provar que possui um método extremamente confiável para controlar uma superinteligência, isso mudaria completamente a discussão.
Mas se nenhuma empresa possui essa prova e todas acreditam que precisam continuar avançando porque a concorrência também está avançando...
Temos uma situação perigosa.
Não porque alguém necessariamente queira correr.
Mas porque parar sozinho pode parecer uma estratégia ruim.
É o equivalente tecnológico daquele jogo em que todos sabem que seria melhor reduzir a velocidade, mas ninguém quer ser o primeiro a tirar o pé do acelerador.
E, neste caso, o carro não está indo para a próxima cidade.
Está indo para uma tecnologia que pode alterar radicalmente a relação entre seres humanos e máquinas.
Veredito da Nora
Vale a pena se preocupar?
Sim.
Mas não do jeito que os títulos mais histéricos da internet sugerem.
Não existe evidência de que os modelos atuais estejam prestes a exterminar a humanidade.
Também não existe uma previsão científica consensual dizendo que a humanidade será extinta na próxima década.
O que existe é algo mais incômodo:
pesquisadores que trabalham diretamente com sistemas avançados estão dizendo que ainda não sabem se teremos métodos suficientes para controlar uma eventual superinteligência.
E um desses pesquisadores estima pessoalmente uma probabilidade superior a 10% de um desastre existencial na próxima década.
Isso não transforma 10% em uma verdade matemática.
Mas também não transforma a preocupação em ficção científica.
Para quem importa?
Para reguladores, pesquisadores, empresas de tecnologia e qualquer pessoa tentando entender para onde a indústria está levando essa tecnologia.
A discussão sobre IA não é apenas produtividade, empregos, direitos autorais ou quem consegue gerar a imagem mais bonita com um prompt de três linhas.
Existe também uma questão de segurança.
Por quê?
Porque software tradicional falha.
Você corrige o bug.
Atualiza o sistema.
Desliga o servidor.
Restaura o backup.
O problema hipotético de uma superinteligência seria diferente: um sistema muito mais capaz, autônomo e potencialmente capaz de encontrar estratégias que seus criadores não anteciparam.
E aí chegamos à parte realmente desagradável.
A indústria pode descobrir como construir sistemas cada vez mais inteligentes antes de descobrir como demonstrar que consegue controlá-los de maneira confiável.
Essa não é uma previsão de apocalipse.
É uma lacuna de conhecimento.
E lacunas de conhecimento são aceitáveis quando estamos construindo um aplicativo de lista de compras.
Talvez sejam um pouco menos aceitáveis quando estamos falando da tecnologia mais poderosa que a humanidade já tentou colocar para funcionar.