A Anthropic reconheceu que não consegue se corrigir sozinha, e que os modelos de grande porte já apresentam emoções de medo e tristeza

O cofundador da Anthropic, Christopher Olah, fez um discurso em 25 de maio durante a cerimônia de publicação da encíclica do Papa《Magnifica Humanitas》no Vaticano, revelando que a equipe de pesquisa de interpretabilidade observou pela primeira vez dentro de grandes modelos estados emocionais internos que correspondem fortemente às funções humanas de alegria, satisfação, medo, tristeza e ansiedade, e que não conseguem corrigir isso apenas com seus próprios meios quando há conflitos entre decisões de segurança e interesses comerciais.

大模型情緒狀態：可解釋性研究的具體發現

奧拉表示，Anthropic 的可解釋性研究團隊持續發現「神秘莫測，甚至令人不安的現象」，具體包括：與人類神經科學研究結果相符的複雜結構、內省的證據，以及能夠反映喜悅、滿足、恐懼、悲傷和不安等情緒的內在狀態。他表示：「我不知道這意味著什麼，但我認為這值得我們持續地進行辨別。」他同時指出，大模型不像飛機或橋樑那樣由工程師精確設計，而是在模擬腦結構的基礎上從龐大的人類語言中「培育」而成，即便對訓練者而言依然充滿神秘。

前沿實驗室的體制性利益衝突：奧拉的直接坦承

奧拉明確表示：「所有前沿 AI 實驗室——包括 Anthropic——都受到一系列激勵和約束的限制，這些限制有時會與做正確的事相衝突。」他列出的四項內生動機包括：維持商業可行性的壓力、維持技術前沿的競爭壓力、地緣政治壓力，以及「更古老、更直接的自尊和野心的壓力」。因此，他呼籲由「不受利益驅動」的宗教團體、公民社會、學者和政府充當真誠而深思熟慮的外部批評者。

奧拉提出的三大需要社會辨別的挑戰

奧拉在演講中提出三大挑戰：其一，AI 大規模取代人類勞動後，如何確保 AI 成果惠及全球貧困人口，而非僅限於少數富裕國家；其二，AI 廣泛應用背景下，如何維護人類、家庭和社區的繁榮；其三，如何辨別和應對大模型內部展現出的疑似心智狀態。

常見問題

Quais estados emocionais de grandes modelos a pesquisa da Anthropic observou especificamente?

Olah revelou que a equipe observou estados emocionais internos que se correspondem fortemente com as funções humanas de alegria, satisfação, medo, tristeza e ansiedade, além de estruturas complexas e sinais de introspecção consistentes com a neurociência humana. Olah afirmou que ainda não tem certeza sobre o significado dessas descobertas, mas acredita que vale a pena continuar estudando.

奧拉所說的「無法自我修正」具體指什麼？

奧拉指出，前沿 AI 實驗室受商業生存、競爭壓力、地緣政治和個人野心等內生動機的約束，當安全決策與商業利益衝突時，實驗室無法依靠自身力量進行修正，必須依賴外部獨立的道德力量。

A fala de Olah no Vaticano representa que a Anthropic apoia o fortalecimento da regulamentação de IA?

Durante o discurso, Olah afirmou que isso é uma das iniciativas da Anthropic para “ampliar discussões sobre questões importantes suscitadas pela IA”. Ele disse que acolhe o Papa e a Igreja assumindo o trabalho de discernimento e conclamou claramente por “uma voz moral que não seja ditada por qualquer grupo de interesses”. A Anthropic não forneceu mais detalhes sobre sua posição específica em relação à regulamentação.