カーパシー：Claude Fable 5 によってソフトウェアが蛇口の水のように湧き出るが、コードレビューを放棄しないよう警告する

OpenAIの共同創業者であり、先月Anthropicに参加したAndrej Karpathyが6月9日にClaude Fable 5に関する評価を共有し、世代をまたぐ意義を持つ性能の飛躍だと述べた。さらに「ソフトウェアが蛇口の水のように絶え間なく湧き出る」ことを例え、その生産性への影響を表現した。しかし、Karpathyはコードレビューを決して手放すなと明確に警告した。

Fable 5に対するKarpathyの確認能力評価

世代をまたぐ性能の飛躍： Karpathyは、Fable 5が世代をまたぐ性能の飛躍を達成したと確認し、より長いタスクを扱う際の優位性がとりわけ大きいとした。複雑な指示を効果的に実行でき、ほとんど人手による介入を要しない。

長い連鎖の複雑なデバッグ： Karpathyは、Fable 5が壮大な開発目標に直面したとき、意図を素早く理解し、自主的に前へ進められると指摘した。彼が初めて、コードをまったく見ずに済ませたいという強い衝動を抱いたのはこのためだ。

明確な警告（Karpathyの原文）： 彼は、生産環境でコードレビューを完全に省略してはならないことを強調しており、これはユーザーへの直接の注意喚起だ。

基盤モデルの説明（Karpathyの確認）： Karpathyは、Claude Fable 5とClaude Mythos 5が同じ基盤モデルを共有していると述べた。そのうえでFable 5は、この前提に追加の安全防護措置を組み込んだ。

ジェボンズのパラドックス：Karpathyの分析フレームワーク

Karpathyはコメントの中で、利用可能なソフトウェアが蛇口の水のように絶え間なく湧き出るようになると、ソフトウェア分野の「ジェボンズのパラドックス」（Jevons Paradox）が引き起こされると指摘した。

ジェボンズのパラドックスの定義： 資源の使用効率が大幅に向上した結果、使用コストが大幅に下がるため、その資源に対する総需要はかえって指数関数的に増え、減少はしない。

Karpathyの応用分析（彼のXプラットフォームでのコメントより）： 彼は、この誘発効果によって、人々が大量の「超特化型」（hyper-specific）な単発利用ツールや膨大なテストセットを作り出すことになり、最終的に全体のソフトウェア需要が指数関数的に増大することになると述べた。

安全防護メカニズムの確認上の論点

Karpathyはコメントの中で、Claude Fable 5の公開初期に設定された安全防護メカニズムは依然として感度が高すぎ、今後の最適化が必要だと指摘した。この評価は、Anthropic公式がFable 5公開のお知らせで述べた内容と一致している。Anthropicは、現在の安全対策が無害な要求を誤検知することがある（全体の発動率は5%未満）と認め、改善に取り組み、できるだけ早く誤検知を減らすと表明している。

よくある質問

Karpathyが言及した「ジェボンズのパラドックス」は、AIによるコード生成において何を意味するの？

KarpathyのXプラットフォームでのコメントによれば、AIによってソフトウェアの生産コストがゼロに近づくとしても、人々のソフトウェア需要はそれに伴って下がることはなく、むしろ指数関数的に増えるという。彼は、これにより開発者がより多くの高度にカスタマイズされた単発利用ツールや大規模なテストセットを作り、ソフトウェア消費量全体がさらに拡大すると予測している。

Karpathyはなぜ、生産環境でコードレビューを完全に省略することを明確に禁じたの？

Karpathyによれば、Fable 5の能力によって彼が初めて「コードを完全に見ないで済ませたい」という衝動を抱くようになった一方で、そのやり方は生産環境では実施すべきではないと、同時に明確に警告している。彼の警告はAnthropic公式の提案とも一致しており——強力なモデルの出力であっても、信頼性を確保するために人の監督が必要だというものだ。

KarpathyはFable 5の安全防護メカニズムを具体的にどう見ているの？

Karpathyはコメントの中で、Fable 5の公開初期に設定された安全防護メカニズムは感度が高すぎており、今後の最適化が必要だと述べた。Anthropic公式が出した発表でも、現在の安全対策は時に無害なリクエストを誤検知し、その発動率は5%未満であること、また継続的に改善していることが確認されている。