カーパシーがAnthropicに参加：Vibe Codingの父が主導するClaudeの事前訓練

OpenAIの共同創業者であり、元TeslaのAI総監であるAndrej Karpathyが5月19日にXで、Anthropicへの参加を発表した。今週から彼がチームを率いてClaudeの事前学習（pre-training）研究を主導する。Anthropicは、事前学習はClaudeに中核となる言語能力を与えるための基礎訓練段階であり、同時にAIモデル構築プロセス全体の中で計算コストが最も高い工程だと確認した。

事前学習の職責を確認：Claudeの中核能力を与える最も高額な段階

Anthropic公式発表によると、KarpathyはClaudeの事前学習研究を担当し、大規模な学習データでモデルに基礎訓練を行うことで、その言語理解と推論の核となる能力を決定する。Karpathyは2024年に、AIのコーディング代理人と小型言語モデルを組み合わせ、2日で700回の実験を完了させ、巨大モデルの学習時間を11%短縮することに成功した。この自動化された研究手法は業界で「Karpathy Loop」と呼ばれている。

Karpathyのキャリア経路：OpenAIからAnthropicへの道

Karpathyは2015年のOpenAI共同創業者の一人だ。2017年、Elon MuskがテスラとOpenAIの取締役を兼任していた期間に、彼をテスラへヘッドハントし、AI総監として自動運転の補助に向けたコンピュータビジョンチームを率いた。裁判書類によれば、当時MuskはKarpathyを「世界のコンピュータビジョン分野で2番目の席」と評価し、さらに「OpenAIの人は彼を殺したがるだろうが、これはやらねばならないことだ」と述べた。

Karpathyは2022年にテスラを離れ、しばらくOpenAIに戻った後、AI教育の新興企業Eureka Labsを立ち上げた。彼はまた「Vibe Coding」の提唱者でもある。これは、ユーザーがプロンプト経由でAIのコード支援アシスタントに指示を出し、直接コードを書く必要がないというものだ。この概念はすぐに、AI開発コミュニティにおける一般的な用語となった。

Anthropicが今月確認した人事動向

Ross Nordeen（xAIの創設メンバー）がKarpathyの今月の発表よりも前にAnthropicに加わった。Anthropicは同時に、YahooとMetaで勤務経験があり、20年のサイバーセキュリティ経験を持つChris Rohlfが、レッドチームの最前線に加わり、ストレステスト業務に参加したことも確認した。Nordeenが加入を発表した同日、AnthropicはSpaceXと合意し、xAIの計算リソースを賃借する契約を結んだ。Anthropicは2021年に7人のOpenAI元社員によって共同創立されており、現CEOのDario Amodeiと現社長のDaniela Amodeiを含む。

よくある質問

事前学習はAIモデル開発でどんな役割を担い、なぜコストがそこまで高いのか？

事前学習とは、大規模な学習データでAIモデルに基礎訓練を行うプロセスで、モデルの言語理解、推論、知識の蓄積を決定する。訓練には大量のGPU演算能力が必要で、数週間から数か月にわたり継続して計算を行うため、AIモデル開発プロセスの中で最も計算リソースの消耗が大きく、費用も最も高い工程となる。さらに、後続の微調整（Fine-tuning）や安全性アライメント（Alignment）訓練の前提となる基礎でもある。

Vibe Codingの具体的な概念とは何で、Karpathyはそれをどう定義しているのか？

Vibe Coding（雰囲気コーディング）は、Karpathyが提案したAI支援型の開発手法である。ユーザーは主にアイデアやロジックを構想し、自然言語のプロンプト指示によってAIのコード支援アシスタントにコード生成を行わせるため、自分でコードを書く必要はない。この概念が提起された後、急速にAI開発コミュニティで広く使われる用語となり、AIを中核に据えた人と機械の協調によるプログラミングの設計パターンを意味する。

AnthropicとOpenAIには、具体的にどのような創業上の関連があるのか？

Anthropicは2021年に7人のOpenAI元社員によって共同創業されており、Dario Amodei（現CEO）とDaniela Amodei（現社長）を含む。その後も順次、OpenAIの元社員が加わっており、たとえば2024年にJohn SchulmanがAnthropicへ転じたことや、今回のKarpathyの加入が挙げられる。