クロードは言語税を徴収するのか？研究が翻訳で中国・日本・韓国のコンテンツを扱うと、直近3倍近くトークンが最も消費されることを暴露

AI 研究者 Aran Komatsuzaki 氏は近日、X（旧Twitter）上で、主流の大規模言語モデル（LLM）のトークナイザー（tokenizer）に深刻な「非英語言語税（non-English tax）」の問題があることを明らかにする実験分析を公開した。なかでも Anthropic 傘下の Claude モデルは、中国語・日本語・韓国語の素材に対して、消費トークンが実に約 3 倍近くに達するとされ、コミュニティで議論を呼んでいる。

実験方法：古典論文で言語コストの差を定量化する

Komatsuzaki 氏は古典的な文章『The Bitter Lesson』を素材に、中国語、ヒンディー語、アラビア語、韓国語、日本語などに翻訳し、それぞれ各種モデルの tokenizer に通してトークン消費量を計算した。実験は OpenAI の英語版を基準（1.0×）とし、標準化した倍率で、各モデルが異なる言語をどう処理する効率かを比較している。

トークン数は API の利用料金と応答遅延を直接左右し、トークンが多いほどコストが高く、速度も遅くなる。つまり tokenizer の効率差は、実際にはユーザーの財布と利用体験の差そのものだ。

Komatsuzaki 氏は、トークン量を計算できる自作サイトも併せて公開している：

AI にも人種差別はあるのか？Claude の言語税が最高、ヒンディー語が真っ先に標的

OpenAI vs. Anthropic（言語別）トークン消費倍率の棒グラフ

データによれば、OpenAI の各言語におけるトークン倍率は概ね 1.4× 以内に収まっているのに対し、Anthropic（Claude）の差は極めて大きい：

ヒンディー語：3.24×（Claude）対 1.37×（OpenAI）

アラビア語：2.86×（Claude）対 1.31×（OpenAI）

ロシア語：2.04×（Claude）対 1.31×（OpenAI）

中国語：1.71×（Claude）対 1.15×（OpenAI）

言い換えれば、インドの開発者が Claude の API でヒンディー語コンテンツを処理する場合、同じ英語タスクに比べて実際に支払う費用は 3 倍以上になる可能性があり、さらにトークン数の膨張によって応答速度も著しく低下する。

6 モデルを横並び比較：中国のローカルモデルが逆転、Gemini が最良の結果

6 モデルのクロス言語トークン消費倍率ヒートマップ

Komatsuzaki 氏はその後の投稿で比較範囲をさらに広げ、Gemini 3.1、Qwen 3.6、DeepSeek V4、Kimi K2.6 などのモデルを追加した。その結果は次の通り：

Gemini 3.1：1.22×（非英語ユーザーに最も親切）

Qwen 3.6：1.23×

OpenAI：1.33×

DeepSeek V4：1.49×

Kimi K2.6：1.76×

Anthropic：2.07×（非英語ユーザーに最も不親切）

データから分かるように、中国語は Qwen（0.85×）、DeepSeek（0.87×）、Kimi（0.81×）ではトークン消費が英語基準を下回っており、中国のローカルモデルが中国語に対して深い最適化を行っていることが示唆される。Komatsuzaki 氏本人も、返信の中で「Claude がここまでひどく、しかも不均衡だとは思わなかった」と率直に認めている。

コミュニティが懸念：「コストの落差」は AI 普及の過程での重大な問題

実験結果は X のコミュニティで強い反響を呼び、多くの非英語の開発者が、実際の利用では同じ中国語や韓国語の文書を Claude で処理すると、費用が確かに Gemini よりもはるかに高くなると述べている。

議論は技術的な根本原因にも及んだ。トークナイザーの効率差は主に、訓練データが英語コンテンツとラテン文字中心であることに起因し、その結果、モデルが他の文字体系を理解する度合いが相対的に低い。各文字や語彙を処理するのに、より多くのトークンを消費することになるのだ。ヒンディー語の利用者が世界で数億人規模に及ぶとしても、相対的に少ない高品質の訓練素材に加え、形態が複雑な文字構造が組み合わさることで、最も AI 利用コストが高い層になっている。

一部のネットユーザーは、Anthropic の主要顧客が英語圏の企業ユーザーやコード開発のシーンに偏っているため、多言語の最適化に動機が乏しいのだと考えている。対照的に OpenAI は言語コンテンツの扱いが得意で、「AI は本来、民主化された平等な技術であるべきだが、非英語ユーザーが言語差別のツケを払っている」と断じている。

いま、このトークナイザー設計をめぐる論争は、もはや単なる技術問題ではなく、AI 産業が世界へ拡張していく過程で生じた不均衡をも映し出している。

この記事は「Claude は言語税を請求するのか？中日韓コンテンツの翻訳で最も多くトークンを消費—研究が判明」として、最初に 鏈新聞 ABMedia に掲載された。