CoinbaseのCEOであるブライアン・アームストロングによると、今後12〜18か月の間に、人工知能のワークロードの80%は、コストが99%低いモデル上で実行される一方、残り20%は最新世代のモデルに依存するという。アームストロングは、モデルそのものではなく、業界の主なボトルネックはエネルギーと計算能力だと特定した。
Coinbaseは、トークン使用量が指数関数的に増えてもコストをおおむね安定させるために、低コストのモデルへオンデマンドでプロンプトを積極的にルーティングしている。
関連ニュース
米国政府、アルトマン提案を通じてAI企業の株式持分を検討
米国の企業社会が、AI支出を管理するためにモデルルーティングを採用