CCTVによると、中国モバイルの大規模言語モデルの集約プラットフォームが5月8日に正式にローンチされ、国内のAIモデルを300以上統合している。中国最大規模のこの集約だ。プラットフォームは、ユーザーの優先度(コスト効率、性能、またはバランス重視)に基づいて、タスクを最適なモデルに自動的に割り当てるトークン最適化モデルを採用している。モデルでタイムアウトや失敗が発生した場合、プラットフォームは数秒以内に自動フェイルオーバーを有効化する。プラットフォームは、1トークンあたりのコストを30%削減し、リソース消費を50%以上抑え、毎日1兆回超の呼び出しを処理している。
Related News