Coinbase adopte les modèles d'IA chinois GLM 5.2 et Kimi 2.7 comme modèles par défaut pour ses ingénieurs

Le PDG de Coinbase, Brian Armstrong, a déclaré vendredi dernier (26) que la plateforme d'échange de cryptomonnaies a défini les modèles d'IA open source chinois GLM 5.2 et Kimi 2.7 comme les grands modèles de langage par défaut pour ses ingénieurs internes. Armstrong a indiqué que Coinbase a réduit les dépenses liées à l'IA de près de la moitié grâce à l'optimisation du routage et à l'amélioration de la mise en cache, tandis que l'utilisation des tokens continue de croître de manière exponentielle. Ce déploiement reflète une tendance plus large parmi les entreprises technologiques américaines qui intègrent discrètement des modèles d'IA open source chinois dans leurs infrastructures de production pour réduire les coûts et passer à l'échelle des applications.

Coinbase met en place une infrastructure en trois couches pour réduire les coûts de l'IA

Armstrong a attribué la réduction des coûts à une refonte de l'infrastructure en trois couches. La première couche est le « routage intelligent », où le système prétraite les requêtes et attribue automatiquement les tâches au modèle le plus adapté et le plus économique en fonction des taux de succès du cache et de la tarification des modèles. La deuxième couche est la « mise en cache agressive », qui a augmenté le taux de succès du cache de LibreChat de 5 % à 60 % en exigeant que toutes les requêtes tiennent compte du cache. La troisième couche est le « contexte rationalisé », qui recommande d'ouvrir de nouvelles sessions lors du changement de tâche et de réduire la portée des fichiers pour limiter les tokens gaspillés.

Armstrong a souligné que l'approche ne vise pas à freiner l'utilisation, mais à développer l'adoption de l'IA. Il a décrit cette méthode comme clé pour parvenir à une expansion durable de l'utilisation de l'IA, affirmant que toute entreprise peut adopter ce modèle pour permettre à ses ingénieurs d'utiliser librement n'importe quelle quantité de tokens et de modèles sans fixer de plafond de coûts, tout en liant l'utilisation à l'impact commercial.

Les modèles open source chinois gèrent les tâches courantes dans une stratégie multi-modèles

Les deux modèles open source chinois sont principalement déployés pour les scénarios de tâches courantes. Pour les tâches nécessitant une planification complexe, les ingénieurs peuvent toujours sélectionner des modèles de pointe. Dans le processus de révision de code, Coinbase utilise une stratégie parallèle multi-modèles, permettant à différents modèles de vérifier de manière croisée les résultats de sortie afin de maintenir les normes de qualité.

Armstrong a noté qu'à mesure que les coûts des services de modèles américains de pointe continuent d'augmenter, les avantages de rapport coût-efficacité des modèles open source chinois modifient progressivement les stratégies de déploiement de l'IA des entreprises technologiques mondiales.

FAQ

Qu'a annoncé Coinbase vendredi dernier (26) concernant les modèles d'IA ?
Le PDG de Coinbase, Brian Armstrong, a annoncé que la société a défini les modèles d'IA open source chinois GLM 5.2 et Kimi 2.7 comme les grands modèles de langage par défaut pour ses ingénieurs internes. Armstrong a déclaré que ce changement, combiné à l'optimisation du routage et à l'amélioration de la mise en cache, a réduit les dépenses liées à l'IA de près de la moitié, tandis que l'utilisation des tokens maintient une croissance exponentielle.

Comment Coinbase utilise-t-il les modèles d'IA chinois dans ses opérations ?
Coinbase déploie GLM 5.2 et Kimi 2.7 principalement pour les scénarios de tâches courantes, tandis que les ingénieurs peuvent toujours sélectionner des modèles de pointe pour les tâches nécessitant une planification complexe. Dans la révision de code, l'entreprise utilise une stratégie parallèle multi-modèles où différents modèles vérifient de manière croisée les résultats de sortie pour maintenir les normes de qualité.