Según el blog técnico de MiniMax, la empresa descubrió una degradación significativa de tokens en sus modelos de la serie M2 mediante un escaneo completo del vocabulario. Aproximadamente el 4,9% de los 200.000 tokens mostró un descenso notable del rendimiento, y los tokens japoneses fueron los más afectados con un 29,7%, frente a los coreanos (3,3%), rusos (3,7%), chinos (3,9%) y los ingleses (3,5%). La degradación se origina porque los tokens de baja frecuencia se empujan hacia direcciones incorrectas del espacio vectorial durante el post-entrenamiento, donde los tokens de alta frecuencia como los marcadores de tool_call actualizan continuamente los parámetros que los rodean.

MiniMax implementó una solución con datos sintéticos usando tareas simples de repetición de tokens para estabilizar todo el vocabulario. Los resultados fueron inmediatos: los caracteres rusos mezclados en respuestas japonesas bajaron del 47% al 1%, y la estabilidad del vector (similitud coseno) mejoró, pasando de un mínimo de 0,329 a más de 0,97 en todos los tokens.

Ver fuente

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.

Artículos relacionados

Google presenta la inteligencia Gemini para Android, con lanzamiento en Galaxy S26 y Pixel 10 este verano

Noticias de la industria de la IA

El 12 de mayo, Google presentó Gemini Intelligence, una nueva función de IA para Android que automatiza tareas de varios pasos entre aplicaciones con la aprobación del usuario. La función se lanzará inicialmente este verano en los Samsung Galaxy S26 y en los Google Pixel 10, antes de expandirse a relojes, coches, gafas y portátiles más adelante este año. Gemini Intelligence permite a los usuarios completar acciones complejas sin tener que cambiar manualmente entre aplicaciones. Entre las nuevas

GateNewsHace4m

Microsoft proyectó un $92B rendimiento$13B de su inversión en OpenAI

Noticias de la industria de la IA

Microsoft proyectó internamente un retorno de 92 mil millones de dólares sobre su inversión acumulada de 13 mil millones de dólares en OpenAI, según documentos de planificación divulgados durante el testimonio del CEO Satya Nadella en un tribunal federal de Oakland, California, el lunes, según informó Bloomberg. La cifra aparecía en un memorando de enero de 2023 del presidente de Microsoft, Brad Smith, a la junta de la empresa, en el que se detallaban los retornos financieros esperados de la aso

CryptoFrontierHace31m

Entrevista exclusiva en el área de Bona: Eric Trump habla sobre la IA, la energía y el Bitcoin en Estados Unidos, y revela que Trump aún le llama en privado “honey”

Avance del proyecto Geopolítica Noticias de la industria de la IA Acciones Tokens de IA

台灣區塊鏈 YouTuber「邦尼區塊鏈」近日專訪 Eric Trump，圍繞美國比特幣挖礦公司 American Bitcoin、川普政府的加密貨幣政策、美國 AI 與能源競爭力，以及 Eric Trump 個人為何投入數位資產產業展開對談。川普兒子：美國要在能源、AI、加密貨幣勝出 Eric Trump 在訪談中多次強調，川普政府的核心敘事是「讓美國在所有領域勝出」，而其中包含能源、人工智慧與加密貨幣。他表示，Donald Trump 是以「加密貨幣總統」的定位參選，並相信比特幣、數位資產與更高效率的金融交易方式。因此在 Eric Trump 看來，川普核心圈內的人物也會傾向支持同樣方向，包含對 AI、生產力與比特幣較為友善的政策思維。訪談中也談到 Kevin Warsh 與聯準會政策方向。美國參議院已於 5 月 12 日確認 Kevin Warsh 出任聯準會理事，接下來預期將對其出任聯準會主席進行投票。Warsh 曾在聽證中表示 AI 可能帶來顯著供給面提升，進而對通膨形成下行壓力，但 Fed 內部對 AI 生產力是否一定會降低通膨仍有不同看法。 Eric Trump 則從

ChainNewsAbmediahace3h

Los legisladores republicanos buscan una investigación sobre las inversiones personales de Altman por 3,75 mil millones de dólares y los conflictos con OpenAI

Noticias de la industria de la IA

De acuerdo con ChainCatcher, recientemente el presidente del Comité de Supervisión de la Cámara de Representantes de EE. UU., James Comer, exigió al CEO de OpenAI, Sam Altman, que divulgue información sobre sus inversiones personales y posibles conflictos de interés con OpenAI. La solicitud de Comer se centra en la amplia cartera de inversiones de Altman, que comprende aproximadamente 3,5 mil millones de dólares de patrimonio neto, incluidas participaciones en Helion, Stripe y Reddit. En concret

GateNewshace4h

TT Chain integra el sistema de seguridad AegisAI para la protección de RWA el 11 de mayo

Asociaciones y ecosistema Agente de IA Noticias de la industria de la IA

Según el anuncio de TT Chain del 11 de mayo, la red blockchain de capa 2 integró la infraestructura de seguridad impulsada por IA de AegisAI en su ecosistema de activos del mundo real tokenizados. La colaboración mejora la protección de las transacciones de activos tokenizados y de las operaciones entre cadenas mediante capacidades avanzadas de detección de amenazas y auditoría de contratos inteligentes. Los agentes autónomos de IA de AegisAI detectan ataques de phishing, evitan intentos de acce

GateNewshace5h

La startup de IA Wispr en conversaciones de financiación con una valoración de $2B el 12 de mayo

Noticias de la industria de la IA

Según PANews, la startup de IA Wispr está en negociaciones de recaudación el 12 de mayo, con una valoración de 2 mil millones de dólares.

GateNewshace5h

Comentar

0/400

Sin comentarios