Mensaje de Gate News, 24 de abril — la jefa del equipo de modelos de lenguaje de Xiaomi, Luo Fuli, reveló en una entrevista en profundidad que el modelo MiMo-V2-Pro cuenta con un total de 1 billón de parámetros y que requirió miles de GPUs para el entrenamiento. Señaló que la escala de 1T representa el umbral mínimo para lograr un rendimiento cercano al nivel de Claude Opus 4.6 y asegurar un pase de entrada competitivo para la siguiente fase de agentes de IA.

Técnicamente, la versión Pro emplea un mecanismo extremo de atención dispersa con una proporción 7:1 entre la atención global y la atención de ventana deslizante, controlando los costos de inferencia para el procesamiento de contextos largos. El modelo también conserva la arquitectura MTP (Multi-Token Prediction) para aprovechar el exceso de potencia de cómputo y lograr una inferencia más rápida.

En el aspecto de gestión, el equipo MiMo de 100 personas solo cuenta con 30-40 integrantes involucrados directamente en las iteraciones principales. El equipo opera sin jerarquías formales ni divisiones explícitas de subgrupos, y sin fechas límite de entrega. Cuando se encuentran problemas numéricos inestables como picos en la pérdida de entrenamiento, el equipo prioriza detener el entrenamiento para investigarlo, incluso si eso significa detener las operaciones durante una o dos semanas y asumir costos de cómputo de millones de dólares.

Ver fuente

Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el Aviso legal.