Vitalik sugiere estandarizar el hardware local de LLM en el nivel de 96GB de memoria

ETH-1,9%
De acuerdo con PANews, el 28 de mayo, el cofundador de Ethereum Vitalik Buterin sugirió que las implementaciones locales de modelos de lenguaje grandes (LLM) deberían estandarizarse en torno a configuraciones de memoria específicas, con 96GB identificado como un límite superior factible para el hardware actual. Buterin citó la GPU RTX 6000 con 96GB de VRAM y MacBooks de gama alta con 128GB de memoria unificada como puntos de referencia, señalando que aproximadamente 32GB deberían reservarse para otras tareas del sistema. Propuso que el ecosistema adopte niveles de capacidad estandarizados: 2GB, 8GB, 24GB, 96GB, 256GB y 1TB, para mejorar la eficiencia de las implementaciones y la compatibilidad entre plataformas tanto para el diseño de LLM como para el hardware de GPU.
Aviso legal: La información en esta página puede provenir de fuentes de terceros y es solo para referencia. No representa las opiniones ni puntos de vista de Gate y no constituye asesoramiento financiero, de inversión ni legal. El comercio de activos virtuales implica un alto riesgo. No te bases únicamente en la información presentada en esta página para tomar decisiones. Para más detalles, consulta el Aviso legal.
Comentar
0/400
Sin comentarios