Ejecutivo de Google DeepMind: cada empresa de productos de IA debe crear puntos de referencia personalizados

Mensaje de Gate News, 27 de abril — Logan Kilpatrick, gerente de producto senior en Google DeepMind y responsable de producto de Google AI Studio, afirmó en X que cada empresa que construye productos basados en IA debe establecer sus propios puntos de referencia personalizados para medir el rendimiento de los modelos de IA. Lo describió como una forma para que las mejoras del modelo “beneficien de manera desproporcionada a tu empresa” y exhortó a los fundadores y líderes empresariales a “empezar mañana.”

La mayoría de las empresas actualmente dependen de rankings públicos para seleccionar modelos de IA, pero estos miden capacidades generales que a menudo no se alinean con escenarios empresariales específicos. Kilpatrick citó el ejemplo de una empresa de revisión de contratos que se centra principalmente en la precisión de la extracción de cláusulas, una capacidad ausente en los puntos de referencia públicos, lo que hace imposible evaluar el rendimiento del modelo en esa tarea. Los puntos de referencia personalizados ofrecen dos ventajas clave: primero, permiten a las empresas evaluar cada actualización de modelo frente a sus propias tareas de negocio y seleccionar el modelo que mejor se desempeña en su caso de uso real en lugar del modelo mejor clasificado en general; segundo, permiten a las empresas compartir estos conjuntos de prueba con los proveedores de modelos, impulsando la optimización continua en las áreas que importan para su negocio.

Kilpatrick señaló que empresas como Zapier y Sierra ya están implementando este enfoque, afirmando que “aquí se puede crear mucho alpha”.