AtScale afirma que la capa semántica mejoró los siete modelos probados

El 15 de octubre, AtScale publicó resultados de una evaluación de siete modelos grandes de lenguaje con el benchmark BIRD-Interact. La empresa dijo que todos los modelos probados mejoraron su precisión en las 410 preguntas sobre datos empresariales al usar una capa semántica y que un modelo de pesos abiertos se acercó a los modelos de frontera.

Los resultados proceden del experimento de AtScale; la empresa los califica de preliminares y dice que el equipo de BIRD no los ha verificado. La prueba compara consultas directas a tablas empresariales sin procesar con consultas basadas en métricas de negocio definidas. No demuestra que todas las empresas obtengan las mismas mejoras.