AtScale affirme que la couche sémantique a amélioré les sept modèles testés

Le 15 octobre, AtScale a publié les résultats d’une évaluation de sept grands modèles de langage sur le benchmark BIRD-Interact. L’entreprise affirme que chaque modèle testé a gagné en précision sur les 410 questions relatives aux données métier avec une couche sémantique, et qu’un modèle à poids ouverts s’est rapproché des modèles de pointe.

Ces résultats proviennent de l’expérience d’AtScale; l’entreprise les qualifie de préliminaires et précise que l’équipe BIRD ne les a pas vérifiés. Le test compare les requêtes directes sur des tables d’entreprise brutes à celles passant par des mesures métier définies. Il ne prouve pas que toutes les entreprises obtiendront les mêmes gains.