AtScale afirma que a camada semântica melhorou os sete modelos testados

Em 15 de outubro, a AtScale publicou resultados de uma avaliação de sete grandes modelos de linguagem no benchmark BIRD-Interact. A empresa afirmou que todos os modelos testados tiveram maior precisão nas 410 perguntas sobre dados empresariais quando usados com uma camada semântica, e que um modelo de pesos abertos se aproximou dos modelos de ponta.

Os resultados vêm da experiência da própria AtScale; a empresa os classifica como preliminares e informa que a equipe BIRD não os verificou. O teste compara consultas diretas a tabelas corporativas brutas com consultas baseadas em métricas de negócio definidas. Ele não demonstra que todas as empresas terão os mesmos ganhos.