Pesquisadores da Texas Tech testam recuperação confiável de ferramentas para agentes
O RATED combina correspondência semântica com feedback sobre o funcionamento das ferramentas durante a execução.
Período do evento/dos dados: 2026-10-09
Publicado: · Atualizado:
Pesquisadores da Texas Tech University apresentaram o RATED, método que classifica ferramentas de agentes pela relevância para a consulta e pelo feedback de execução. Ele combina um codificador semântico com um bandido contextual que reordena ferramentas após sinais de sucesso ou falha.
No benchmark EcoAgent, os autores relatam ganho relativo de 52,2% no MRR em comparação com o recuperador de API ToolLLM. Em uma interrupção simulada que afetou 30% das ferramentas, a seleção de ferramentas indisponíveis caiu de 86,2% nessa referência para 2,9% com RATED. Os resultados usam consultas de benchmark e falhas injetadas; não comprovam confiabilidade em produção.
Dados
Medida
Avaliação com consultas reais do EcoAgent; comparação com o ToolLLM API Retriever
| RATED: ganho relativo de MRR | 52.2 | Avaliação com consultas reais do EcoAgent; comparação com o ToolLLM API Retriever |
Metodologia
Os valores vêm dos experimentos de benchmark descritos no artigo; não são medições de campo nem garantias gerais de desempenho.
Atualizado:
Medida
Experimento de falha simulada no EcoAgent; proporção de ferramentas
| Proporção de ferramentas com falhas injetadas | 30 | Experimento de falha simulada no EcoAgent; proporção de ferramentas |
Metodologia
Os valores vêm dos experimentos de benchmark descritos no artigo; não são medições de campo nem garantias gerais de desempenho.
Atualizado:
Medida
ToolLLM API Retriever no mesmo teste de falha simulada
| Seleção de ferramentas indisponíveis com ToolLLM API Retriever | 86.2 | ToolLLM API Retriever no mesmo teste de falha simulada |
Metodologia
Os valores vêm dos experimentos de benchmark descritos no artigo; não são medições de campo nem garantias gerais de desempenho.
Atualizado:
Medida
RATED no mesmo teste de falha simulada
| Seleção de ferramentas indisponíveis com RATED | 2.9 | RATED no mesmo teste de falha simulada |
Metodologia
Os valores vêm dos experimentos de benchmark descritos no artigo; não são medições de campo nem garantias gerais de desempenho.
Atualizado:
Temas e lugares
Sugestões de temas
- Ciência e tecnologiaAnotação sugerida
- Preserved editorial category/topic; broad candidate onlyarxiv.org ↗
Referências geográficas
São exibidas apenas referências geográficas fornecidas pela fonte. Abrir um mapa externo é opcional. Os mapas opcionais das notícias usam o OpenStreetMap. Ao abrir um mapa, seu endereço IP e o endereço deste site são enviados ao provedor do mapa. Os dados de localização continuam disponíveis em texto sem carregar o mapa.
- Estados Unidos · Função do lugar: Cobertura · Tipo de lugar: país ou área · Precisão da localização: regionalEvidência
- Explicit preserved editorial country/region; no city or national centroid inferredarxiv.org ↗