FrontiersMind publie le modèle de décision Lumma-Fev de 27 milliards de paramètres
Le modèle choisit parmi des options fournies plutôt que de générer du texte ; son développeur a déclaré 90,7 % de précision sur 4 454 exemples.
Période de l’événement / des données:
Publié: · Mis à jour:
FrontiersMind a publié Lumma-Fev-27B le 14 octobre. Le modèle reçoit un état et un ensemble de choix, puis renvoie une étiquette et des probabilités plutôt qu’un texte libre. Le développeur indique avoir entraîné tous les poids sur environ 100 000 exemples et prendre en charge l’anglais, l’hindi, le tamoul et le kannada.
Dans le test du développeur sur 4 454 décisions mises de côté, Lumma-Fev-27B a obtenu 90,7 % de précision contre 83,9 % pour TypeSafe Jev ; les erreurs de calibration annoncées sont de 0,009 et 0,045. Le développeur précise que Jev reste devant sur des tests de raisonnement plus généraux comme BBH et WinoGrande. Ces résultats viennent du développeur et ne sont pas une évaluation indépendante.
Données
FrontiersMind publie le modèle de décision Lumma-Fev de 27 milliards de paramètres
- · Survenu
FrontiersMind publie le modèle de décision Lumma-Fev de 27 milliards de paramètres
Le modèle choisit parmi des options fournies plutôt que de générer du texte ; son développeur a déclaré 90,7 % de précision sur 4 454 exemples.
Méthodologie
Cette fiche résume l’annonce citée ; elle ne constitue pas une évaluation indépendante des performances.
Mis à jour:
Sujets et lieux
Sujets proposés
- Science et technologieProposé
- Preserved editorial category/topic; broad candidate onlyhuggingface.co ↗