AlphaEdge AI publie un modèle d’embeddings textuels sparse en français

AlphaEdge AI a publié sur Hugging Face Sparseup-fr, une reproduction en français de l’approche d’embeddings textuels sparse de Linkup. L’équipe indique avoir utilisé la base multilingue mLateOn-unsupervised et une tête de modèle de langue masqué mmBERT-base réduite à un vocabulaire français ; l’entraînement a duré environ 55 heures sur un seul GPU RTX 6000 Pro.

Sur le benchmark NanoBEIR-fr nettoyé de 13 jeux de données, Sparseup-fr arrive en tête sur huit, le modèle sparse multilingue comparé d’OpenSearch sur trois et SPLADE CamemBERT sur deux. L’équipe dit avoir recherché d’éventuelles fuites entre données d’entraînement et benchmark et supprimé des lignes suspectes, sans examiner les possibles problèmes d’annotation. La publication comprend le modèle et le benchmark nettoyé ; les résultats sont l’évaluation des auteurs du modèle.