L’équipe de Hugging Face propose d’accélérer la tokenisation BERT

Dans un billet du 15 octobre, l’équipe Tokenizers de Hugging Face a présenté des changements proposés pour accélérer la normalisation des textes de type BERT. La méthode évite ce travail sur les séquences ASCII, mémorise les décisions Unicode par pages de 256 points de code et ne crée pas de nouvelle chaîne si le texte ne change pas. Le profil de l’équipe attribue 88 % du temps d’encodage anglais à chaud à la normalisation, contre 8 % à la sélection de tokens par WordPiece.

Le billet indique qu’une branche de développement a encodé bert-base-uncased jusqu’à environ 50 fois plus vite que Tokenizers 0.23 sur les entrées testées, avec des identifiants de tokens identiques dans les corpus rapportés. Les gains sont les plus élevés pour l’anglais et le code; l’arabe, le grec et le russe progressent de 2,2 à 3,2 fois, tandis que le gain est faible ou nul pour le chinois. Les petites entrées peuvent ralentir, et les changements étaient encore au stade de la demande de fusion : le multiplicateur ne garantit donc pas les performances en production.