El equipo de Hugging Face propone acelerar la tokenización BERT

Una publicación del equipo Tokenizers de Hugging Face, fechada el 15 de octubre, describió cambios propuestos para acelerar la normalización de texto de tipo BERT. El método omite trabajo en secuencias ASCII, almacena en caché decisiones Unicode en páginas de 256 puntos de código y evita crear una cadena nueva si el texto no cambia. El perfil del equipo atribuyó el 88% del tiempo de codificación en inglés, tras el calentamiento, a la normalización, frente al 8% a la selección de tokens de WordPiece.

La publicación afirma que una rama de desarrollo codificó bert-base-uncased hasta unas 50 veces más rápido que Tokenizers 0.23 en las entradas probadas, con identificadores de tokens idénticos en los corpus comunicados. Las mayores mejoras se dieron en inglés y código; árabe, griego y ruso lograron entre 2,2 y 3,2 veces, mientras que el chino mejoró poco o nada. Las entradas pequeñas podían ser más lentas y los cambios seguían en fase de solicitud de incorporación, por lo que la cifra no garantiza el rendimiento general en producción.