Equipa da Hugging Face propõe acelerar a tokenização BERT

Uma publicação da equipa Tokenizers da Hugging Face, em 15 de outubro, descreveu alterações propostas para acelerar a normalização de texto ao estilo BERT. O método ignora trabalho em sequências ASCII, guarda decisões Unicode em páginas de 256 pontos de código e evita alocar uma nova cadeia quando o texto não muda. O perfil da equipa atribuiu 88% do tempo de codificação em inglês após aquecimento à normalização, contra 8% à seleção de tokens do WordPiece.

A publicação relata que uma ramificação de desenvolvimento codificou bert-base-uncased até cerca de 50 vezes mais depressa do que Tokenizers 0.23 nas entradas testadas, com identificadores de tokens iguais nos corpora comunicados. Os ganhos foram maiores em inglês e código; árabe, grego e russo obtiveram 2,2–3,2 vezes, enquanto o chinês teve pouco ou nenhum ganho. Entradas pequenas podiam ficar mais lentas e as mudanças ainda estavam em fase de pedido de incorporação, pelo que o multiplicador não garante desempenho geral em produção.