# Equipa da Hugging Face propõe acelerar a tokenização BERT

> Os ganhos variam conforme o idioma e o tamanho da entrada; as alterações ainda estavam em análise.

- URL canônica: https://newsverum.com/pt/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026
- Editora: Newsverum
- Seção: Tecnologia
- País: Estados Unidos
- Publicado: 2026-10-15T18:13:43+00:00
- Atualizado: 2026-10-15T18:13:43+00:00
- Período do evento ou dos dados: 2026-10-15
- Outras edições: [Türkçe](https://newsverum.com/tr/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [English](https://newsverum.com/en/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [العربية](https://newsverum.com/ar/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Français](https://newsverum.com/fr/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Español](https://newsverum.com/es/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Deutsch](https://newsverum.com/de/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md)

Uma publicação da equipa Tokenizers da Hugging Face, em 15 de outubro, descreveu alterações propostas para acelerar a normalização de texto ao estilo BERT. O método ignora trabalho em sequências ASCII, guarda decisões Unicode em páginas de 256 pontos de código e evita alocar uma nova cadeia quando o texto não muda. O perfil da equipa atribuiu 88% do tempo de codificação em inglês após aquecimento à normalização, contra 8% à seleção de tokens do WordPiece.

A publicação relata que uma ramificação de desenvolvimento codificou bert-base-uncased até cerca de 50 vezes mais depressa do que Tokenizers 0.23 nas entradas testadas, com identificadores de tokens iguais nos corpora comunicados. Os ganhos foram maiores em inglês e código; árabe, grego e russo obtiveram 2,2–3,2 vezes, enquanto o chinês teve pouco ou nenhum ganho. Entradas pequenas podiam ficar mais lentas e as mudanças ainda estavam em fase de pedido de incorporação, pelo que o multiplicador não garante desempenho geral em produção.

## Dados

### Resumo do anúncio

Metodologia: Este registo resume o anúncio da fonte sem acrescentar verificação independente ou generalização.

| date | label | description | status |
|---|---|---|---|
| 2026-10-15 | Equipa da Hugging Face propõe acelerar a tokenização BERT | Os ganhos variam conforme o idioma e o tamanho da entrada; as alterações ainda estavam em análise. | occurred |

Fontes: <https://huggingface.co/blog/huggingface/tokenmaxxing-bert> · Baixar dados: [JSON](https://newsverum.com/api/v1/articles/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026/data/announcement-record?lang=pt&format=json) · [CSV](https://newsverum.com/api/v1/articles/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026/data/announcement-record?lang=pt&format=csv)

## Fontes

- [Hugging Face Tokenizers team](<https://huggingface.co/blog/huggingface/tokenmaxxing-bert>) (Fonte verificada: 2026-10-15; Publicado: 2026-10-15)

---

Use a URL canônica acima para citar este artigo. [Princípios editoriais e correções](https://newsverum.com/pt/editorial)