# Hugging Face ekibi önerilen değişikliklerle BERT tokenizasyonunun hızlandığını bildirdi

> Ölçülen kazanımlar dile ve girdi uzunluğuna göre değişti; iyileştirme hâlâ inceleme aşamasındaydı.

- Kalıcı adres: https://newsverum.com/tr/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026
- Yayıncı: Newsverum
- Bölüm: Teknoloji
- Ülke: Amerika Birleşik Devletleri
- Yayın: 2026-10-15T18:13:43+00:00
- Güncelleme: 2026-10-15T18:13:43+00:00
- Olay / veri dönemi: 2026-10-15
- Diğer sürümler: [English](https://newsverum.com/en/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [العربية](https://newsverum.com/ar/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Français](https://newsverum.com/fr/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Español](https://newsverum.com/es/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Deutsch](https://newsverum.com/de/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md), [Português](https://newsverum.com/pt/news/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026.md)

Hugging Face Tokenizers ekibinin 15 Ekim tarihli yazısı, BERT tarzı metin normalizasyonunu hızlandırmayı amaçlayan önerilen değişiklikleri anlattı. Yöntem ASCII dizilerinde normalizasyon işini atlıyor, Unicode kararlarını 256 kod noktalık sayfalarda önbelleğe alıyor ve metin değişmediyse yeni bir dizge ayırmıyor. Ekibin profiline göre normalizasyon, ısınmış İngilizce kodlamanın yüzde 88’ini; WordPiece token seçimi ise yüzde 8’ini oluşturuyordu.

Yazı, geliştirme dalının test edilen girdilerde bert-base-uncased kodlamasını Tokenizers 0.23’e kıyasla yaklaşık 50 kata kadar hızlandırdığını ve bildirilen derlemlerde token kimliklerinin aynı kaldığını söylüyor. Kazançlar İngilizce ve kodda en yüksek; Arapça, Yunanca ve Rusçada 2,2–3,2 kat; Çince’de ise az veya yoktu. Küçük girdiler yavaşlayabiliyor. Değişiklikler hâlâ birleştirme isteği aşamasında olduğundan bu oran tüm üretim kullanımları için garanti değil.

## Veriler

### Duyuru özeti

Yöntem: Bu olay kaydı kaynağın duyurusunu özetler; kaynakta belirtilmeyen bağımsız doğrulama veya genelleme eklemez.

| date | label | description | status |
|---|---|---|---|
| 2026-10-15 | Hugging Face ekibi önerilen değişikliklerle BERT tokenizasyonunun hızlandığını bildirdi | Ölçülen kazanımlar dile ve girdi uzunluğuna göre değişti; iyileştirme hâlâ inceleme aşamasındaydı. | occurred |

Kaynaklar: <https://huggingface.co/blog/huggingface/tokenmaxxing-bert> · Veriyi indir: [JSON](https://newsverum.com/api/v1/articles/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026/data/announcement-record?lang=tr&format=json) · [CSV](https://newsverum.com/api/v1/articles/hugging-face-tokenizers-proposes-bert-normalization-speedups-2026/data/announcement-record?lang=tr&format=csv)

## Kaynaklar

- [Hugging Face Tokenizers team](<https://huggingface.co/blog/huggingface/tokenmaxxing-bert>) (Kaynak kontrolü: 2026-10-15; Yayın: 2026-10-15)

---

Alıntı için yukarıdaki kalıcı adresi kullanın. [Yayın ilkeleri ve düzeltmeler](https://newsverum.com/tr/editorial)