Hugging Face ekibi önerilen değişikliklerle BERT tokenizasyonunun hızlandığını bildirdi
Ölçülen kazanımlar dile ve girdi uzunluğuna göre değişti; iyileştirme hâlâ inceleme aşamasındaydı.
Olay / veri dönemi:
Yayın: · Güncelleme:
Hugging Face Tokenizers ekibinin 15 Ekim tarihli yazısı, BERT tarzı metin normalizasyonunu hızlandırmayı amaçlayan önerilen değişiklikleri anlattı. Yöntem ASCII dizilerinde normalizasyon işini atlıyor, Unicode kararlarını 256 kod noktalık sayfalarda önbelleğe alıyor ve metin değişmediyse yeni bir dizge ayırmıyor. Ekibin profiline göre normalizasyon, ısınmış İngilizce kodlamanın yüzde 88’ini; WordPiece token seçimi ise yüzde 8’ini oluşturuyordu.
Yazı, geliştirme dalının test edilen girdilerde bert-base-uncased kodlamasını Tokenizers 0.23’e kıyasla yaklaşık 50 kata kadar hızlandırdığını ve bildirilen derlemlerde token kimliklerinin aynı kaldığını söylüyor. Kazançlar İngilizce ve kodda en yüksek; Arapça, Yunanca ve Rusçada 2,2–3,2 kat; Çince’de ise az veya yoktu. Küçük girdiler yavaşlayabiliyor. Değişiklikler hâlâ birleştirme isteği aşamasında olduğundan bu oran tüm üretim kullanımları için garanti değil.
Veriler
Duyuru özeti
- · Gerçekleşti
Hugging Face ekibi önerilen değişikliklerle BERT tokenizasyonunun hızlandığını bildirdi
Ölçülen kazanımlar dile ve girdi uzunluğuna göre değişti; iyileştirme hâlâ inceleme aşamasındaydı.
Yöntem
Bu olay kaydı kaynağın duyurusunu özetler; kaynakta belirtilmeyen bağımsız doğrulama veya genelleme eklemez.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlyhuggingface.co ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Amerika Birleşik Devletleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredhuggingface.co ↗