Hugging-Face-Team meldet vorgeschlagene Beschleunigung der BERT-Tokenisierung
Die Zugewinne hängen von Sprache und Eingabelänge ab; die Änderung wurde noch geprüft.
Ereignis-/Datenzeitraum:
Veröffentlicht: · Aktualisiert:
Ein Beitrag des Hugging-Face-Tokenizers-Teams vom 15. Oktober beschrieb vorgeschlagene Änderungen zur Beschleunigung der BERT-Textnormalisierung. Der Ansatz überspringt Normalisierung bei ASCII-Abschnitten, speichert Unicode-Entscheidungen für Seiten mit 256 Codepoints zwischen und vermeidet eine neue Zeichenkette, wenn der Text unverändert bleibt. Laut Profil entfielen 88 % der warmen englischen Kodierzeit auf die Normalisierung und 8 % auf die WordPiece-Tokenauswahl.
Der Beitrag berichtet, dass ein Entwicklungszweig bert-base-uncased bei getesteten Eingaben bis zu etwa 50-mal schneller als Tokenizers 0.23 kodierte; die Token-IDs blieben in den genannten Korpora gleich. Die stärksten Zugewinne gab es bei Englisch und Code; Arabisch, Griechisch und Russisch erreichten das 2,2- bis 3,2-Fache, Chinesisch kaum oder gar keinen Vorteil. Kleine Eingaben konnten langsamer sein. Da die Änderungen noch als Pull Request geprüft wurden, ist der Faktor keine allgemeine Produktionsgarantie.
Daten
Zusammenfassung der Ankündigung
- · eingetreten
Hugging-Face-Team meldet vorgeschlagene Beschleunigung der BERT-Tokenisierung
Die Zugewinne hängen von Sprache und Eingabelänge ab; die Änderung wurde noch geprüft.
Methodik
Dieser Ereigniseintrag fasst die Quelle zusammen und ergänzt keine unabhängige Prüfung oder Verallgemeinerung.
Aktualisiert:
Themen und Orte
Themenvorschläge
- Wissenschaft, Technik, ForschungVorgeschlagene Kennzeichnung
- Preserved editorial category/topic; broad candidate onlyhuggingface.co ↗
Geografische Angaben
Angezeigt werden nur geografische Angaben aus der Quelle. Eine externe Karte lässt sich optional öffnen. Optionale Karten in Artikeln nutzen OpenStreetMap. Beim Öffnen werden Ihre IP-Adresse und die Adresse dieser Website an den Kartenanbieter übermittelt. Ortsangaben bleiben auch ohne Karte als Text lesbar.
- Vereinigte Staaten · Funktion des Ortes: Abdeckung · Art des Ortes: Land oder Gebiet · Ortsgenauigkeit: regionalBeleg
- Explicit preserved editorial country/region; no city or national centroid inferredhuggingface.co ↗