فريق Hugging Face يعلن تسريعاً مقترحاً لتقطيع نصوص BERT

شرح منشور لفريق Tokenizers في Hugging Face بتاريخ 15 أكتوبر تغييرات مقترحة لتسريع تطبيع النصوص في نماذج BERT. تتجاوز الطريقة أعمال التطبيع لمقاطع ASCII، وتخزن قرارات Unicode مؤقتاً في صفحات من 256 نقطة ترميز، وتتجنب تخصيص سلسلة جديدة إذا لم يتغير النص. وأظهر تحليل الفريق أن التطبيع استهلك 88% من زمن الترميز الإنجليزي بعد الإحماء، مقابل 8% لاختيار الرموز في WordPiece.

ويقول المنشور إن فرع التطوير رمّز bert-base-uncased بسرعة تصل إلى نحو 50 ضعفاً مقارنة بـTokenizers 0.23 في المدخلات المختبرة، مع تطابق معرّفات الرموز في المدونات المعلنة. كانت المكاسب أكبر للإنجليزية والشيفرة؛ وبلغت 2.2 إلى 3.2 مرة للعربية واليونانية والروسية، بينما كانت محدودة أو معدومة للصينية. وقد تصبح المدخلات القصيرة أبطأ، وكانت التغييرات لا تزال في مرحلة طلب الدمج؛ لذلك لا يمثل الرقم ضماناً عاماً للأداء الإنتاجي.