BPE با ادغامِ پیاپیِ جفت‌های پرتکرار، واحدهای بزرگ‌تری از واحدهای اولیه می‌سازد. اینجا یک نسخهٔ آموزشیِ مبتنی بر نویسه روی چهار واژهٔ فارسی داریم؛ سه ادغام را واقعاً یاد می‌گیریم و به ترتیب روی واژهٔ تازه اجرا می‌کنیم. این نمونه توکنایزر آمادهٔ یک مدل زبانی یا پیاده‌سازی byte-level نیست.
مجموعهٔ کوچک و واحد آغازین
واژه‌های آموزشی «کار» با فراوانی۴، «کاربر» با۲، «بار» با۳و «زار» با۱هستند. این عددها شمارشِ ساختگیِ صورت تمرین‌اند، نه آمار زبان یا جست‌وجو. هر واژه از قبل جداست؛ داخل آن با نویسه‌های Unicode شروع می‌کنیم و از مرز دو واژه عبور نمی‌کنیم. نشانگر پایان واژه یا نرمال‌سازی اضافه نکرده‌ایم.
در هر گام، فراوانیِ جفتِ مجاور را با وزن تعدادِ همان واژه جمع می‌کنیم. اگر جفتی در یک واژهٔ چهاربارتکرارشده یک بار باشد، چهار رخداد سهم دارد. صرفِ حضور در یک واژه را با فراوانیِ وزن‌دار یکی نگیرید.
سه ادغامِ اجراشده
| گام | جفت | فراوانیِ وزن‌دار | واحد تازه |
|---|---|---|---|
| ۱ | ا + ر | ۱۰ | ار |
| ۲ | ک + ار | ۶ | کار |
| ۳ | ب + ار | ۳ | بار |
در آغاز، جفت «ا،ر» از هر چهار واژه سهم دارد:۴+۲+۳+۱=۱۰. بعد از ادغام، جفت‌ها دوباره از تقسیمِ تازه حساب می‌شوند؛ فهرستِ قدیمیِ جفت‌ها را بدون بازشماری ادامه نمی‌دهیم. در گام دوم، «ک،ار» از کار و کاربر جمعاً۶رخداد دارد. قاعدهٔ حل تساویِ کد نیز صریح است: ابتدا بیشترین فراوانی و بعد ترتیب واژگانیِ جفت.
واژهٔ تازه را با همان قواعد بخوانیم
«کاربار» در فهرست آموزش یک واژهٔ مستقل نبود، اما همهٔ نویسه‌هایش شناخته‌شده‌اند. از [ک،ا،ر،ب،ا،ر] شروع می‌کنیم؛ قواعدِ آموخته‌شده به ترتیب، خروجی [کار،بار] می‌سازند. «کارزار» هم [کار،ز،ار] می‌شود. کد این دو نتیجه و برابرماندن اتصالِ قطعه‌ها با اصل واژه را واقعاً کنترل می‌کند.
در این نسخه، نویسهٔ تازه با ValueError رد می‌شود؛ برای «نام» هم همین اتفاق می‌افتد. این انتخابِ آموزشی را به همهٔ توکنایزرها تعمیم ندهید؛ سیاست ناشناخته، byte fallback، نرمال‌سازی، پیش‌تقسیم و شناسه‌های ویژه در ابزار واقعی مهم‌اند.
قطعهٔ پرتکرار، ریشه یا معنیِ واژه نیست
واحدِ «ار» این تمرین از فراوانیِ جفت آمده، نه از تحلیل صرفی فارسی. BPE برای همین هدف، فرهنگ معنی یا بن‌واژه نمی‌سازد. همچنین تغییر مجموعه، تعداد ادغام یا قاعدهٔ تساوی می‌تواند واژه‌نامهٔ تازه‌ای بدهد. این روش را با پنجرهٔ ثابتِ n-gram یکی نگیرید؛ آنجا nثابت است، اینجا قواعدِ ادغام، طول واحدها را تغییر می‌دهند.
برای شمارش مصرف مدل، از این مثال استفاده نکنید
تعداد دو قطعهٔ «کاربار» فقط نتیجهٔ همین چهار واژه و سه قاعده است؛ تعداد توکنِ سرویس یا هزینهٔ محصول را نمی‌دهد. برای طول واقعی، ابزار و نسخهٔ توکنایزر همان مدل لازم است. Python این صفحه نصبِ مدل، دانلود وزن یا فراخوانی API ندارد.
اگر مقصد شما پاسخ‌گوییِ متنی است، پیش از انتخاب مدل، پرسش واقعی و منابع مجاز را در مسیر چت سایت اپرا روشن کنید. BPE این راهنما شاهدی دربارهٔ توکنایزرِ داخلی یا مصرف خدمات اپرا نیست.
فایل تمرین و منبع
آموزش سه ادغام و اجرای ترتیب قواعد روی واژهٔ تازه · چهار واژهٔ اصیل و فراوانیِ وزن‌دارِ ازپیش‌معلوم
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.