در تولید خودبازگشتی متن، مدل زبانی برای توکن بعدی با توجه به متن ورودی و توکن‌های قبلی توزیع می‌سازد. پس از انتخاب یک توکن، مرحلهٔ بعد با زمینهٔ تازه ادامه می‌یابد. این فرایند را با یک درخت دوگامیِ کوچک می‌بینیم؛ عددها آموزشی‌اند و احتمال‌های ثبت‌شدهٔ یک مدل واقعی نیستند.
یک توکن بعد از انتخاب، ورودی مرحلهٔ بعد می‌شود
در مثال، واژگان را عمداً به نشانه‌های A و B در گام اول و X و Y در گام دوم محدود کرده‌ایم. پس از دو گام متوقف می‌شویم. این نشانه‌ها توکن‌های یک توکنایزر واقعی یا کلمه‌های فارسی نیستند. برای تفاوت کلمه و توکن، راهنمای توکن در متن فارسی را ببینید.
| زمینه | گزینه | احتمال شرطی ساختگی |
|---|---|---|
| شروع | A | 0.6 |
| شروع | B | 0.4 |
| پس از A | X | 0.5 |
| پس از A | Y | 0.5 |
| پس از B | X | 0.9 |
| پس از B | Y | 0.1 |
در گام دوم یک توزیع مشترک برای همهٔ حالت‌ها نداریم: احتمال X پس از A برابر۰٫۵ و پس از B برابر۰٫۹ است. بنابراین متن قبلی فقط چیزی برای نمایش روی صفحه نیست؛ در شرط پیش‌بینی بعدی حضور دارد.
احتمال یک دنباله را حساب کنیم
در همین درخت، احتمال مشترک AX برابر احتمال A در شروع ضرب‌در احتمال X پس از A است: 0.6×0.5=0.30. چهار دنباله داریم:
| دنباله | محاسبه | احتمال مشترک |
|---|---|---|
| AX | 0.6×0.5 | 0.30 |
| AY | 0.6×0.5 | 0.30 |
| BX | 0.4×0.9 | 0.36 |
| BY | 0.4×0.1 | 0.04 |
جمع احتمال‌ها۱ است. این جمع فقط به این علت کامل است که درخت ما همهٔ حالت‌های دو گام را دارد و طول همهٔ خروجی‌ها یکسان است. در تولید واقعی، پایان دنباله یا سقف تولید و دیگر تنظیمات نیز مطرح‌اند؛ این جدول مدل کامل یک دستیار نیست.
انتخاب حریصانه الزاماً بهترین دنبالهٔ کامل را نمی‌دهد
روش حریصانه در شروع A را انتخاب می‌کند چون۰٫۶ از۰٫۴ بیشتر است. پس از A، X و Y برابرند؛ در کد تمرین، قرارداد شکستن تساوی X را جلوتر می‌گیرد. پس خروجی AX با احتمال۰٫۳۰ می‌شود. اما اگر هر چهار برگ را مقایسه کنیم، BX با۰٫۳۶ بیشترین احتمال مشترک را دارد.
این تفاوت، خطای حساب نیست؛ انتخاب محلیِ هر گام با جست‌وجوی همهٔ دنباله‌ها هدف یکسانی ندارد. از این مثال هم نمی‌توان نتیجه گرفت جست‌وجوی کامل در مدل بزرگ راهکار ارزان یا پاسخ همیشه بهتر است. تعداد شاخه‌ها می‌تواند بسیار زیاد شود و معیار کاربردی هم فقط احتمال دنباله نیست.
احتمال ادامه با درستی ادعا فرق دارد
اگر دنباله‌ای محتمل است، هنوز معلوم نشده که جملهٔ حاصل دربارهٔ موجودی، قیمت امروز یا یک رویداد واقعی درست باشد. صحت باید با منبع و آزمون همان وظیفه سنجیده شود؛ مدل زبانی جای پایگاه داده نیست این مرز را برای اطلاعات متغیر توضیح می‌دهد. تکرارپذیربودن خروجی حریصانه نیز گواه صحت نیست.
نمونه‌گیری می‌تواند انتخاب را از حالت حریصانه تغییر دهد. دمای مدل و روش تولید دربارهٔ تنظیمات نمونه‌گیری است؛ این صفحه احتمال شرطیِ زنجیره را حساب می‌کند و دمای بهینه‌ای توصیه نمی‌کند.
فایل تمرین چه چیزی را ثابت می‌کند؟
JSON، تمام شاخه‌های مثال را دارد و Python با Decimal احتمال‌ها، جمع۱، انتخاب AX و بیشینهٔ BX را واقعاً بررسی کرده است. هیچ مدل، GPU، API یا توکنایزر اجرا نشده است. برای تمرین بعدی، فقط احتمال X پس از B را از۰٫۹ به۰٫۶ و Y را به۰٫۴ تغییر دهید؛ دوباره همهٔ برگ‌ها و مجموع را حساب کنید و ببینید بیشینه عوض می‌شود یا نه. مسیر ادامه در مبانی هوش مصنوعی است.
فایل تمرین و منبع
درخت دوگامی و احتمال چهار دنباله؛ JSON · کد محلی احتمال شرطی و انتخاب حریصانه
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.