سازگاری فایل مدل محلی؛ بررسی قالب، توکنایزر و اجرا

نتیجه هر ایستگاه آزمون را جدا بنویسید. ثبت «مدل اجرا شد» معلوم نمی‌کند کدام فایل و قالب استفاده شده است؛ نام بسته، نسخه ابزار و ورودی آزمایشی غیرحساس را همراه نتیجه نگه دارید.

پیش از انتقال فایل مدل به نسخه تازه اجراکننده، سازگاری بسته را بررسی کنید: معماری، نوع داده وزن‌ها، فراداده، توکنایزر و قالب چت. بازشدن فایل پایان بررسی نیست. این راهنما درباره سازگاری بارگذاری و قرارداد ورودی است؛ مقایسه کیفیت دو نسخه مدل، آزمون مستقلی دارد.

از نام فایل فراتر بروید

GGUF می‌تواند وزن‌ها و فراداده را در یک قالب نگه دارد، اما پسوند GGUF به معنی پشتیبانی همه معماری‌ها و شیوه‌های ذخیره در همه loaderها نیست. شناسه نسخه فایل، هش محلی، معماری اعلام‌شده و نسخه اجراکننده مقصد را ثبت کنید. فهرست قابلیت‌های همان اجراکننده را بخوانید؛ از موفقیت مدل دیگری با همان پسوند نتیجه نگیرید که این فایل نیز پذیرفته می‌شود.

توکنایزر و قالب را از همان بسته بردارید

مدل‌های چت ممکن است نقش‌ها و مرز پیام را با توکن‌های کنترلی متفاوت نمایش دهند. کپی‌کردن قالب از مدل هم‌نام دیگر می‌تواند ورودی را متفاوت بسازد. بررسی کنید متن فارسی به شناسه‌ها تبدیل می‌شود، شناسه‌های ویژه در محدوده واژگان هستند و قالب، پیام user و assistant را مطابق مستندات همان مدل می‌سازد. این‌ها کنترل قرارداد ورودی‌اند، نه شاهد صحت پاسخ نهایی.

آزمون اولیه سازگاری برای مهاجرت

در تمرین آموزشی، فایلی به اجراکننده مقصد منتقل شده اما قالب چت آن از بسته دیگری آمده است. آزمون را به پنج ایستگاه تقسیم می‌کنیم: بازشدن فراداده، بارگذاری وزن‌ها، بررسی توکنایزر، قالب‌بندی یک پیام ساختگی و تولید پاسخ بسیار کوتاه با سقف مشخص. اگر فقط چهار ایستگاه نخست قبول شوند، مهاجرت کامل نیست. اگر هر پنج قبول شوند، نتیجه فقط عبور از آزمون اولیه سازگاری است؛ کیفیت کاربردی هنوز تأیید نشده است.

خروجی آزمون را چگونه ثبت کنیم؟

برای هر جزء، نسخه یا شاهد منبع و نتیجه واقعی را در کاربرگ بنویسید. خطای loader را بدون مسیر یا داده خصوصی نگه دارید. تا پایان بررسی، بسته قبلی و دستور شروع آن را حفظ کنید. نصب کتابخانه ناشناس برای خاموش‌کردن خطا یا حذف فایل قدیمی پیش از آزمون، مسیر مناسب مهاجرت نیست. هر اختلاف را به همان ایستگاه وصل کنید تا خطای قالب با ناسازگاری وزن یکی نشود.

کاربرگ این تمرین

فهرست سازگاری بسته مدل ستون‌های جزء بسته، نسخه یا شاهد لازم، آزمون اولیه سازگاری، نتیجه واقعی، یادداشت خطا و مسئول دارد. خانه‌های نتیجه خالی‌اند؛ این فایل گزارش مهاجرت انجام‌شده نیست.

محدودیت

آزمون اولیه سازگاری فقط سازگاری اولیه بسته را می‌سنجد. از آن ایمنی، کیفیت فارسی یا برتری نسخه را نتیجه نگیرید؛ آزمون کار واقعی و کنترل دسترسی جدا لازم‌اند.

برای پروژه پاسخ‌گویی، ابتدا هدف و حدود اتصال را در آموزش‌های اپرا مرور کنید و سپس دموی اپرا را ببینید. این متن ادعای ارائه زیرساخت مدل محلی از طرف اپرا ندارد.

منابع اصلی

• Hugging Face GGUF
• Transformers Chat templates