نمونهٔ خصمانه در یادگیری ماشین، ورودی‌ای است که با تغییرِ طراحی‌شده می‌کوشد رفتارِ مدل را مختل کند. برای فهمِ یک سازوکار، در این صفحه فقط دو عددِ متعلق به تمرین را تغییر می‌دهیم و وزن‌هایِ مدل را ثابت نگه می‌داریم. این با گذاشتنِ دستورِ نامعتبر در فایلِ دانش یکسان نیست و هیچ سامانهٔ بیرونی آزمایش نمی‌شود.
مدلِ کوچک و مرزِ تصمیم
ورودیِ اولیه دو عددِ ۰٫۴ و ۰٫۴ است. حاشیهٔ مدل برابرِ x1+x2−0.7 و احتمالِ نمایشیِ کلاسِ یک، sigmoid همان حاشیه است. قاعدهٔ تصمیم، حاشیهٔ بزرگ‌تر یا مساویِ صفر را کلاسِ یک می‌نامد. در ورودیِ اولیه حاشیه ۰٫۱ و پیش‌بینی یک است. وزن‌هایِ یک و یک و عرض از مبدأ منفیِ ۰٫۷ در همهٔ اجراها ثابت‌اند.
مرجعِ یک را نویسنده برایِ این تمرین تعیین کرده است؛ داده، تصویرِ واقعی یا برچسبِ انسانیِ مستقل نداریم. بنابراین ثابت‌گرفتنِ این مرجع پس از تغییرِ دو عدد، یک قراردادِ مثال است و حفظِ معنایِ یک تصویر را ثابت نمی‌کند. این تمایز برایِ خواندنِ درستِ نتیجه ضروری است.
گرادیان را نسبت به ورودی حساب کنیم
زیانِ کلاسِ مرجعِ یک برابرِ log(1+exp(−z)) است. مشتقِ آن نسبت به هر مؤلفهٔ ورودی، در این مدلِ با وزنِ یک، sigmoid(z)−1 می‌شود و در نقطهٔ شروع منفی است. پس گامی در جهتِ افزایشِ زیان، هر دو ورودی را کم می‌کند. کد مشتقِ تحلیلی را با تفاضلِ مرکزیِ گامِ یک‌میلیونیم کنترل کرده و اختلاف کمتر از یک‌صد‌میلیونیم است.
در قراردادِ FGSM، علامتِ گرادیان را در بودجهٔ epsilon ضرب و به ورودی اضافه می‌کنیم؛ سپس در این مثال مقدارها را به فاصلهٔ صفر تا یک محدود می‌کنیم. بودجه، بیشترینِ تغییرِ مطلقِ هر مؤلفه است، یعنی نرمِ بی‌نهایت. آن را با جمعِ تغییرها یا تضمینِ نامرئی‌بودنِ تغییر برایِ انسان یکی نمی‌گیریم.
سه اجرای واقعی چه می‌گویند؟
| بودجه | ورودیِ تازه | حاشیه | پیش‌بینی |
|---|---|---|---|
| ۰ | ۰٫۴ و ۰٫۴ | ۰٫۱ | ۱ |
| ۰٫۰۴ | ۰٫۳۶ و ۰٫۳۶ | ۰٫۰۲ | ۱ |
| ۰٫۰۶ | ۰٫۳۴ و ۰٫۳۴ | منفیِ ۰٫۰۲ | ۰ |
هر دو گامِ غیرصفر زیان را افزایش می‌دهند، ولی فقط گامِ ۰٫۰۶ از مرزِ همین مدل عبور می‌کند. فایل مقدارها را با کسرِ دقیق می‌سازد و زیان را عددی حساب می‌کند. ثابت‌بودنِ وزن‌ها، رعایتِ بودجه و کنترلِ گرادیان هم ثبت شده‌اند؛ عددهایِ جدول نتیجهٔ اجرایِ کدند.
این نتیجه چه چیزی را پوشش نمی‌دهد؟
مدل را آموزش نداده‌ایم، تصویر دست‌کاری نکرده‌ایم و PyTorch یا نمونهٔ MNIST اجرا نشده است. مستندِ اصلی، حملهٔ گرادیانی با دسترسی به مدل را شرح می‌دهد؛ اینجا تنها نسخهٔ عددیِ سادهٔ خودمان را حساب کرده‌ایم. یک تغییرِ برچسب در این مرز، نرخِ آسیب‌پذیریِ مدل‌هایِ واقعی، اندازهٔ ایمنِ عمومی یا موفقیت رویِ ورودی‌هایِ ناشناخته نیست.
همچنین اگر تغییرِ ویژگی واقعاً معنایِ مرجع را عوض کند، ثابت نگه‌داشتنِ برچسب نیازمندِ بررسی است. تعریفِ دامنه، معیارِ شباهت و مرجعِ معتبر باید پیش از گزارشِ مقاومت معلوم باشند. بالا بودنِ احتمالِ مدل یا عبور از چند مثال به‌تنهایی گواهِ مقاومتِ کامل نیست.
تفاوت با تزریقِ دستور و قدمِ بعد
در آزمونِ دستورِ پنهان در فایلِ دانش مسئله، مرزِ دادهٔ نامطمئن و مجوزِ دستور و ابزار است. اینجا ورودیِ عددی با گرادیان تغییر کرد و هیچ دستور یا ابزارِ اجرایی وجود ندارد. دفاع یا نتیجهٔ یکی را به دیگری تعمیم ندهید.
برایِ بررسیِ یک دستیارِ واقعی، دامنهٔ ورودی، مرجعِ درست و مسیرِ ارجاعِ انسانی را در درخواستِ بررسیِ چتِ اپرا روشن کنید. این تمرین وجودِ دفاعِ مشخص در محصول را اعلام نمی‌کند. فایلِ زیر برایِ یادگیری و بازتولیدِ همین حسابِ بی‌اثر است.
فایل تمرین و منبع
گرادیانِ ورودی و سه بودجهٔ اختلال در مدلِ عددیِ ثابت · ورودی، حاشیه، زیان و محدودیتِ معناییِ هر سه اجرا
منابع در 2026-11-04 خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.