Ridge،LassoوElastic Net زیانِ برازش را با جریمهٔ وزن‌ها ترکیب می‌کنند. L2وزنِ بزرگ را با مربعِ آن جریمه می‌کند؛ L1می‌تواند بعضی وزن‌ها را دقیقاً صفر کند. اما مقایسهٔ چند مقدارِ جریمه روی وزن‌های دستی،برازشِ سه روش نیست. این صفحه در یک طراحیِ بسیار کوچک،وزنِ کمینه‌کننده را واقعاً حساب می‌کند.
تابعِ هدف را یک‌بار دقیق بنویسیم
دو ردیفِ ورودی[۱,۰]و[۰,۱]و پاسخ‌های ساختگی۳و۰٫۵را داریم. عرض از مبدأ نداریم و Xماتریسِ همانی است؛ دو ستون هم‌مقیاس‌اند و این تمرین ادعای استانداردسازیِ دادهٔ واقعی ندارد. تابعِ هدف برابر نصفِ مجموعِ مربعِ خطا،به‌علاوه λ1×مجموعِ قدرمطلقِ وزن‌ها،به‌علاوه نصفِ λ2×مجموعِ مربعِ وزن‌هاست.
این قرارداد «نصفِ SSE»است،نه نصفِ میانگینِ خطا. ضرایبِ عددیِ مستنداتِ کتابخانه را بدونِ تطبیقِ ضریبِ nکپی نکنید. برای نمونه،ElasticNetدر مستندش زیان را بر تعدادِ نمونه‌ها هم تقسیم می‌کند؛ یک αیکسان در دو مقیاس الزاماً همان وزن‌ها را نمی‌دهد.
در این طراحی،کمینه را چطور می‌یابیم؟
چون Xهمانی است،مسئله برای هر وزن جدا می‌شود. از قدرمطلقِ پاسخ λ1را کم می‌کنیم و زیرِ صفر را صفر می‌گذاریم؛ سپس علامتِ پاسخ را برمی‌گردانیم و بر۱+λ2تقسیم می‌کنیم. این soft thresholdفرمولِ همین طراحی است؛ راه‌حلِ بستهٔ عمومی برای هر ماتریسِ ویژگی نیست.
| حالت | λ1 | λ2 | وزنِ کمینه |
|---|---|---|---|
| بدونِ جریمه | ۰ | ۰ | [۳،۰٫۵] |
| L2 | ۰ | ۱ | [۱٫۵،۰٫۲۵] |
| L1 | ۱ | ۰ | [۲،۰] |
| ترکیب | ۰٫۵ | ۰٫۵ | [۵÷۳،۰] |
در این داده،L1و ترکیب،وزنِ دوم را صفر می‌کنند؛ از این نتیجه نمی‌شود که هر اجرای Lassoهمیشه همهٔ وزن‌های کم را صفر خواهد کرد یا هر مسئله با وزنِ کمتر بهتر تعمیم می‌یابد. آستانه،مقیاسِ ستون و تابعِ هدف در نتیجه نقش دارند.
کد فقط اعداد را اعلام نکرده است
وزن‌ها با کسرِ دقیق محاسبه و شرطِ بهینگی کنترل شده‌اند: در وزنِ ناصفر،جمعِ مشتقِ بخشِ نرم و سهمِ L1صفر است؛ در وزنِ صفر،قدرِ مشتقِ بخشِ نرم از λ1بزرگ‌تر نیست. برای این هدفِ محدب،این شرط کمینه را مشخص می‌کند. افزون بر آن،۴۳۵۶مقایسه با شبکهٔ محدودِ وزن‌ها اجرا شده است؛ شبکهٔ محدود به‌تنهایی اثباتِ کمینهٔ پیوسته نیست.
خروجی JSONزیان،جریمهٔ L1،جریمهٔ L2و مجموع را جدا دارد. مقدارهای هدفِ چهار مسئله با جریمه‌های متفاوت را رتبه‌بندیِ بهترین روش ننامید؛ خودِ هدف عوض شده است. scikit-learnیا دادهٔ آزمونِ تازه‌ای اجرا نشده و روشِ برتر انتخاب نشده است.
پیش از انتخابِ روش
استانداردسازی با آمارِ آموزش را در صورتِ نیازِ روش،داخلِ همان تقسیم اجرا کنید؛ تغییرِ واحد می‌تواند معنایِ جریمهٔ وزن را عوض کند. تعمیم را هم با دادهٔ مستقل بسنجید،نه با کوچک‌شدنِ وزن‌ها. این صفحه اثرِ خودِ جریمه و کمینه‌سازی را آموزش می‌دهد،نه برنامهٔ تنظیمِ کاملِ مدل.
اگر در پیشنهادِ فنیِ یک پروژه نامِ این روش‌ها آمده،مقیاسِ تابعِ هدف،پردازشِ ستون‌ها و شاهدِ ارزیابی را بخواهید. برای نیازِ پاسخ‌گوییِ مشتری،نمونهٔ مجاز و خروجیِ قابل‌سنجش را در راهکارهای اپرا مطرح کنید؛ الگوریتمِ داخلیِ محصولات از این مثال نتیجه نمی‌شود.
فایل تمرین و منبع
کمینه‌سازیِ دقیقِ L1،L2وترکیب در طراحیِ همانی · وزن‌های کمینه و تفکیکِ زیان و جریمهٔ چهار حالت
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.