مقداردهی اولیه فقط انتخابِ عددهای کوچک نیست؛ دو نورونِ کاملاً همسان ممکن است با گام‌های قطعی، همچنان یک کار انجام دهند. این صفحه با دو نورونِ سیگموید، سه به‌روزرسانیِ واقعی را اجرا می‌کند و نشان می‌دهد برابریِ کاملِ پارامترهای متناظر چگونه حفظ می‌شود. این آزمون، مقایسهٔ کیفیتِ روش‌های آغاز روی دادهٔ واقعی نیست.
تقارنِ کامل را مشخص کنیم
ورودی و هدف هر دو۱هستند. هر نورون h_i=σ(w_i×۱+b_i)می‌سازد و خروجی v0×h0+v1×h1+cاست. در آغازِ متقارن، هر دوwبرابر۰٫۲،هر دوbصفر، هر دوvبرابر۰٫۵وcصفرند. تابع فعال‌سازی، ورودی و روشِ به‌روزرسانی نیز مشترک‌اند؛ فقط برابر‌بودنِ دوwباvهای متفاوت همین فرضِ تقارن نیست.
زیان نصفِ مربع خطاست و گامِ گرادیانی۰٫۱است. ابتدا همهٔ مشتق‌ها از نسخهٔ پیشین گرفته و بعد تمامِ پارامترها با هم عوض می‌شوند. dropout، نویز، مینی‌بچ تصادفی یا دادهٔ متفاوتِ هر نورون نداریم. هیچ کتابخانهٔ شبکهٔ عصبی یا GPUاجرا نشده است.
کد در سه گام چه چیزی را کنترل می‌کند؟
در هر گام، دوhبرابرند. مشتق نسبت به هرvبرابر خطای خروجی ضرب‌درhهمان نورون است؛ مسیرِ برگشت بهwوbهم ازvو مشتق سیگموید می‌گذرد. چون تمامِ اجزای متناظر برابرند، تغییرِ هر جفت برابر می‌شود. کد برابریِwها،bها وvها را بعد از هر سه گام واقعاً کنترل می‌کند.
در نخستین عبور، hها حدود۰٫۵۴۹۸۳۴و خروجی هم همان مقدار است؛ دو نورونِ برابر لزوماً خروجی صفر یا مشتق صفر ندارند. پارامترها تغییر می‌کنند، اما دو واحد هنوز از هم متمایز نشده‌اند. مسئلهٔ تقارن با «شبکه اصلاً هیچ حرکتی نمی‌کند» یکسان نیست.
شروعِ متفاوت روی همان مسئله
در اجرای دوم فقطw1را منفی۰٫۲می‌گذاریم؛ همهٔ چیزهای دیگر ثابت‌اند. حالاh0حدود۰٫۵۴۹۸۳۴وh1حدود۰٫۴۵۰۱۶۶است. در همان گام نخست، مشتقِ دوvفرق می‌کند. فایل JSONتمامِ پارامترهای آغاز و Pythonهر سه جدولِ قبل، مشتق و بعد را نگه می‌دارند؛ اختلاف را از روی شاهدِ محاسبه‌شده می‌بینیم.
این شروعِ دستی، «بهترین مقداردهی» نیست و تصادفی هم نمونه‌گیری نشده است. متفاوت‌شدنِ واحدها به‌تنهایی تعمیم، دقت یا همگراییِ خوب را ثابت نمی‌کند. برای کنترلِ مشتق، تفاضلِ محدودِ هر هفت پارامتر در هر گام و هر دو اجرا با مشتق تحلیلی مقایسه شده است؛ این شاهدِ همین تابع و نقطه‌هاست.
XavierوHeدربارهٔ چه عددی حرف می‌زنند؟
شکستنِ تقارن تنها ملاحظه نیست؛ مقیاسِ وزن‌ها نیز روی عبورِ مقدار و گرادیان اثر دارد. در فرمولِ XavierUniformباgain=۱وfan_in=۴وfan_out=۲،حدِ توزیعِ یکنواخت برابر√(۶÷۶)=۱است. برای HeNormalباReLUوfan_in=۴،انحرافِ معیارِ نظری√(۲÷۴)،حدود۰٫۷۰۷۱می‌شود. کد فقط این دو فرمول را حساب می‌کند؛ از توزیع نمونه نمی‌گیرد.
انحرافِ معیارِ نظریِ یک توزیع را با واریانسِ چند عددِ تصادفیِ محدود یکی ندانید. نوعِ فعال‌سازی، جهتِ استفاده از ماتریس و تعریفfanمهم‌اند. همچنین صفر بودنِ بایاس در بسیاری از شروع‌ها با همسان‌کردنِ همهٔ وزن‌های تمام واحدها یکی نیست؛ این مثال حکمِ «هر بایاس صفر بد است» نمی‌دهد.
مسیرِ یادگیری بعدی
پس‌انتشارِ یک نورون روش حساب مشتق را نشان می‌دهد؛ خروجیِ مستقلِ این صفحه، رفتارِ دو واحدِ همسان تحت سه گام و نسخهٔ نامتقارن است. برای مقیاسِ زنجیره هم محو و انفجار گرادیان را ببینید. در مبانی هوش مصنوعی ادامه دهید؛ روشِ آغازِ تمرین، فناوریِ داخلی یا نتیجهٔ محصولات اپرا را توصیف نمی‌کند.
فایل تمرین و منبع
سه گامِ دو نورون و کنترلِ عددیِ تمام مشتق‌ها · همهٔ فرض‌های تقارن، نه فقط برابریِ وزنِ ورودی
- کتاب اصلی Deep Learning؛ بخش۸٫۴، تقارن و مقداردهی اولیه
- مستند PyTorch؛ فرمول و قرارداد fanدرXavierوHe
منابع در ۳ نوامبر ۲۰۲۶ خوانده شدند؛ این تاریخ، تاریخ انتشار منبع نیست. مثال‌ها و فایل‌های این راهنما آموزشی و ساختهٔ تحریریه‌اند.