وظائف تفعيل Sigmoid و ReLU: تأثير فقدان السياق الهندسي

بقلم: فريق تحرير العلامة التقنية التصنيف: الذكاء الاصطناعي ١٠ أبريل ٢٠٢٦

تعتبر الشبكات العصبية العميقة أنظمة هندسية، حيث تعيد كل طبقة تشكيل فضاء المدخلات لتكوين حدود قرار أكثر تعقيدًا. لتعمل هذه العملية بشكل فعال، يجب أن تحافظ الطبقات على معلومات مكانية ذات مغزى، خصوصًا فيما يتعلق بالمسافة التي يبعدها نقطة البيانات عن هذه الحدود، حيث إن هذه المسافة تمكن الطبقات الأعمق من بناء تمثيلات غير خطية غنية.

تؤثر وظيفة تفعيل Sigmoid سلبًا على هذه العملية عن طريق ضغط جميع المدخلات في نطاق ضيق بين 0 و 1. مع ابتعاد القيم عن حدود القرار، تصبح غير قابلة للتفريق، مما يسبب فقدان السياق الهندسي عبر الطبقات. يقود هذا إلى تمثيلات أضعف ويقلل من فعالية العمق للشبكة.

على الجانب الآخر، تقوم وظيفة ReLU بالحفاظ على الحجم للقيم الموجبة، مما يسمح لمعلومات المسافة بالانتقال عبر الشبكة. هذا يُمكن النماذج الأعمق من أن تظل معبرة دون الحاجة إلى عرض مفرط أو حسابات مكثفة. في هذه المقالة، سنركز على سلوك عملية تمرير الإشارة للأمام، حيث سنحلل كيف تختلف Sigmoid وReLU في انتشار الإشارات والهندسة التمثيلية باستخدام تجربة "الأقمار الثنائية"، وما يعنيه ذلك من حيث كفاءة الاستنتاج وقابلية التوسع.

إنشاء مجموعة البيانات

لدراسة تأثير وظائف التفعيل في بيئة متحكم بها، نقوم أولاً بإنشاء مجموعة بيانات صناعية باستخدام دالة make_moons من مكتبة scikit-learn. هذه الدالة تُنشئ مشكلة ثنائية الفئة غير خطية حيث تفشل الحدود الخطية البسيطة، مما يجعلها مثالية لاختبار مدى كفاءة الشبكات العصبية في تعلم سطح قرار معقد.

نضيف كمية صغيرة من الضوضاء لجعل المهمة أكثر واقعية، ثم نقوم بتوحيد الخصائص باستخدام StandardScaler لضمان استقرار التدريب. تُقسم مجموعة البيانات بعد ذلك إلى مجموعات تدريب واختبار لتقييم التعميم. أخيرًا، نقوم بتصور توزيع البيانات.

إنشاء الشبكة العصبية

بعد ذلك، نقوم بتنفيذ شبكة عصبية صغيرة ومتحكم بها لعزل تأثير وظائف التفعيل. الهدف هنا ليس بناء نموذج محسن بشكل كبير، بل إنشاء إعداد تجريبي نظيف حيث يمكن مقارنة Sigmoid وReLU في ظروف متطابقة. نقوم بتعريف كلتا وظيفتي التفعيل (Sigmoid وReLU) جنبًا إلى جنب مع مشتقاتها، ونستخدم binary cross-entropy كخسارة نظرًا لأن هذه مهمة تصنيف ثنائية.

تُمثل TwoLayerNet شبكة تغذية أمامية بسيطة تتكون من 3 طبقات (2 طبقات خفية + مخرجة)، حيث يكون المكون القابل للتكوين الوحيد هو وظيفة التفعيل. تفصيل رئيسي هو استراتيجية التهيئة: نستخدم تهيئة He لReLU وXavier لـ Sigmoid، مما يضمن أن كل شبكة تبدأ في وضع عادل ومستقر بناءً على ديناميكيات التفعيل الخاصة بها.

تدريب الشبكات العصبية

نقوم الآن بتدريب كلا الشبكتين تحت ظروف متطابقة لضمان مقارنة عادلة. نهيئ نموذجيين — واحد باستخدام Sigmoid وآخر باستخدام ReLU — بنفس البذور العشوائية بحيث يبدأان من تكوينات أوزان مكافئة. يتم تشغيل حلقة التدريب لمدة 800 دورة باستخدام mini-batch gradient descent. في كل دورة، نقوم بخلط بيانات التدريب، وتقسيمها إلى دفعات، وتحديث كلا الشبكتين بالتوازي. يضمن هذا الإعداد أن أي اختلاف في الأداء أو التمثيلات الداخلية يمكن أن يُنسب مباشرة إلى وظيفة التفعيل نفسها.

عبر مقارنة نتائج الشبكتين، يمكننا تقييم مدى تأثير كل وظيفة على كفاءة الاستنتاج والقدرة على التعلم من البيانات. من خلال هذه التجربة، نأمل في إلقاء الضوء على الاعتبارات الهندسية المرتبطة باستخدام وظائف التفعيل المختلفة في الشبكات العصبية.