Language
Country/Area
No result found
ن الخطي إلى غير الخطي: كيف تعمل وظائف التنشيط على تغيير قدرة التعلم في الشبكات العصبية
مع تقدم التكنولوجيا، تم تطبيق وظائف التنشيط المحددة في نماذج مختلفة. على سبيل المثال، استخدم نموذج التعرف على الكلام الذي طوره هينتون وآخرون في عام 2012 وظائف منطقية، في حين اعتمدت نماذج AlexNet لعام 2012 وResNet لعام 2015 على بنية ReLU لمهام الرؤية الحاسوبية. بالإضافة إلى ذلك، استخدم نموذج BERT لعام 2018 GELU، وأثار أداء وظائف التنشيط المختلفة هذه في مهام مختلفة نقاشًا واسع النطاق.تتضمن وظائف التنشيط الحديثة وظائف منطقية (سجمية)، وReLU (وحدة خطية مصححة)، وإصدارات سلسة من ReLU، وGELU (وحدة خطية خطأ غاوسي)، وما إلى ذلك.
مقارنة وظائف التنشيط
بالإضافة إلى الأداء العملي، فإن وظائف التنشيط المختلفة لها خصائص مختلفة رياضيا، مثل اللاخطية الجزئية والقدرة على التفاضل المستمر. تمكن وظائف التنشيط غير الخطية من إظهار الشبكات العصبية ذات الطبقتين كمقربات وظيفة عالمية، في حين أن وظائف التنشيط الخطية لا تستطيع تلبية هذه الخاصية. عندما يتم استخدام دالة تنشيط خطية لطبقات متعددة، تكون الشبكة بأكملها تعادل نموذج الطبقة الواحدة.
عندما يكون نطاق وظائف التنشيط محدودًا، تكون طرق التدريب القائمة على التدرج أكثر استقرارًا عادةً لأن عرض الأنماط يؤثر بشكل كبير على الأوزان المحدودة فقط.
ومع ذلك، عندما يكون نطاق دالة التنشيط غير محدود، يكون التدريب عادةً أكثر كفاءة لأن عرض الأنماط يؤثر على جميع الأوزان تقريبًا. في هذه الحالة، عادة ما تكون هناك حاجة إلى معدل تعلم أصغر.
التفاصيل الرياضية
يمكن تقسيم وظائف التنشيط الأكثر شيوعًا في الوقت الحالي إلى ثلاث فئات: وظائف التلال، والوظائف الشعاعية، والوظائف القابلة للطي.
قد تكون وظائف التنشيط غير المشبعة (مثل ReLU) أكثر فائدة من وظائف التنشيط المشبعة لأن الأولى أقل عرضة لمشكلة التدرج المتلاشي.
دالة تنشيط التلال هي دالة متعددة المتغيرات تعمل على مجموعة خطية من متغيرات الإدخال. تتضمن الأمثلة الشائعة التنشيط الخطي، وتنشيط ReLU، والتنشيط المنطقي. هذه الوظائف لا تكون مستوحاة بيولوجيًا فحسب، بل تحاكي أيضًا معدل إطلاق الجهد الفعلي للخلية.
إذا كان ميل الخط موجبًا، فإنه يمكن أن يعكس تردد الانبعاث مع زيادة تيار الإدخال.
الدالات الأساسية الشعاعية (RBF) هي نوع آخر من وظائف التنشيط المستخدمة بشكل أساسي في شبكات RBF. يمكن أن تأخذ مجموعة متنوعة من الأشكال، وأكثرها شيوعًا هي الدوال الغوسية ووظائف الفرق متعددة المربعات.
أمثلة وأنواع أخرى
بالإضافة إلى الوظائف المذكورة أعلاه، يمكن أيضًا استخدام الوظائف الدورية مثل وظائف الجيب كوظائف تنشيط لأن أي وظيفة دورية يمكن تحليلها إلى تركيبة خطية من الموجات الجيبية بواسطة تحويل فورييه. بالإضافة إلى ذلك، يتم استخدام دالة تنشيط الطي على نطاق واسع في طبقة التجميع للشبكات العصبية التلافيفية، وكذلك في طبقة الإخراج لشبكات التصنيف متعددة الفئات، مثل دالة تنشيط سوفت ماكس.
في الشبكات العصبية الكمومية، يمكن تنفيذ عدم خطية دالة التنشيط دون قياس مخرجات كل مُدرك لكل طبقة.
إن خصائص أجهزة الكمبيوتر الكمومية تجعل من الممكن تصميم مثل هذه الدوائر الكمومية التي يمكن استخدامها لتقريب أي دالة تنشيط كلاسيكية تعسفية.
يعد اختيار وظيفة التنشيط أمرًا بالغ الأهمية لأداء الشبكات العصبية، وقد تستكشف الأبحاث المستقبلية المزيد من وظائف التنشيط غير المستكشفة، فكيف يؤثر هذا على فعالية الشبكة العصبية بأكملها؟
