تهيئة الشبكات العصبية: ما أهمية تهيئة الوزن  في Weight Initialization في الشبكة وكيف يتم؟ 

تعتمد أنظمة ونماذج الذكاء الاصطناعي على الشبكات العصبية بشكل أساسي فهي تعتبر حجر الأساس لأي نموذج, تتميز بقدرتها الهائلة على فهم وتحليل الأنماط والعلاقات بين البيانات, ولكن يبقى السؤال الأهم كيف يمكن ضمان أن تعمل الشبكة العصبية بكفاءة؟ 

بالطبع لا يمكن ضمان هذا الأمر مئة بالمئة لكن من أهم الأمور الواجب القيام بها هي تهيئة الشبكة العصبية,  وهي عملية تشير إلى تحديد القيم الابتدائية لمعاملات الشبكة العصبية قبل بدء عملية التدريب, هذه المعاملات قد تشمل الأوزان والانحراف Biases في الطبقات المختلفة للشبكة, و تكون عملية تهيئة الشبكة مهمة لأن القيم الابتدائية التي يتم تعيينها قد تؤثر بشكل كبير على عملية التدريب وأداء النموذج النهائي. 

يعد الوزن من أهم المعاملات التي يجب الاهتمام بها وضبطها بشكل صحيح وتسمى هذه العملية تهيئة الوزن Weight Initialization, و لمعرفة كيف يمكن تهيئة الوزن وكيف يؤثر على عمل الشبكة, لابد أولا من معرفة ماهية الوزن وما دوره في تدريب الشبكة العصبية, هذا وأكثر ما سنعرفه في مقالنا لذلك ابق معنا. 

ما هو الوزن Weight في الشبكة العصبية وما أهميته؟

الوزن في الشبكة العصبية هو قيمة رقمية مرتبطة بالاتصالات بين الخلايا العصبية و تعبر عن علاقة الخلايا العصبية في الشبكة ببعضها البعض, بحيث يكون كل اتصال بين خلية عصبية وأخرى يحمل قيمة معينة تعرف بالوزن, وهذا الوزن يعبر عن القوة والاتجاه (سواء كان إيجابيا أو سلبيا) لتأثير إحدى الخلايا العصبية على الأخرى. [1]

ولكن لماذا يتم التركيز على الوزن عند تهيئة الشبكة العصبية؟ 

ببساطة لأنه يلعب دورا مهما في تشكيل سلوك الشبكة, بحيث تؤثر هذه الأوزان مباشرة على الإشارات التي تمر عبر الشبكة، وبالتالي تحديد الإخراج النهائي للشبكة.

أثناء مرحلة التدريب، تتعلم الشبكة العصبية من البيانات التدريبية عن طريق تعديل الأوزان بشكل تكراري, يتم هذا التعديل لضبط الأوزان بحيث تكون الإشارات الواردة تتناسب تماما مع الإخراج المرغوب, أي بمعنى آخر، يتم ضبط الأوزان بحيث يتناسب تأثير كل وحدة في الشبكة مع الهدف النهائي للتنبؤ بشكل صحيح.

وفي النهاية، مجموعة الأوزان في الشبكة تعكس ما تعلمته الشبكة من البيانات التدريبية, وهذا يمثل نوعا من الترميز الذي يحتوي على المعرفة اللازمة لاتخاذ قرارات صحيحة أو لإجراء تنبؤات دقيقة استنادا إلى الإدخالات المستقبلية.

ماذا سيحدث إذا أهملنا الوزن عند تهيئة الشبكات العصبية؟ 

ولكن حقا ماذا سيحدث لسلوك الشبكة العصبية إذا لم نولي اهتماما بالغا بالوزن, إهمال الوزن وعدم تهيئته بالشكل الصحيح سيؤدي الى ظهور مشكلات  تسمى تلاشي التدرج Vanishing Gradient و تضخم التدرج

Exploding Gradient.

تحدث مشكلة تلاشي التدرج عندما تكون قيم الأوزان صغيرة جدا وعندها تتوقف بعض الطبقات عن التعلم, أما تضخم التدرج فهي العكس تماما تحدث عندما تكون قيم الأوزان كبيرة جدا مما يجعل عملية التدريب صعبة وغير مستقرة.

تتساءل عن الحل لهاتين المشكلتين, الحل بسيط وهو من خلال عملية تهيئة الوزن وهو موضوعنا في القسم القادم. 

ما هي طرق تهيئة الوزن في الشبكة العصبية؟ 

هناك ستة طرق أساسية لتهيئة الأوزان وهي: [2]

• Zero Initialization: في هذه الطريقة يتم إعطاء قيمة "صفر" لجميع الأوزان كقيمة بدائية, ولكنها غير فعالة لأن قيم الأوزان ستكون ثابتة وهذا يعني أن كل خلية عصبية في الشبكة ستتعلم نفس الميزة في كل تكرار وهذا لن ينتج عنه أية عملية تعلم. 
• Random Initialization: تأتي هذه الطريقة كحل لمشكلة محدودية التهيئة بالصفر(النقطة السابقة), تعتبر طريقة مشابهة للطريقة السابقة عدا عن أن قيم الأوزان تأخذ قيما عشوائية ما عدا الصفر, ولكن إعطاء قيم بشكل عشوائي قد يتسبب في حدوث مشكلات مثل مشكلة فرط التجهيز Overfitting وتلاشي التدرج وأيضا التضخم في التدرج. هناك نوعان لهذه الطريقة وهما: Random Normal, Random Uniform 

-طريقة Random Normal: قيم الأوزان يتم اختيارها بشكل عشوائي وفقا لتوزيع يشبه التوزيع الطبيعي، حيث تكون القيم المركزية أكثر شيوعا، وتقل تدريجيا عندما نتجه إلى القيم الأقل والأعلى, هذا يستخدم عادة لضمان تباين جيد وأداء مستقر أثناء عملية التدريب.

-طريقة Random Uniform:  قيم الأوزان تختار بشكل عشوائي وتكون لكل قيمة في النطاق نفس احتمال الظهور، دون تمييز بين القيم, هذا يستخدم أحيانا كأحد الطرق لتحديد قيم الأوزان الابتدائية في عمليات تدريب النماذج العصبية.

•  Xavier Initialization: هذه الطريقة تركز على اختيار قيم للأوزان من توزيع متساو وتعد مناسبة للطبقات التي تستخدم فيها وظيفة التنشيط Sigmoid.
• Normalized Xavier Initialization: تعين الأوزان من قيم في توزيع طبيعي, وتتشابه مع الطريقة السابقة أنها أيضا تعتبر مناسبة للطبقات التي تستخدم فيها وظيفة التنشيط Sigmoid. 
• He Uniform Initialization:  في هذه الطريقة يتم تعيين قيم للأوزان من قيم موزعة بشكل متساو, كما أنها تعد مناسبة للطبقات التي يتم فيها استخدام وظيفة التنشيط ReLU.
•  He Normal Initialization: تعين الأوزان من قيم مستمدة من توزيع طبيعي وكما الطريقة السابقة مناسبة للطبقات التي يستخدم فيها وظيفة ReLU.

الخاتمة 

في ختام المقال، يتجلى الوزن كمفتاح أساسي في تشكيل سلوك الشبكة العصبية, حيث يظهر الوزن قيما رقمية مرتبطة بالاتصالات بين الخلايا العصبية، حيث يحدد القوة والاتجاه, لذلك تهيئته بدقة خلال التدريب تضمن توازنا في الإشارات وتحديد الإخراج النهائي, كما يشير الإهمال إلى مشكلات محتملة كتلاشي التدرج وتضخمه. تتنوع طرق تهيئة الوزن بين إعطائه قيمة صفر كطريقة Zero Initialization أو إطلاق قيم عشوائية له. 

وفي النهاية , تعد عملية تهيئة الوزن مهمة في تحسين قدرة الشبكة على التعلم والتكيف مما يسهم في تحسين أدائها وقدرتها على التنبؤ. 

المصادر

1. Weight (Artificial Neural Network) Definition | DeepAI.
2. Weight Initialization Techniques for Deep Neural Networks - GeeksforGeeks