مفهوم قيمة شابلي في التعلم الآلي: مكتبة SHAP لتفسير نماذج التعلم الآلي

مؤكد أنك سمعت بالصندوق الأسود, لا ليس الصندوق الموجود في الطائرات, إنما مصطلح يتعلق بنماذج التعلم الآلي. نحن نعتمد اليوم على التعلم الآلي أكثر مما سبق, ولكن رغم اعتمادنا عليه في كل المجالات تقريبا إلا أن المطورين والمستخدمين  يعانون من مشكلة الصندوق الأسود.

مشكلة الصندوق الأسود تنشأ عندما يكون التفسير لقرارات النموذج غامضا وغير واضح, بالتالي فهم  كيف يتفاعل كل متغير مع النموذج يعتبر تحديا، وهو ما يعيق الثقة في استخدام هذه النماذج في سياقات حياتية حقيقية, لكن لحسن الحظ وكحل لهذه المشكلة ظهرت قيمة شابلي  SHAP Values كأداة فعالة تلقي الضوء على تأثير كل متغير في النموذج.

لكن ما مفهوم قيمة شابلي تحديدا, وكيف يساهم في حل مشكلة الصندوق الأسود وكيف كانت بدايته؟ ابق معنا لأن في هذا المقال ستجد الإجابات لهذه الأسئلة. 

مفهوم قيمة شابلي SHAP Values وعلاقتها في التعلم الآلي

قيمة شابلي أو SHAP Values هي اختصار ل SHapley Additive exPlanations  

و هي مفهوم مستمد من نظرية الألعاب التعاونية لأعمال لويد شابلي، وتستخدم لتحديد المساهمة الفردية لكل عنصر في نظام تعاوني. يعتبر هذا المفهوم طريقة عادلة لتوزيع القيمة الإجمالية للتعاون بين الأعضاء, ينطوي ذلك على تقييم كل تركيب ممكن للميزات وتحديد تأثير كل ميزة على توقعات النموذج عندما تضاف إلى هذه التركيبات. من خلال معادلة هذه المساهمات عبر جميع ترتيبات الميزات الممكنة، يمكننا تحقيق تقييم متوازن و قابل للتفسير لأهمية كل ميزة في توقعات النموذج. [1]

أما في مجال التعلم الآلي, يتم تخصيص قيمة أهمية لكل ميزة بحيث تعبر عن مدى تأثيرها في إخراج النموذج, على سبيل المثال: الميزات ذات القيم الإيجابية في SHAP تؤثر بشكل إيجابي على التنبؤ، في حين أن تلك ذات القيم السلبية تكون لها تأثير سلبي.

باستخدام قيمة شابلي يمكن تفسير كيف تؤثر كل ميزة على كل توقع نهائي وأهمية كل ميزة بالمقارنة مع الأخرى, مما يساعد في تحديد تأثيرها النسبي في صنع التوقعات النهائية.

إضافة الى ذلك, تساعد قيمة شابلي في تفسير كيف يتأثر النموذج بالتفاعلات بين الميزات المختلفة, بما معناه أنها توضح كيف يعتمد النموذج على التفاعل المتبادل بين المتغيرات الفردية. 

بذلك تقدم قيمة شابلي رؤية شاملة للتفاعلات الدقيقة داخل النموذج، مما يسهم في تفسير العلاقات المعقدة بين المتغيرات وكيفية تأثيرها على النتائج النهائية للنموذج.

ما هي مكتبة SHAP؟

تعتبر SHAP مكتبة مفيدة وشهيرة لتفسير نماذج التعلم الآلي, وهي عبارة عن أسلوب يستخدمه العاملين في مجال الذكاء الاصطناعي والتعلم الآلي لتفسير توقعات نماذج التعلم الآلي.

تعتبر مكتبة SHAP جزء من مجموعة من الأدوات والتقنيات التي تهدف إلى توفير أساليب فعالة لتفسير وفهم نتائج هذه النماذج, مثل: LIME، SHAPely، Sampling Values، DeepLift وغيرها. [2]

ما تقوم به مكتبة SHAP هو حساب قيم شابلي لكل ميزة في مجموعة البيانات المستخدمة لتدريب النموذج الذي يجب تفسيره, بحيث تمثل كل قيمة شابلي التأثير الذي تلعبه الميزة في إنتاج التوقع الذي يتم تقديمه بواسطة النموذج.

أهمية قيم شابلي في تفسير النموذج. 

تساعد قيم شابلي في تحسين تفسير نماذج التعلم الآلي, من خلال ما يلي: [3]

• لا محدودية النماذج : يمكن تطبيق قيم SHAP على أي نموذج ذكاء اصطناعي مهما كان نوعه أو نمطه بما في ذلك نماذج الصناديق السوداء، وهذا يتيح للمتخصصين اختيار نماذج دقيقة دون التخلي عن قابلية التفسير. 

حساب قيم SHAP لنماذج اللغة الكبيرة مثل GPT من OpenAI يعد أمرا ممكنا ولكنه يواجه تحديات حسابية بسبب حجمها وتعقيدها, ومع ذلك، يكشف البحث الحديث إمكانية تطبيق SHAP وأساليب مماثلة في مجال معالجة اللغة الطبيعية.

• تفسيرات محلية : تقدم قيم SHAP تفسيرات تخص كل حالة على حدة، مما يساعد الفاعلين أو المعنيين في فهم العوامل التي تؤثر في توقعات كل حالة فردية. وهذا يكون ذا قيمة خاصة عند فهم القرارات الفردية، مثل قرارات الموافقة على قروض أو تشخيصات طبية.

• رؤى عالمية: تشير إلى أن تجميع قيم SHAP عبر عدة حالات يسمح للباحثين والممارسين بفهم شامل لسلوك النموذج وتحديد الميزات الرئيسية التي تؤثر في التنبؤات, بحيث يمكن استخدام هذه المعلومات لضبط النموذج بشكل دقيق ومعالجة أية تحيزات محتملة.

• العدالة : تساعد قيم SHAP في تحديد وقياس التحيزات المحتملة أو المعاملة غير العادلة داخل مجموعة البيانات، مما يمكن الممارسين من اتخاذ خطوات لتقليل هذه التحيزات وضمان العدالة والمساءلة في نماذج التعلم الآلي الخاصة بهم

ما هي الخوارزميات المستخدمة في حساب قيم شابلي

هناك العديد من الخوارزميات المستخدمة لذلك ولكن سنذكر أبرزها: [3]

• KernelSHAP : هو أسلوب لحساب قيم شابلي يستخدم تقنية الانحدار الخطي لتقريب قيم SHAP لكل ميزة, من خلال خلق تحولات للبيانات الأصلية باستخدام نواة لتقريب توزيع قيم الميزة. يتنبأ النموذج بالإخراج لكل تحول، ويستخدم الفارق بين التنبؤات والإخراج الأصلي لحساب قيم SHAP لكل ميزة, كما أنه يتميز بقدرته على التعامل مع مجموعات بيانات عالية الأبعاد ويعتبر متوافقا مع أي نموذج، مما يسهم في تحسين قابلية تفسير النموذج

• TreeSHAP: هو أسلوب قوي لحساب قيم SHAP، وهو مصمم خصيصا للنماذج القائمة على الأشجار، مثل القرارات الشجرية والغابات العشوائية والأشجار التعزيزية بالتدرج بحيث تستخدم هيكل الشجرة لحساب قيم SHAP بكفاءة. من خلال تفكيك عملية اتخاذ القرارات في النموذج إلى سلسلة من القرارات الصغيرة المرتبطة بالميزات المحددة، يمكن لها التعامل مع التفاعلات غير الخطية وغير الجمعية بين الميزات التي غالبا ما تكون موجودة في هذه النماذج. بالإضافة إلى ذلك، يقلل TreeSHAP من التعقيد الحسابي لحساب قيم SHAP عن طريق الاستفادة من هيكل الشجرة، مما يجعله فعالا وقابلا للتوسع لتشمل مجموعات بيانات كبيرة ونماذج شجرية معقدة.

• DeepSHAP:  تقنية تستخدم لحساب قيم SHAP لشبكات النماذج العصبية العميقة لتحسين قابلية تفسير النموذج. يجمع DeepSHAP بين أسلوب DeepLIFT مع إطار عمل SHAP، الذي يخصص درجات الأهمية لميزات الإدخال, حيث يتيح له التعامل مع التفاعلات المعقدة وغير الخطية بين الميزات التي غالبا ما تظهر في الشبكات العصبية العميقة. من خلال نقل قيم SHAP من طبقة الإخراج إلى طبقة الإدخال، يقدم فهما واضحا و بديهيا لمساهمة كل ميزة في إخراج النموذج. تساعد  DeepSHAP في تطبيق مفهوم SHAP لنماذج التعلم العميق من خلال حساب قيم SHAP بشكل متكرر لكل خلية عصبية، بدءا من طبقة الإخراج واعتبار وظيفة التنشيط ومساهمتها في إخراج النموذج.

الخاتمة

تعتبر مكتبة SHAP أداة قوية في تفسير نماذج التعلم الآلي، حيث تستخدم قيم شابلي لتحديد المساهمة الفردية لكل ميزة. يمكن تطبيق المفهوم على أي نموذج ذكاء اصطناعي، مما يفتح آفاق فهم أعماق تأثير كل ميزة, كما أن قيم SHAP تقدم تفسيرات دقيقة لتفاعلات الميزات، مما يسهم في تحليل العلاقات داخل النموذج. 

تعزز المكتبة قدرتنا على تحسين النماذج من خلال فحص العدالة وتوفير تفسيرات محلية وعالمية لسلوك النموذج, بواسطة الخوارزميات مثل KernelSHAP وTreeSHAP و DeepSHAP، تسهل المكتبة تكامل تقنيات التفسير مع تحسين الأداء. 

بفضل SHAP، نستطيع فهم قرارات النموذج وتأثيرات الميزات، مما يتيح لنا تحسين النماذج بشكل أفضل وضمان شفافية أكبر في مجال التعلم الآلي.

المصادر

1. An Introduction to SHAP Values and Machine Learning Interpretability | DataCamp
2. https://medium.com/@shahooda637/all-you-need-to-know-about-shap-for-explainable-ai-8ad35a05e6ec
3. A Comprehensive Guide into SHAP (SHapley Additive exPlanations) Values