كيف يمكن تضمين الكلمات باستخدام Word2vec؟ 

نحن نعرف أن الحاسوب بشكل عام يتعامل مع البيانات المدخلة بنظام الأرقام, فيتم التعامل معها بالنظام الثنائي أي تحول الى سلسلة من الأصفار والواحدات, هكذا يفهم الحاسوب البيانات.

بالنسبة للآلات الذكية الأمر مشابه, مهما وصل ذكاء الآلة فهي تظل حاسوبا ولكن متطور أكثر, فعند بناء نماذج التعلم العميق أو التعلم الآلي وخصوصا نماذج معالجة اللغة الطبيعية عندما تكون البيانات المدخلة نصوصا, سيصعب على النماذج فهمها لذلك لابد من تحويلها الى أرقام, تسمى الطريقة التي يتم تحويل النص فيها الى تنسيق رقمي "بتضمين الكلمات Word Embedding". 

تضمين الكلمات تحمل أهمية بارزة في ميدان معالجة اللغة الطبيعية وتطبيقات الذكاء الاصطناعي, حيث تعزز هذا التحويل من تمثيل معاني الكلمات بطريقة يمكن للأنظمة الحاسوبية فهمها والتفاعل معها بشكل فعال, كما تقوم تقنية تضمين الكلمات بتحسين فهم النماذج الحاسوبية للنصوص، حيث تساعد هذه التمثيلات العددية في فهم العلاقات اللغوية بين الكلمات وتحليل السياق بشكل دقيق. من أهم التقنيات المستخدمة لهذا الغرض هي نموذج Word2vec, في هذا المقال سنتعرف على مفهوم هذا النموذج وكيف يمكن تضمين الكلمات باستخدام Word2vec وغيرها من المعلومات. 

ما مفهوم تضمين الكلمات في سياق معالجة اللغة الطبيعية؟ 

تضمين الكلمات Word Embedding هي تقنية تمثيل الكلمات على شكل متجهات رياضية تحمل أرقاما حقيقية, حيث يتمثل الهدف في تشفير معاني الكلمات بطريقة تجعل الكلمات المتقاربة في هذه المتجهات تكون ذات معان متشابهة. بمعنى آخر، يمكن أن تكون الكلمات ذات الدلالة المشابهة قريبة من بعضها البعض في الفضاء الناقل وبالتالي يسهم هذا التمثيل في تحسين فهم الكمبيوتر للعلاقات بين الكلمات والسياقات التي تظهر فيها، مما يجعلها أداة قوية في تحليل اللغة الطبيعية ومهام ذات صلة. [1]

في الواقع أتت فكرة تضمين الكلمات عندما عجز تمثيل الصفر والواحد من توضيح العلاقة الدلالية بين الكلمات في النص لأن كل كلمة يتم ترميزها بشكل منفصل فلو جئنا لكلمتي "حب" و"إعجاب" لم يميز أنهما لهما دلالة متشابهة. 

ما هو المتجه Word2vec؟

Word2Vec هو نموذج في مجال معالجة اللغة الطبيعية يستخدم لتوليد تمثيلات متجهية (word embeddings) للكلمات. تم تطويره بواسطة فريق Google في عام 2013 ويعتبر أحد التقنيات البارزة في مجال فهم اللغة الطبيعية باستخدام الحوسبة الرياضية. [2]

تمثل تقنية Word2Vec كل كلمة في لغة معينة باستخدام متجه رياضي، حيث يتم تدريب هذا النموذج على مجموعة كبيرة من النصوص لفهم السياقات التي تظهر فيها الكلمات, تكمن الفكرة الرئيسية وراءه هي أن الكلمات التي تظهر في سياقات مماثلة تكون لها تمثيلات متجهية متشابهة. وبذلك، يمكن استخدام هذه التمثيلات لفهم العلاقات الدلالية بين الكلمات وحتى اكتشاف الكلمات المرادفة.

تقنية Word2Vec تعتبر فعالة في تخزين العلاقات الدلالية والتركيبية بين الكلمات، مما يجعلها قيمة في تحليل اللغة الطبيعية والتطبيقات ذات الصلة.

ما تركيب Word2vec؟

يعتبر Word2vec شبكة عصبية لذلك فإنه يتكون من طبقة إدخال وطبقة مخفية وطبقة إخراج. [3]

تحتوي طبقة الإدخال على النصوص الموجودة في بيانات التدريب والتي يتم تمثيلها بترميز واحد لكل كلمة, أما الطبقة المخفية فعدد الخلايا العصبية التي تحتويها يمثل طول التضمين الذي نريده, أي اذا أردنا أن تكون الكلمات متجهات بطول 100 فسيكون عدد الخلايا العصبية 100 خلية. 

 الطبقة الأخيرة من الشبكة تنتج قيما بين 0 و 1 تمثل مدى احتمالية أن تكون الكلمة المستهدفة هي الكلمة التالية في الجملة أو النص, ثم تقوم الشبكة بتحليل البيانات التي يتم إدخالها إليها (مثل جملة أو نص) وتستخدم هذه المعلومات لتحديد الكلمات التي من المرجح أن تأتي بعد ذلك الإدخال.

على سبيل المثال، إذا أدخلنا الجملة "أحب القراءة لأنها ..." إلى نموذج لغوي تم تدريبه على مجموعة بيانات من النصوص العربية، فسيقوم النموذج بإنتاج احتمالات لجميع الكلمات الممكنة التي يمكن أن تأتي بعد كلمة "لأنها". الكلمة التي لها أعلى احتمال قد تكون "ممتعة" أو "مفيدة" أو "شيقة".

 بعد تدريب الشبكة العصبية، يمكن استخدام الأوزان المخفية في الطبقة المخفية كتمثيل للكلمات. بمعنى آخر، يمكن استخدام كل وزن مخفي لتمثيل خاصية معينة للكلمة.

لنأخذ مثالا: لنفترض أن لدينا نموذجا لغويا تم تدريبه على مجموعة بيانات من النصوص العربية و كانت الطبقة المخفية في هذا النموذج تحتوي على 300 خلية عصبية، فهذا يعني أن كل كلمة ستكون ممثلة بمتجه من 300 رقم, و يمكن أن تمثل هذه الأرقام خصائص مختلفة للكلمة، مثل معناها أو سياقها أو نطقها.

كيف يتم تضمين الكلمات باستخدام Word2vec

هناك نوعان من هذا النموذج لكل واحد منهما طريقة خاصة في العمل, لنوضح هذا أكثر:[4]

• نموذج (CBOW (Continuous Bag of Words:  يتعلم نموذج CBOW التنبؤ بكلمة محددة (الكلمة المستهدفة) استنادا إلى السياق المحيط للكلمات المجاورة لها, بحيث يتم جمع السياق في نافذة زمنية محددة حول الكلمة المستهدفة، ويتم استخدام ذلك لتدريب النموذج على إنشاء تمثيل للكلمة المستهدفة. تحت الطبقة الداخلية على كلمات السياق أما الطبقة الخارجية تحتوي على الكلمة الحالية. بالنسبة للطبقة الخفية فهي تحتوي على عدد الأبعاد التي نريد تمثيل الكلمة الحالية فيها، والتي توجد في الطبقة الخارجية. 

في هذا النموذج، على سبيل المثال، إذا كان لدينا الجملة: "القط يحب اللعب بالكرة في الحديقة"، ونريد تمثيل كلمة "اللعب"، يتم استخدام كلمات السياق "القط"، "يحب"، "بالكرة"، "في"، و"الحديقة" لتدريب النموذج على تمثيل "اللعب".

• نموذج Skip-Gram: على عكس CBOW، يقوم نموذج Skip-Gram بتدريب النموذج على التنبؤ بالكلمات المجاورة بناء على الكلمة المستهدفة,  يعتبر Skip-Gram أكثر قدرة على التعامل مع الكلمات النادرة والنصوص الكبيرة، على الرغم من أنه قد يكون أكثر استهلاكا للوقت والموارد مقارنة بـ CBOW. في تركيبه تحتوي الطبقة الداخلية على الكلمة الحالية، والطبقة الخارجية تحتوي على كلمات السياق, أما الطبقة الخفية فتحتوي على عدد الأبعاد التي نريد تمثيل الكلمة الحالية فيها والتي توجد في الطبقة الداخلية.

 تستخدم هذه النماذج لإنتاج تمثيلات فعالة للكلمات تعكس العلاقات الدقيقة بينها. يمكن استخدام هذه التمثيلات في مجالات متنوعة مثل تحليل النصوص، والترجمة الآلية، واستخراج المعلومات، والعديد من التطبيقات الأخرى في ميدان معالجة اللغة الطبيعية. يتم تدريب هذه النماذج على كميات كبيرة من النصوص لضمان استخلاص تمثيلات دقيقة وعميقة للكلمات.

كمثال بسيط على كيفية عمل النموذج و اعتمادا على المثال السابق, إذا كانت الكلمة المستهدفة هي "اللعب"، يمكن أن يتنبأ النموذج بوجود كلمات مثل "القط"، "يحب"، "بالكرة"، "في"، و"الحديقة" كجيران محتملين.

 وأخيرا, تعتمد فعالية كل نموذج على نوع المهمة وكمية البيانات المستخدمة في التدريب, و يمكن أن تقدم هذه النماذج تمثيلات فعالة تظهر العلاقات بين الكلمات في اللغة الطبيعية، مما يسهم في تحسين أداء العديد من التطبيقات الخاصة بمعالجة اللغة الطبيعية.

الخاتمة

في الختام، يظهر أن تقنية تضمين الكلمات Word Embedding تمثل قفزة مهمة في ميدان معالجة اللغة الطبيعية, حيث تعتمد هذه التقنية على تمثيل الكلمات بصورة متجهات رياضية، مما يمكنها من فهم العلاقات بينها. تبرز فعالية تقنية Word Embedding في تحسين فهم الحواسيب للعلاقات اللغوية، حيث تجمع بين الكلمات ذات المعاني المتشابهة في فضاء ناقل، مما يعزز قدرة الأنظمة الحاسوبية على تحليل اللغة الطبيعية بدقة.

 تناولنا كذلك موضوع تضمين الكلمات باستخدام Word2Vec, حيث يمكن استخدامه في تحليل النصوص والترجمة الآلية, كما تسهم هذه النماذج في تعزيز أداء مجال معالجة اللغة الطبيعية وتحسين الفهم الآلي للكلمات والسياقات.

باختصار، تبرز قوة تضمين الكلمات في التعبير الفعال عن العلاقات اللغوية، مما يجعلها أداة أساسية في تطوير مجال معالجة اللغة الطبيعية.

المصادر

1. Word embedding - Wikipedia
2. Word2vec - Wikipedia.
3. A Dummy’s Guide to Word2Vec. Essentials of Word2Vec + Implementing… | by Manan Suri | Medium
4. Word Embedding using Word2Vec - GeeksforGeeks