تعد آلية انتباه Bahdanau وآلية انتباه Luong مكونين رئيسيين يستخدمان في نماذج التسلسل إلى التسلسل، خاصة في مهام الترجمة الآلية. في حين أن كلا الآليتين تسمحان للنموذج بالتركيز على أجزاء مختلفة من تسلسل الإدخال عند إنشاء كل عنصر من تسلسل الإخراج، إلا أنهما يختلفان في نهجهما وتصميمهما المعماري. فيما يلي الاختلافات الرئيسية:
###بهداناو انتباه
1. التعقيد: يستخدم انتباه بهداناو شبكة عصبية لحساب أوزان الانتباه، وهو ما يتضمن نهجًا أكثر تعقيدًا مقارنة بانتباه لونج. تتضمن هذه الشبكة العصبية الحالة الحالية لجهاز فك التشفير، والحالة السابقة لآلية الانتباه، والمدخلات الحالية[3].
2. درجات المحاذاة: يقدم انتباه بهداناو درجات المحاذاة، والتي تستخدم لحساب أوزان الانتباه. يسمح هذا النهج للنموذج بالتقاط علاقات أكثر تعقيدًا بين تسلسلات الإدخال والإخراج[1].
3. تسلسل الحالات المخفية: يقوم اهتمام Bahdanau بتسلسل الحالات المخفية للمصدر الأمامي والخلفي، مما يوفر رؤية أكثر شمولاً لتسلسل الإدخال. يساعد هذا النهج في التقاط التبعيات طويلة المدى والتعامل مع الجمل ذات الهياكل المعقدة [2].
4. الأداء: يُعرف اهتمام بهداناو بأدائه القوي والدقيق في مجموعة من الأنماط اللغوية، لا سيما في المهام التي تتطلب ترجمات دقيقة ومناسبة للسياق[2].
انتباه لونج
1. البساطة: يستخدم انتباه Luong أسلوبًا رياضيًا أبسط وأكثر وضوحًا لحساب أوزان الانتباه، والذي يتضمن فقط حالة وحدة فك التشفير الحالية[3].
2. حالات الطبقة المخفية العليا: يستخدم اهتمام Luong حالات الطبقة المخفية العليا لكل من جهاز التشفير ووحدة فك التشفير، مما يوفر رؤية أكثر تركيزًا لتسلسل الإدخال[2].
3. الانتباه العالمي أو المحلي: يمكن أن يوجه انتباه Luong عالميًا إلى جميع الكلمات المصدر أو يركز محليًا على مجموعة فرعية من الكلمات، اعتمادًا على متطلبات المهمة المحددة[2].
4. الكفاءة: انتباه Luong بشكل عام أبسط وربما أكثر كفاءة من انتباه Bahdanau، مما يجعله مناسبًا للمهام التي تكون فيها الكفاءة الحسابية موضع اهتمام[2].
مقارنة
| الجانب | بهداناو انتباه | انتباه لونج |
| --- | --- | --- |
| التعقيد | أكثر تعقيدًا، وتستخدم الشبكة العصبية | أبسط، يستخدم النهج الرياضي |
| نتائج المحاذاة | يستخدم درجات المحاذاة | لا يستخدم درجات المحاذاة |
| الحالات المخفية | يسلسل الحالات المخفية للأمام والخلف | يستخدم حالات الطبقة المخفية العليا لجهاز التشفير ووحدة فك التشفير |
| الأداء | قوية ودقيقة لمختلف الأنماط اللغوية | سريع وفعال لمهام معينة |
| الكفاءة | أكثر تكلفة حسابيا | أكثر كفاءة |
خاتمة
يعتبر اهتمام بهداناو مفيدًا بشكل خاص في المهام التي تتطلب ترجمات دقيقة ومناسبة للسياق، مثل الترجمة الآلية العصبية. من ناحية أخرى، يعد انتباه Luong أكثر كفاءة ومناسبًا للمهام التي تشكل الكفاءة الحسابية مصدر قلق. يعد فهم الاختلافات بين آليات الاهتمام هذه أمرًا بالغ الأهمية لتحسين الأداء في المهام القائمة على التسلسل[1] [2] [3].
الاستشهادات:[1] https://www.youtube.com/watch?v=0hZT4_fHfNQ
[2] https://deepai.tn/glossary/what-is-the-difference-between-luong-style-attention-and-bahdanau/
[3] https://www.baeldung.com/cs/attention-luong-vs-bahdanau
[4] https://stackoverflow.com/questions/44238154/what-is-the-difference-between-luong-attention-and-bahdanau-attention
[5] https://machinelearningmastery.com/the-luong-attention-mechanism/