انتقل إلى المحتوى

الترجمة الآلية للغات الإشارة

هذه المقالة يتيمة. ساعد بإضافة وصلة إليها في مقالة متعلقة بها
غير مفحوصة
يرجى مراجعة هذه المقالة وإزالة وسم المقالات غير المراجعة، ووسمها بوسوم الصيانة المناسبة.
من ويكيبيديا، الموسوعة الحرة

أصبحت الترجمة الآلية للغات الإشارة ممكنة، وإن كانت محدودة، منذ عام 1977. عندما نجح مشروع بحثي في مطابقة الأحرف الإنجليزية من لوحة المفاتيح إلى الحروف الأبجدية اليدوية ASL والتي تمت محاكاتها على يد آلية. تقوم هذه التقنيات بترجمة لغات الإشارة إلى لغة مكتوبة أو منطوقة، ومن اللغة المكتوبة أو المنطوقة إلى لغة الإشارة، دون استخدام مترجم بشري. تمتلك لغات الإشارة سمات صوتية مختلفة عن اللغات المنطوقة، مما خلق عقبات أمام المطورين. يستخدم المطورون رؤية الكمبيوتر والتعلم الآلي للتعرف على مؤشرات صوتية محددة بالإضافة إلى إقحام أصوات (وهي ظاهرة تقوم على إدراج صوت غير أصلي في الكلمة لدواعٍ صوتية مثل أصوات تشكيل الحروف في اللغة العربية) [1] فريدة من نوعها للغات الإشارة، والتعرف على الكلام ومعالجة اللغة الطبيعية والذي يسمح بالتواصل التفاعلي بين السمع والصم.

القيود

[عدل]

تقنيات ترجمة لغة الإشارة محدودة كما هو الحال في ترجمة اللغة المنطوقة. لا شيء يمكنه الترجمة بدقة 100٪. في الواقع، تتخلف تقنيات ترجمة لغة الإشارة كثيرًا عن نظيراتها في اللغة المنطوقة. وهذا بسبب حقيقة أن لغات الإشارة لها تعبيرات كثيرة. بينما اللغات المنطوقة تُمارس من خلال الصوت، يتم التعبير عن لغات الإشارة من خلال اليدين والذراعين والرأس والكتفين والجذع وأجزاء من الوجه. هذا التعبير متعدد القنوات يجعل ترجمة لغات الإشارة أمرًا صعبًا للغاية. كما أن التحدي الإضافي للترجمة الآلية للغة الإشارة هو حقيقة أنه لا يوجد تنسيق رسمي مكتوب للغات الإشارة. توجد أنظمة ترميز ولكن لم يتم اعتماد أي نظام كتابة على نطاق واسع من قبل مجتمع الصم الدولي، بحيث يمكن اعتباره «الشكل المكتوب» للغة إشارة معينة. لذلك، يتم تسجيل لغات الإشارة بتنسيقات فيديو مختلفة. على سبيل المثال، لا توجد مجموعة موازية قياسية ذهبية كبيرة بما يكفي لـ SMT.

تاريخ

[عدل]

بدأ تاريخ الترجمة الآلية للغة الإشارة مع تطوير أجهزة مثل الأيدي الروبوتية للتهجئة بالأصابع. في عام 1977، أنشأ مشروع يد لتهجئة الأصابع يسمى RALPH (اختصار لـ «الأبجدية الآلية») يدًا آلية يمكنها ترجمة الحروف الهجائية إلى تهجئة أصابع.[2] في وقت لاحق، أصبح استخدام القفازات مع مستشعرات الحركة هو السائد، وولدت بعض المشاريع مثل CyberGlove و VPL Data Glove.[3] مكنت الأجهزة القابلة للارتداء من التقاط أشكال وحركات يد المتحدث بلغة الإشارة بمساعدة برنامج الكمبيوتر. ومع تطور رؤية الكمبيوتر، تم استبدال الأجهزة القابلة للارتداء بكاميرات نظرًا لكفاءتها وتقليل القيود الجسدية على المتحدثين بلغة الإشارة. لهدف معالجة البيانات التي تم جمعها من خلال الأجهزة، طبق الباحثون شبكات عصبية مثل Stuttgart Neural Network Simulator [4] للتعرف على الأنماط في مشاريع مثل CyberGlove. كما يستخدم الباحثون أيضًا العديد من الأساليب الأخرى للتعرف على العلامات. على سبيل المثال، تُستخدم نماذج ماركوف المخفية لتحليل البيانات إحصائيًا، وتستخدم GRASP وبرامج التعلم الآلي الأخرى مجموعات التدريب لتحسين دقة التعرف على العلامات.[5] أظهر اندماج التقنيات غير القابلة للارتداء مثل الكاميرات وأجهزة التحكم Leap Motion أنه يزيد من قدرة التعرف التلقائي على لغة الإشارة وبرامج الترجمة.[6]

التقنيات

[عدل]

فيزيكست

[عدل]

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

مشروع eSIGN

[عدل]

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

مشروع الصورة الرمزية للغة الإشارة الأمريكية في جامعة ديبول

[عدل]

http://asl.cs.depaul.edu/

من الإسبانية إلى LSE

[عدل]

https://www.semanticscholar.org/paper/Methodology-for-developing-a-Speech-into-Sign-in-aL٪C3٪B3pez-Lude٪C3٪B1a-San-Segundo/496f8e35add9fad94a59156f473261ecd3175635

تقنية SignAloud

[عدل]

SignAloud هي تقنية تتضمن زوجًا من القفازات من صنع مجموعة من الطلاب في جامعة واشنطن يترجمون [7] لغة الإشارة الأمريكية (ASL) إلى اللغة الإنجليزية.[8] في شهر فبراير من عام 2015، ابتكر الطالب السمعي من جامعة واشنطن توماس بريور، أول نموذج أولي لهذا الجهاز في هاك أريزونا، والذي هو هاكاثون بجامعة أريزونا. واصل بريور تطوير الاختراع وفي شهر أكتوبر من عام 2015، أحضر بريور نافيد ازودي إلى مشروع SignAloud للتسويق والمساعدة في العلاقات العامة. يتمتع ازودي بخلفية غنية في إدارة الأعمال، بينما يتمتع بريور بثروة من الخبرة في مجال الهندسة.[9] في شهر مايو من عام 2016، أخبر الثنائي NPR أنهما يعملان عن كثب مع الأشخاص الذين يستخدمون لغة الإشارة الأمريكية حتى يتمكنوا من فهم جمهورهم بشكل أفضل وتصميم منتجاتهم وفقًا لاحتياجاتهم بدلاً من الاحتياجات المفترضة.[10] غير أنه لم يتم إصدار أي إصدارات أخرى منذ ذلك الحين. كان الاختراع واحدًا من سبعة اختراعات فازت بجائزة Lemelson-MIT للطلاب، والتي تسعى إلى مكافأة المخترعين الشباب، تشجيعهم. صُنِّفَ اختراعهم تحت فئة «استخدمه!» للجائزة التي تشمل التطورات التكنولوجية للمنتجات الموجودة. ومُنحوا 10000 دولار كجائزة لاختراعهم.[11][12]

تحتوي القفازات على مستشعرات تتعقب حركات اليد للمستخدمين ثم ترسل البيانات إلى نظام كمبيوتر عبر البلوتوث. يقوم نظام الكمبيوتر بتحليل البيانات ومطابقتها مع الكلمات الإنجليزية، والتي يتم نطقها بصوتٍ رقميٍّ عالٍ.[10] لا تتمتع القفازات بالقدرة على إدخال اللغة الإنجليزية المكتوبة لإخراج حركة القفاز أو القدرة على سماع اللغة ثم ترجمتها إلى لغة إشارة إلى شخص أصم، مما يعني أنها لا توفر اتصالاً متبادلاً. لا يشتمل الجهاز أيضًا على تعبيرات الوجه وغيرها من العلامات غير اليدوية للغات الإشارة، والتي قد تغير الترجمة الفعلية من لغة الإشارة الأمريكية.[13]

برنامج ProDeaf

[عدل]

ProDeaf (WebLibras)[14] هو برنامج كمبيوتر يمكنه ترجمة النص والصوت إلى اللغة البرتغالية Libras (لغة الإشارة البرتغالية) «بهدف تحسين التواصل بين الصم والسمع.»[15] يوجد حاليًا إصدار تجريبي قيد الإنتاج للغة الإشارة الأمريكية أيضًا. بدأ الفريق الأصلي المشروع في عام 2010 بمجموعة من الخبراء بما في ذلك اللغويين والمصممين والمبرمجين والمترجمين السمعيين والصم. نشأ الفريق في جامعة بيرنامبوكو الفيدرالية (UFPE) من مجموعة من الطلاب المشاركين في مشروع علوم الكمبيوتر. كان لدى المجموعة عضواً أصمّاً في الفريق كان يواجه صعوبة في التواصل مع بقية المجموعة. أنشأت المجموعة Proativa Soluções من أجل إكمال المشروع ومساعدة زميلهم على التواصل، والتي تتقدم منذ ذلك الحين.[16] النسخة التجريبية الحالية بلغة الإشارة الأمريكية محدودة للغاية. على سبيل المثال، يوجد قسم بالقاموس والكلمة الوحيدة الموجودة أسفل الحرف "j" هي "jump". إذا لم تتم برمجة الجهاز بالكلمة، فيجب على الشخصية الرقمية تهجئة الكلمة. كان آخر تحديث للتطبيق في يونيو 2016، ولكن ProDeaf كانت حديث الإعلام، حيث ظهرت في أكثر من 400 قصة عبر وسائل الإعلام الأكثر شعبية في البلاد.[17]

لا يمكن للتطبيق قراءة لغة الإشارة وتحويلها إلى كلمة أو نص، لذا فهي تعمل فقط كتواصل أحادي الاتجاه. بالإضافة إلى ذلك، لا يمكن للمستخدم تسجيل الدخول إلى التطبيق وتلقي ترجمة باللغة الإنجليزية بأي شكل من الأشكال، حيث لا تزال اللغة الإنجليزية في الإصدار التجريبي.

مترجم لغة الإشارة كينكت

[عدل]

يتعاون باحثون من الأكاديمية الصينية للعلوم ومتخصصون في تعليم الصم من جامعة بيجين يونيون في الصين مع فريق أبحاث مايكروسوفت الآسيوي لإنشاء كينكت مترجم لغة الإشارة منذ عام 2012.[18] يتكون المترجم من وضعين: وضع المترجم ووضع الاتصال. يستطيع وضع المترجم على ترجمة الكلمات المفردة من لغة الإشارة إلى كلمات مكتوبة والعكس أيضاً. أما وضع الاتصال فيمكنه أن يترجم جملاً كاملة بالإضافة إلى ترجمة المحادثة تلقائيًا باستخدام شخصيةٍ ثلاثية الأبعاد. يمكن أن يكتشف وضع المترجم أيضًا المواضع وأشكال اليد الخاصة بمتحدث لغة الإشارة بالإضافة إلى مسار الحركة باستخدام تقنيات التعلم الآلي والتعرف على الأنماط ورؤية الكمبيوتر. يسمح الجهاز أيضًا بالاتصال المتبادل لأن تقنية التعرف على الكلام تسمح بترجمة اللغة المنطوقة إلى لغة الإشارة بالإضافة إلى امكانية الشخصية ثلاثية الأبعاد من تجسيدها وتسجيلها مرة أخرى إلى الصم.[19]

بدأ المشروع الأصلي في الصين بناءً على ترجمة لغة الإشارة الصينية. في عام 2013، تم تقديم المشروع في مؤتمر Microsoft Research Faculty Summit واجتماع شركة مايكروسوفت.[20] حاليًا، يعمل باحثون في الولايات المتحدة أيضًا على هذا المشروع لتنفيذ ترجمة لغة الإشارة الأمريكية.[21] حتى الآن، لا يزال الجهاز نموذجًا أوليًا، ولا تزال دقة الترجمة في وضع الاتصال غير مثالية.

نظام SignAll

[عدل]

SignAll[22] هو نظام ترجمة تلقائي للغة الإشارة مقدم من دولفيو تكنولوجيز [23] في المجر. يعد الفريق «رائدًا في حل أول ترجمة آلية للغة الإشارة، استنادًا إلى رؤية الكمبيوتر ومعالجة اللغة الطبيعية (NLP)، لتمكين التواصل اليومي بين الأفراد ذوي السمع الذين يستخدمون اللغة الإنجليزية المنطوقة والصم أو ضعاف السمع الذين يستخدمون لغة الإشارة». يستخدم نظام SignAll نظام كنيكت من مايكروسوفت وكاميرات الويب الأخرى المزودة بأجهزة استشعار للعمق متصلة بجهاز كمبيوتر. يمكن لتقنية رؤية الكمبيوتر التعرف على شكل اليد وحركة متحدث لغة الإشارة، ويقوم نظام معالجة اللغة الطبيعية بتحويل البيانات المجمّعة من رؤية الكمبيوتر إلى عبارة إنجليزية بسيطة. مطور الجهاز أصم وبقية فريق المشروع يتكون من العديد من المهندسين والمتخصصين اللغويين من مجتمعات الصم والسمع. تتمتع هذه التقنية بالقدرة على دمج جميع المؤشرات الخمسة لـ لغة الإشارة الأمريكية، والتي تساعد الجهاز على تفسير المتحدث بلغة الإشارة بدقة. تم اعتماد SignAll من قبل العديد من الشركات بما في ذلك ديلويت و LT-innovate وقد أُنشِئَت شراكات مع مايكروسوفت بيزسبارك وتجديد المجر.[24]

MotionSavvy

[عدل]

MotionSavvy [25] هي أول لغة إشارة إلى نظام الصوت. تم إنشاء الجهاز في عام 2012 من قبل مجموعة من معهد روتشستر للتكنولوجيا / المعهد التقني الوطني للصم و «نشأ من مسرّع Leap Motion AXLR8R.»[26] استخدم الفريق علبة الكمبيوتر اللوحي التي تستفيد من قوة وحدة التحكم Leap Motion. تم إنشاء الفريق المكون من ستة أشخاص بالكامل من قبل طلاب صم من فرع تعليم الصم في المدارس.[27] يعد الجهاز حاليًا واحدًا من جهازي اتصال متبادلين فقط للغة الإشارة الأمريكية. يسمح للأفراد الصم بالإشارة على الجهاز الذي تتم ترجمته بعد ذلك أو العكس، مع أخذ اللغة الإنجليزية المنطوقة وترجمتها إلى لغة الإشارة الأمريكية.يُشحَن الجهاز إلى المالك بسعر 198 دولار. تتضمن بعض الميزات الأخرى القدرة على التفاعل، وردود الفعل المباشرة، ومنشئ الإشارات، والإشارات الجماعية.

تمت مراجعة الجهاز من قبل الجميع من مجلات التكنولوجيا إلى تايم. قال وايرد، «لم يكن من الصعب أن نرى فقط كيف يمكن أن تكون تقنية تحويلية مثل [UNI]» كما قال «[UNI] صدمتني كنوع من السحر.» قالت كاتي شتاينميتز من TIME ، «هذه التكنولوجيا يمكن أن تغير الطريقة التي يعيش بها الصم.» ذكر شون باكلي من إنغادجيت، «يمكن أن تصبح UNI أداة اتصال رائعة.»

مراجع

[عدل]
  1. ^ Mocialov، Boris؛ Turner، Graham؛ Lohan، Katrin؛ Hastie، Helen (2017). "Towards Continuous Sign Language Recognition with Deep Learning" (PDF). Creating Meaning With Robot Assistants: The Gap Left by Smart Devices (IEEE-RAS International Conference on Humanoid Robots). مؤرشف من الأصل (PDF) في 2021-01-10.
  2. ^ Jaffe، David (1994). "Evolution of mechanical fingerspelling hands for people who are deaf- blind". The Journal of Rehabilitation Research and Development: 236–44. مؤرشف من الأصل في 2021-03-12.
  3. ^ Parton، Becky. "Sign Language Recognition and Translation: A Multidisciplined Approach From the Field of Artificial Intelligence". Journal of Deaf Studies and Deaf Education. مؤرشف من الأصل (PDF) في 2020-03-14.
  4. ^ Weissmann، J.؛ Salomon، R. (1 يناير 1999). Gesture recognition for virtual reality applications using data gloves and neural networks. ج. 3. ص. 2043–2046 vol.3. DOI:10.1109/IJCNN.1999.832699. ISBN:978-0-7803-5529-3. {{استشهاد بكتاب}}: |عمل= تُجوهل (مساعدة)
  5. ^ Bowden، Richard. "Vision based interpretation of natural sign languages". 3rd International Conference on Computer Vision Systems.
  6. ^ Bird, Jordan J.; Ekárt, Anikó; Faria, Diego R. (2020). "British Sign Language Recognition via Late Fusion of Computer Vision and Leap Motion with Transfer Learning to American Sign Language". Sensors (بالإنجليزية). 20 (18): 5151. DOI:10.3390/s20185151. Archived from the original on 2021-01-10.{{استشهاد بدورية محكمة}}: صيانة الاستشهاد: دوي مجاني غير معلم (link)
  7. ^ "What is the difference between translation and transliteration". english.stackexchange.com. مؤرشف من الأصل في 2021-01-12. اطلع عليه بتاريخ 2017-04-06.
  8. ^ "SignAloud". مؤرشف من الأصل في 2020-09-21.
  9. ^ "Thomas Pryor and Navid Azodi | Lemelson-MIT Program". lemelson.mit.edu. مؤرشف من الأصل في 2020-09-21. اطلع عليه بتاريخ 2019-07-04.
  10. ^ ا ب "These Gloves Offer A Modern Twist On Sign Language". NPR.org (بالإنجليزية). Archived from the original on 2021-01-10. Retrieved 2017-03-09.
  11. ^ "Collegiate Inventors Awarded Lemelson-MIT Student Prize". Lemelson-MIT Program. مؤرشف من الأصل في 2021-01-13. اطلع عليه بتاريخ 2017-03-09.
  12. ^ "UW undergraduate team wins $10,000 Lemelson-MIT Student Prize for gloves that translate sign language". University of Washington. 12 أبريل 2016. مؤرشف من الأصل في 2021-01-10. اطلع عليه بتاريخ 2017-04-09.
  13. ^ "Nonmanual markers in American Sign Language (ASL)". www.lifeprint.com. مؤرشف من الأصل في 2021-01-10. اطلع عليه بتاريخ 2017-04-06.
  14. ^ "ProDeaf". prodeaf.net. مؤرشف من الأصل في 2021-03-12. اطلع عليه بتاريخ 2017-04-09.
  15. ^ "ProDeaf". www.prodeaf.net. مؤرشف من الأصل في 2019-03-09. اطلع عليه بتاريخ 2017-03-09.
  16. ^ "ProDeaf". www.prodeaf.net. مؤرشف من الأصل في 2019-01-14. اطلع عليه بتاريخ 2017-03-16.
  17. ^ "ProDeaf Tradutor para Libras on the App Store". App Store (بالإنجليزية). Archived from the original on 2018-01-08. Retrieved 2017-03-09.
  18. ^ Xilin، Chen (2013). "Kinect Sign Language Translator expands communication possibilities" (PDF). Microsoft Research Connections. مؤرشف من الأصل (PDF) في 2017-04-04. اطلع عليه بتاريخ 2017-03-17.
  19. ^ Zhou، Ming. "Sign Language Recognition and Translation with Kinect" (PDF). IEEE Conference. مؤرشف من الأصل (PDF) في 2021-01-10.
  20. ^ "Kinect Sign Language Translator". مؤرشف من الأصل في 2020-11-13.
  21. ^ Zafrulla، Zahoor؛ Brashear، Helene؛ Starner، Thad؛ Hamilton، Harley؛ Presti، Peter (1 يناير 2011). American Sign Language Recognition with the Kinect. ICMI '11. New York, NY, USA: ACM. ص. 279–286. DOI:10.1145/2070481.2070532. ISBN:978-1-4503-0641-6. {{استشهاد بكتاب}}: |عمل= تُجوهل (مساعدة)
  22. ^ "SignAll. We translate sign language. Automatically". www.signall.us (بالإنجليزية). Archived from the original on 2021-02-02. Retrieved 2017-04-09.
  23. ^ "Dolphio | Unique IT Technologies". www.dolphio.hu (بالإنجليزية الأمريكية). Archived from the original on 2019-06-21. Retrieved 2017-04-06.
  24. ^ "SignAll. We translate sign language. Automatically". www.signall.us (بالإنجليزية). Archived from the original on 2021-02-02. Retrieved 2017-03-09.
  25. ^ "MotionSavvy UNI: 1st sign language to voice system". Indiegogo (بالإنجليزية الأمريكية). Archived from the original on 2021-02-27. Retrieved 2017-03-09.
  26. ^ "Rochester Institute of Technology (RIT)". Rochester Institute of Technology (RIT) (بالإنجليزية). Archived from the original on 2021-03-09. Retrieved 2017-04-06.
  27. ^ Tsotsis، Alexia. "MotionSavvy Is A Tablet App That Understands Sign Language". TechCrunch. مؤرشف من الأصل في 2021-02-26. اطلع عليه بتاريخ 2017-04-09.
مجلوبة من «https://ar.wikipedia.org/wiki/الترجمة_الآلية_للغات_الإشارة»