التعرف على لغه الاشاره بواسطه الكمبيوتر

عضو مخضرم

المقدمه:

الصم والبكم هم فئه إجتماعيه مهمه قدر الله لهم أن يُحرموا من نعمه غاليه ألا وهى نعمه التحدث وهذا الأمر ليس بالسهل، بل هو إبتلاء من الله سبحانه وتعالى ، من ثم لم يكن عليهم إلا أن يستعينوا بما يسمى "لغه الاشاره" لتعوضهم فقد تلك الحواس وهي لغة لها صفات مشتركة عالمياً، رغم إختلاف اللغات واللهجات بين الدول والشعوب، حيث نجد أن لغة الإشارة في كل بلد لها خصائصها التى ترتبط بكل شعب وثقافاته وأفكاره.

ولكن دائما ما نقف عاجزين فى فهم هؤلاء الأشخاص لأننا لا نفهم هذه اللغه والذى أدى الى وجود عزله إجتماعيه لمجتمع الصم والبكم ومن هنا جاء الدافع لإنشاء نظام قادرعلى تفسير لغه الاشاره حيث أصبح بإمكاننا فهمهم دون تعلم لغتهم .

هذا البرنامج فكره مشروع التخرج الذى أعمل عليه الان وهو تحويل لغه الإشاره الى كلام مفهوم بناءاً على الرؤيه وبواسطه الكمبيوتر (real time sign language recognizer) والذى أعتبره خطوه لإعاده ربط مجتمع الصم والبكم بمجتمعنا.

التعرف على لغه الاشاره بواسطه الكمبيوتر Imgw1

لذلك أحببت أن اُشارككم وأشرح لكم كيف يمكن بواسطه الكمبيوتر فهم لغه الإشاره

فكره البرنامج:

البرنامج ببساطه هوا نظام يمكنه التعرف على العلامات الخاصه بلغه الإشاره والتى يقوم بتخزينها مسبقا على الكمبيوتر حيث يقوم بعمل مقارنه بين البيانات الداخله من خلال الفيديو الذى يقوم بإلتقاطه وبالبيانات المخزنه مسبقا.

بناء البرنامج:

البرنامج يعتمد أساساً على وجود كاميرا متصله بالكمبيوتروالتى بدورها تقوم بإلتقاط فيديو للأشخاص المتحدثين بلغه الأشاره

الكاميرا يجب أن يتم تنظيمها وتثيبتها على سطح مكتب وبوضعيه معينه "top-down position"

مراحل عمل البرنامج:

البرنامج يتكون من مرحلتين:

1.إستخراج السمات :

الهدف من هذه المرحله هو عمل نموذج رياضى للعلامات والإشارات الخاصه باللغه
ويمكن بناء النموذج بإستخدام مجموعه من السمات تضم السمات الخاصه بشكل اليد وإتجاهها والسمات الخاصه بموقعها ومسار حركتها.

2.التصنيف:

وفى هذه المرحله يتم تصنيف السمات المستخرجه وترجمتها الى الكلمه المقصوده.
هناك الكثير من الطرق يمكن استخدامها لبناء هذه المرحله مثل:
1.template matching: أو نموذج المطابقه
2.Artificial neural network
hidden marcov models .3: وهو نموذج يقوم بعمل تدريب للحركات وتخزينها بالرنامج ليقوم بعد ذلك بمطابقتها بالحركات الداخله .

1.استخرج السمات:

تضمن هذه المرحله الآتى:

أ.التعرف على شكل اليد:

قبل ترجمه معنى الإشاره لابد أولاً من إستخراج منطقه اليد الموجوده فى الصوره المأخوذه من الفيديو ويمكن تحقيق ذلك بواسطه طريقه(skin colour detection) بمعنى أنه يتم إستخلاص أجزاء من الصوره التى يكون لونها فى نطاق معين يتم تحديده مسبقا ويتضمن هذا النطاق الألوان التى يمكن أن تكون عليها لون اليد البشريه بتدرجاتها.

الصوره الداخله للنظام

التعرف على لغه الاشاره بواسطه الكمبيوتر Hands

.
.
الصوره المستخلصه وفيها يتم فصل المساحه الخاصه باليد البشريه عن باقى أجزاء الصوره

]

التعرف على لغه الاشاره بواسطه الكمبيوتر Scaledhand

التعرف على لغه الاشاره بواسطه الكمبيوتر Hand-motion

ب.إستخلاص مجموعه الصفات المرتبطه بالإشاره الممثله :

والتى تنقسم الى :

الخصائص الهندسيه لليد(geometric features): وهى زاويه اليد وزاويه الإتجاه والمساحه التى تضمن اليد ( اى مساحه الجزء المحتوى على شكل اليد) كما هو مبين بالصوره
واصف الحركه(motion descriptor):والذى بدوره يقوم بإستخلاص معلومات الحركه من الفيديو

2.التصنيف:

ويتضمن:

مرحله التدريب:

وفيها يتم إستخدام (hidden marcov model) حيث يتم تدريب النظام على مجموعه من الصور المتتاليه بحيث يقوم بعد ذلك بالمقارنه مع الصور الداخله للنظام

مرحله الإستخلاص:

بعد تنفيذ جميع المراحل السابقه يتم مقارنه البيانات الداخله للنظام بالبيانات المخزنه مسبقا وتكون النتيجه هى ترجمه الحركه الموجوده فى الفيديو الى كلمات

وهذا ملخص لجميع المراحل التى قمت بذكرها: