Design and implementation of an Arabic Sign language recognition system

Abstract

In recent years, significant research has been dedicated to machine learning techniques for speech processing, particularly in the field of speech recognition. However, more recently, researchers have shifted their focus towards deep learning approaches for speech-related applications. Deep learning has proven to deliver superior outcomes across various domains, including speech, making it an intriguing area of investigation. As deep learning emerged as a new frontier in machine learning, it opened up new possibilities for speech applications. This thesis presents a design and implementation of a sign language recognition (SLR) system using a Long Short-Term Memory (LSTM) model. The aim of the research is to develop a robust system capable of accurately interpreting sign language gestures. The problem area of SLR is explored, and related work in the field is reviewed to provide a comprehensive understanding of the current state of the art. The LSTM-based sign language recognition system achieves an impressive accuracy of 98.53%. The high accuracy demonstrates the effectiveness of the chosen model and its suitability for sign language recognition tasks. The results of this research contribute to advancing the field of sign language recognition and hold great potential for practical applications in improving communication for the deaf and hard of hearing.في السنوات الأخيرة، تم تكريس بحث كبير لتقنيات التعلم الآلي لمعالجة الكلام، وخصوصًا في مجال التعرف على الكلام. ومع ذلك، قام الباحثون حديثًا بتحويل تركيزهم نحو أساليب التعلم العميق لتطبيقات المتعلقة بالكلام. لقد أثبت التعلم العميق قدرته على تحقيق نتائج متفوقة في مختلف المجالات، بما في ذلك مجال الكلام، مما يجعله مجالًا مثيرًا للاهتمام للبحث. ومع ظهور التعلم العميق كأفق جديد في التعلم الآلي، فقد فتح آفاقًا جديدة لتطبيقات الكلام.تقدم هذه الرسالة تصميمًا وتنفيذًا لنظام للتعرف على لغة الإشارة باستخدام نموذج الذاكرة طويلة وقصيرة المدى (LSTM). يهدف البحث إلى تطوير نظام قوي قادر على تفسير إشارات لغة الإشارة بدقة. يتم استكشاف مجال مشكلة التعرف على لغة الإشارة ومراجعة الأعمال المتعلقة في هذا المجال لتقديم فهم شامل للحالة الراهنة للتكنولوجيا. يحقق نظام التعرف على لغة الإشارة المستند إلى LSTM دقة مذهلة تصل إلى 98.53%. تُظهر هذه الدقة العالية فعالية النموذج المختار وملاءمته لمهام التعرف على لغة الإشارة. تساهم نتائج هذا البحث في تعزيز مجال التعرف على لغة الإشارة وتمثل إمكانيات كبيرة للتطبيقات العملية في تحسين التواصل للصم وضعاف السمع.