DEVELOPMENT OF AN INTELLECTUAL SYSTEM FOR RECOGNIZING KAZAKH DACTYL GESTURES BASED ON LSTM AND GRU MODELS - Zholshiyeva, Lazzat; Tamara, Zhukabayeva (Academic Scientific Journal of Computer Science, 2023)
Рассматривается проблема автоматизированного перевода дактильного казахского языка с преобразованием жестов в текст и предлагаются два возможных подхода к решению проблемы. Представлен способ распознавания динамических казахских дактильных знаков в видеопотоке, основанный на визуальном анализе положения рук с позиционированием ключевых точек. Для считывания и позиционирования ключевых точек из изображений использована инструментальная система MediaPipe. В качестве классификаторов знаков применяются усовершенствованные варианты рекуррентных нейронных сетей для обнаружения жестовых изображений. Для распознавания жестов подготовлены собственные наборы данных, которые позволяют достичь высокой эффективности и точности распознавания по принятым моделям в режиме реального времени. Указанный набор данных состоит из динамических жестов казахского дактильного языка. Достоинством рассматриваемых подходов является относительная простота предлагаемых методов в вычислительном отношении, вследствие чего их реализация не требует использования высокопроизводительной вычислительной техники и специального оборудования. В проведенных экспериментальных исследованиях с использованием предложенных моделей LSTM и GRU, достигнута точность распознавания динамических дактильных жестов казахского языка 85% и 100% соответственно. При этом распознавание осуществлялось в режиме реального времени с использованием обычной компьютерной видео камеры. Проведено также тестирование распознавания изображений этих же жестов, полученных с помощью веб-камеры. По результатам исследований разработано резюме использованных моделей LSTM и GRU с оценкой распознавания динамических жестов казахского дактильного языка.