С помощью камер и нейронных сетей специалисты добились эффективности распознавания в 90%. «Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов. Теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка», - цитирует профессора кафедры автоматизированных систем управления НГТУ Михаила Грифа сайт годнауки.рф.
Помимо самих жестов ученые новосибирского университете обучают нейросеть распознавать синтаксис жестового языка- определять начало и конец предложения или фразы. Пока из 350 записанных жестовых предложений система верно переводит 85-90% текста.
На основе обученной нейросети в Новосибирске планируют сделать компьютерный переводчик для глухих людей. Помимо системы распознавания русского жестового языка, ученые планируют создать подобные переводчики для других жестовых языков. Как говорят разработчики, такая система поможет глухим людям быть понятыми в любом государственном учреждении.