Interfax-Russia.ru — Новосибирские ученые создали систему распознавания знаков русского жестового языка. Ранее они разработали программу-переводчик звучащей речи на язык жестов.
Систему распознавания знаков русского жестового языка для последующего перевода их в звуковую форму разработали специалисты Новосибирского государственного технического университета (НГТУ НЭТИ) совместно с индустриальными партнерами.
"Для нормального перевода с точностью на уровне 90% необходимо распознавать около 5 тыс. жестов, на данный момент мы подготовили датасет (от англ. — data set, структурированный набор данных — ИФ) на 5 тыс. жестов, начали внедрение. В ближайшее время мы сделаем программу, которая будет распознавать жесты в непрерывном потоке — пока около 400 жестов, которую будем развивать", — сообщил журналистам профессор кафедры автоматизированных систем управления НГТУ НЭТИ Михаил Гриф на XVI Международной научно-технической конференции "Актуальные проблемы электронного приборостроения".
Он уточнил, что датасет создается посредствам видеосъемки. Затем оцифрованные изображения объединяются в базу данных, с помощью которой обучается нейросеть.
По словам Грифа, первый прототип системы двустороннего перевода с языка жестов в звучащую речь и обратно появится примерно через год. Программу можно будет установить, например, на смартфон.
"К концу 2024 года — началу 2025 года мы представим уже более или менее качественный двусторонний переводчик", — сказал он.
Пока же специалистам предстоит решить ряд сложных задач. Так, для обучения нейросети необходимо создать выборку не только из слов жестового языка, но и из предложений, учитывать диалекты жестового языка (в русском жестовом их три), вариативность и индивидуальные особенности.
"На данный момент мы умеем уверенно распознавать 400 жестов, этого, конечно, недостаточно. В различных словарях мы насчитали 8,5 тыс. жестов, но их, наверное, еще больше. Мы оцениваем максимальное число жестов примерно в 10 тыс.", — рассказал Гриф.
Ранее исследователи НГТУ НЭТИ в кооперации с партнерами разработали систему распознавания звучащей речи и ее перевод на русский жестовый язык: сурдоперевод выполняет анимированный аватар с точностью перевода около 90%.
"Там есть некоторые проблемы: неоднозначность, омонимы, другая грамматика, жестов меньше, чем слов в звучащем языке, но мы их стараемся решить. Перевод идет почти синхронно с задержкой 0,2-0,3 секунды", — рассказал Гриф.
По данным вуза, разработку впервые продемонстрировали летом текущего года в рамках проектно-образовательного интенсива "Архипелаг 2023". Тогда на площадке Новосибирского государственного технического университета установили специальный стенд-тренажер для обучения слышащих русскому жестовому языку (РЖЯ).
"Человек может выбрать либо жесты, либо дактильную азбуку, и аватар покажет, как эта буква или жест выглядят на русском жестовом языке, затем терминал (через монитор) предложит человеку повторить этот жест и покажет, правильно ли жест воспроизведен, или предложит попробовать еще раз: снова покажет правильное воспроизведение, и человек сможет его снова повторить. Так можно освоить несколько букв или жестов русского жестового языка", — объяснил руководитель лаборатории технологий компьютерного перевода РЖЯ Кирилл Зубарев.
По словам специалиста, во время интенсива на стенде демонстрировалась пилотная версия программы с ограниченным количеством жестов. Полноценный словарь РЖЯ разработчики собирались добавить в базу устройства к осени.
"В планах — стенд, показывающий, как может выглядеть электронная очередь для глухих и слабослышащих, например, в банке. Еще одна перспективная разработка — стенд с двусторонним переводом. По планам хотим показать его к концу года", — рассказал в свою очередь генеральный директор одной из компаний-партнеров проекта (ООО "Адаптис") Максим Нечай.
Он также отметил, что всего в мире существует порядка 150 жестовых языков, и специалисты хотели бы сделать аватары для большинства из них. Например, сейчас разрабатывают систему для китайского жестового языка.
Также летом 2023 года НГТУ НЭТИ впервые запустили на сайте своей приемной комиссии анимированный чат-бот для глухих и слабослышащих абитуриентов, который помогал им искать нужную информацию о поступлении в вуз с использованием русского жестового языка.
"Чат-бот — это один из продуктов, который мы создали в рамках нашего проекта. Его можно использовать в разных сферах: поликлиниках, учреждениях культуры, в различных электронных сервисах, таких как платформа "Госуслуги", но, чтобы показать его возможности, например, в образовательной среде, мы разработали его для приемной кампании", — уточнил тогда Зубарев.
По данным университета, принцип работы чат-бота построен на уже подобранном варианте ответов в соответствии с актуальными вопросами поступающих. Абитуриенту предоставлялся перечень вопросов, ответ на которые можно было получить либо в виде текста, либо в виде перевода на русский жестовый язык от анимированного аватара.
"Команда планирует ежегодно обновлять информацию чат-бота в зависимости от внесенных изменений на время поступления абитуриентов", — отметили в пресс-службе вуза.
В свою очередь президент Всероссийского общества глухих Станислав Иванов отметил, что общество помогает разработчикам как в совершенствовании продукта, так и в его продвижении среди глухих и слабослышащих.
"Но живой переводчик тоже необходим", — сказал он.
Также в НГТУ НЭТИ создали обучающий курс по материаловедению с переводом на жестовый язык.
Вместе с тем, специальную онлайн-платформу для глухих и слабослышащих людей разработал и запустил предприниматель из Краснодара. На ней размещено более 400 уроков на разные тематики: "ЗОЖ", "Психология", "Образование", "Бизнес и карьера" и "Развитие". Над переводом авторских курсов и уроков со звучащей речи на жестовый язык работала команда из 40 человек. Среди них — писатель, главный редактор журнала "Правила жизни" Сергей Минаев, психолог Вероника Степанова, автор "Пиши, сокращай" Максим Ильяхов и другие эксперты.
