«Сбер» представил ИИ-модели, распознающие русский жестовый язык
Фото: Global Look Press
«Сбер» представил модели искусственного интеллекта, способные распознавать русский жестовый язык. Первое решение разработала команда Vision RnD в SberDevices.
Прототип общения с генеративной языковой моделью при помощи жестового языка был презентован на конференции AI Journey. Новая модель использует программный интерфейса доступа к сервису GigaChat.
Генеративная модель способна самостоятельно понимать контекст распознанных жестов, преобразуя отдельные слова в корректную фразу. Текущая версия модели может распознавать более 2500 жестов. Кроме того, она понимает дактиль (произношение слов по буквам) и составные жесты. В нейросеть заложена терминология из различных повседневных областей. Этот объем покрывает существенную часть словаря русского жестового языка. На его основе в будущем можно создавать различные прикладные сервисы.
При разработке был использован крупнейший в мире датасет для распознавания русского жестового языка — Slovo. И этот датасет, и обученная на нем модель выложены в открытый доступ.
В свою очередь, команда из подразделения Sber AI разработала легкую модель распознавания жестового языка, не требующую серьезных вычислительных ресурсов. Она работает на CPU, что снижает себестоимость решений, производящихся на ее основе. Данный алгоритм способен распознавать 1600 жестов. В слова он может преобразовывать до трех жестов в секунду.
Модель также опубликована в открытом доступе. С ее помощью проектировать инклюзивное программное обеспечение сможет широкий круг разработчиков. В 2024 году алгоритм и основанные на нем решения в тестовом режиме планируют внедрить в ряде регионов России.
«Сервисы для распознавания русского жестового языка и созданная "Сбером" система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и сделают мир доступнее для людей с нарушением слуха. Модели могут использоваться в рамках исследований, позволяющих развивать сервисы для пользователей с инвалидностью», — заявил старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.
Среди областей применения он выделил создание доступной среды в многофункциональных центрах, на объектах транспорта, при обращении к врачу, получении очного образования и так далее.
Подписывайтесь на нас:
