Алиса — виртуальный ассистент «Яндекса». Она умеет отвечать на вопросы, подбирать музыку, помогать в повседневных делах и управлять умным домом. В основе работы виртуального ассистента лежит нейронная сеть YandexGPT.
Виртуального помощника тренировали на аудиозаписях, подготовленных людьми с особенностями речи. В проекте приняли участие подопечные Центра лечебной педагогики, фондов «Живи сейчас», «Жизненный путь», «Лучшие друзья» и других НКО. Они вместе с другими участниками тестирования записали более 855 тысяч скороговорок и фрагментов обычной речи.
«Скороговорки — это очень контрастный текст, по которому проще распознавать различные особенности речи. Так нам удалось отобрать для участия в проекте чуть более 300 человек», — говорит Даниил Волгин, ML-разработчик в компании.
Классифицировать примеры по типам нарушений помогли специалисты-дефектологи из МГПУ. Для замеров качества выделили четыре группы речевых нарушений: заикания, звукопроизношения, слоговую структуру и интонацию.
В итоге разрыв между точностью распознавания обычной речи и с искажениями сократился в среднем на 20%. Качество распознавания оценивали по метрике Word Error Rate (WER) — она позволяет определить долю неправильно понятых слов.
«В легкой и средней формах заикания доля ошибок снизилась на 20,8% и 6,5% соответственно. Для легкой формы этот результат уже сопоставим с результатом человека», — приводит пример разработчик.
Это не первый проект «Яндекса» по адаптации виртуального ассистента для людей с особенностями здоровья. Например, для незрячих пользователей адаптировано 15 сервисов и продуктов компании. Так, заказывая такси в приложении Go, можно выбирать подходящие опции: «Общаюсь только текстом», «Не говорю, но слышу», «Перевозка собаки-проводника», «Буду на инвалидном кресле» или «Помогите найти машину».
