Слабовидящие и незрячие люди пользуются смартфонами, разными приложениями и навигатором, но все равно пока ничто не может заменить собаку-поводыря и белую трость. Студенты Британки решили заглянуть в ближайшее будущее и создать звуковую вселенную, новый уникальный мир для незрячего человека, где привычные нам фактуры, цвета и формы он сможет увидеть через слух.
Микаэль Доникян, автор проекта: «Чтобы закрыть боли незрячих людей с помощью нашего продукта мы основывались на результатах уже существующих исследований, которые делали наши друзья. Интересно, что в исследованиях участвовали и те слепые, кому трудно даже покинуть дом, и те, кто добирается на работу на другой конец города».
На основе исследований студенты постарались учесть все проблемы, с которыми чаще всего сталкиваются слепые и слабовидящие. Для разработки прототипа взяли лидар, который измерял дистанцию до нужного предмета. Затем передавали эту информацию на Arduino — платформу быстрой разработки электронных устройств. А после — в специальную программу, которая генерирует объемный звук.
Вот несколько особенностей NowYouSee:
Звуковые баундинг-боксы. С помощью камер, лидаров и микрофонов NowYouSee будет анализировать все, что происходит вокруг пользователя, в формате 360. Система изучает все объекты на пути незрячего, создает для каждого свой виртуальный баудинг-бокс с определенным тегом — такие боксы используют при создании систем для беспилотных автомобилей. У каждого есть свой определенный звук. Например, если впереди остановка, пользователь услышит один звук, если лестница — другой.
Благодаря аудиосигналу человек понимает, что перед ним за объекты, сколько их и как далеко они расположены. Например, перед переходом дороги слабовидящий может понять, где переход и сколько до него идти. Он не сможет случайно выйти на проезжую часть: система распознает опасную зону и построит звуковую стену вдоль дороги. Приблизившись к ней, незрячий сразу поймет, что покидает тротуар.
Колл-центр HelpMeApp. В устройство будут вмонтированы камеры, по ним оператор будет отслеживать все, что происходит вокруг незрячего. Так он сможет в режиме реального времени проложить маршрут из точки А в точку Б и расставить на пути виртуальные метки, чтобы помочь добраться до нужного места. Пользователю не придется спрашивать помощи у прохожих или просить перевести его через дорогу.
Благодаря устройству NowYouSee слабовидящие смогут жить полной жизнью —, например ходить в магазин и кафе или на выставку и концерт. Для этого на входной двери нужно разместить специальную метку, которую NowYouSee считает и передаст человеку полезную информацию. Например, если это кафе, — название, меню, часы работы. А музеи и галереи могут создать для каждой картины виртуальный звуковой слой, который будет считываться системой.
Сейчас проект на стадии прототипирования, но создатели активно ищут ресурсы для его реализации. По их оценкам разработка может занять несколько лет.
Владимир Шипилов, куратор проекта: «Для технологического проекта пять лет — это нормальный срок чтобы ожить. Я уверен, что рано или поздно мы увидим этот продукт на полках и на реальных людях. За подобными инициативами будущее, потому что менять среду всегда дольше и дороже. Полная инклюзивность — это горизонт, которого невозможно достичь. Мы будем к нему приближаться, но личные устройства помогут незрячим меньше зависеть от среды и иметь что-то свое, особенное».
Студенты хотят подготовить демо-версию и ищут инженера, который специализируется на работе с объемным и иммерсивным аудио. Если вы хотели бы узнать о проекте подробнее и поучаствовать в разработке, свяжитесь с Александром и Микаэлем по почте mr.a.bobrov@gmail.com
