Команда учёных из Нью-Йоркского университета под руководством Чжанпэня Цзиня начала разрабатывать интерфейс EarCommand, который позволит беззвучно передавать команды на различные устройства.
Технология EarCommand базируется на том, что, когда человек произносит про себя разные слова, сопутствующие движения мышц и костей вызывают особую деформацию слухового прохода.
EarCommand включает устройство, похожее на вкладыш, в котором используется обращённый внутрь динамик для передачи ультразвуковых сигналов в слуховой проход пользователя. Когда эти сигналы отражаются от внутренней поверхности канала, их эхо улавливается направленным внутрь микрофоном. Подключённый к интерфейсу компьютер анализирует эти эхосигналы, используя специальный алгоритм для определения деформации слухового прохода.
Устройство протестировали на группе пользователей, которые произносили 32 различные команды из отдельных слов и 25 команд в виде предложений. Система распознала большую часть команд с частотой ошибок на уровне слов 10,2% и частотой ошибок на уровне предложений 12,3%.
EarCommand работал даже в том случае, если пользователи были в масках или находились в шумной обстановке.
Ранее Чжанпэн Цзинь уже разработал интерфейс EarHealth, который использует наушники-вкладыши с эхосигналами для выявления проблем с ушами, таких как закупорка, разрыв барабанных перепонок и средний отит.