Google рассказала, как технологии компании помогают некоторым музыкантам. На официальном YouTube-канале поискового гиганта появился видеоролик с участием однорукого барабанщика Джейсона Барнса, который использует протез с искусственным интеллектом, созданный с помощью Google TensorFlow.
Как рассказывает Барнс, в 2012 году он потерял руку во время инцидента на работе. Некоторое время Джейсону казалось, что его любимое хобби — игра на ударных — осталось в прошлом, однако вскоре он познакомился с исследователями Georgia Tech Centre for Music Technology. Последние помогли Барнсу снова играть на ударных.
В 2013 году Барнс познакомился с инженером и основателем Georgia Tech Centre for Music Technology Джилом Вейнбергом. Последний долгое время исследовал возможности роботизации и автоматизации протезов, что в перспективе могло бы помочь многим людям.
Вейнберг разработал специальный протез, управление которым основано на электромиографии — считывании мышечной активности. Протез оснащается специальным чипом с алгоритмами машинного обучения. Движения и жесты Джейсона генерируют электрические сигналы, преобразовывающиеся в потоки данных.
Чип работает в связке с программным обеспечением для машинного обучения Google TensorFlow. После расшифровки сигналов процессор передаёт команды на компоненты протеза, благодаря чему Джейсон может играть на ударных так, как если бы у него были обе руки.
Барнс отмечает, что технологии TensorFlow значительно облегчают ему жизнь — протез корректно реагирует на любые изменения мышечного тонуса руки. «Я могу напрячь мышцы, чтобы протез сжал барабанную палочку сильнее, либо расслабить их, чтобы ослабить хватку. Я чувствую „обратную связь“ от протеза, который ощущается максимально похоже на нормальную руку, хотя таковой и не является», — отмечает молодой человек.
Протез реагирует на движения Джейсона с минимальной задержкой. Обеспечение практически нулевой задержки было одним из основных требований при разработке протеза — Барнс должен идеально точно контролировать силу нанесения ударов.
Как отмечает однорукий барабанщик, в прошлом ему всегда приходилось подстраиваться под протез. Участие в проекте Georgia Tech Centre for Music Technology изменило положение вещей: теперь протез подстраивается под желания самого Барнса.
О своих музыкальных успехах Джейсон рассказывает на официальной страничке в Инстаграме. Молодой человек публикует ролики и фотографии с репетиций, студийных сессий и концертов, а также показывает свои будни.
Напомним, что ранее барабанная онлайн-школа Drumeo показала одного из учеников, для которого отсутствие руки не является проблемой. Молодой человек играет на ударных без помощи протезов, убедительно исполняя каверы на Slipknot.