В MIT научились расшифровывать звуки по колебаниям пачки чипсов

If0p9jNRyC41

Технология позволяет использовать для подслушивания бытовые видеокамеры.

На фото: реконструкция мелодии «У Мери была маленькая овечка» на основе видеозаписи пакета. Изображение: MIT

Исследователи из Массачусетского технологического института и компаний Adobe и Microsoft разработали технологию, которая позволяет реконструировать звук из видеозаписи на основе анализа колебаний тел, которые находятся в одном помещении с источником звука. Описание технологии приводит сайт MIT, авторы собираются опубликовать подробности метода на конференции Siggraph, которая должна пройти в Ванкувере в середине августа.

В общих чертах, технология подразумевает субпиксельный анализ колебаний визуальных границ на видеоизображении. Алгоритм выделяет на поверхности исследуемого объекта контрастные линии и анализирует изменение их цвета. Изменение цвета свидетельствует о движении, поэтому получившиеся колебания (после специальной фильтрации) переводят в звуки.

Главным ограничением метода является то, что максимальная частота реконструируемых звуков определяется частотой кадров на видеозаписи. Поэтому для качественной реконструкции требуется использовать специальные высокоскоростные камеры, которые снимают не менее 500-1000 кадров в секунду. Используя одну из таких камер, авторам, например, удалось восстановить речь человека на основе видеозаписи колебаний пакета с чипсами. Пакет находился в одном помещении с говорящим, в то время как камера была отделена звукопоглощающим стеклом.

Однако, в ходе дальнейшей работы оказалось, что даже бытовые устройства могут использоватья для записи подходящего для реконструкции видео. Дело в том, что в большинстве видеосенсоров запись сигнала происходит построчно, с частотой, которая значительно превышает выходную частоту кадров на видео. Это позволяет анализировать, как смещаются границы объектов за время перехода от строки к строке. Такой подход позволил провести реконструкцию аудиосигнала на основе ролика, записанного обычной цифровой зеркальной камерой с частотой в 60 кадров в секунду.

Новый метод базируется на технологии «видеоусиления» движений, которая была разработана в MIT около двух лет назад. Последняя тоже подразумевает поиск на видеозаписи микроскопических движений, но не для перевода в звуки, а для усиления таким образом, чтобы эти движения стали заметны глазу. Технология, например, позволяет удаленно контролировать пульс человека, выделяя из видеозаписи подкожные колебания кровеносных сосудов.