Команда Google Research совместно с экспертами из Центра исследований инфекционных заболеваний в Замбии разработала инновационную нейросеть HeAR для диагностики заболеваний посредством анализа кашля. Инициированный на фоне пандемии COVID-19, целью является выявление вирусных инфекций по акустическим признакам.
Для создания базы данных исследователи собрали более трехсот миллионов отрывков голоса из YouTube, включая звуки дыхания, одышки и кашля, общей продолжительностью около 174 000 часов. Все аудиозаписи были преобразованы в спектрограммы и отмечены соответствующими медицинскими терминами. Обучение модели включало сокрытие некоторых сегментов спектрограммы для дальнейшего прогнозирования нейросетей.
HeAR продемонстрировала способность идентифицировать COVID-19 и туберкулез с точностью выше среднего уровня случайных предсказаний, получив результат 0,710 и 0,739 соответственно. Исследование вызвало интерес у научного сообщества благодаря объему собранных данных и его потенциалу в медицинской диагностике.
Для внедрения технологии на американский рынок необходимо пройти клинические испытания и после них получить все соответствующие одобрения от FDA, поскольку в США не утвержден ни один действующий диагностический инструмент, основанный на анализе звука.