Команда Google Research спільно з експертами з Центру досліджень інфекційних захворювань у Замбії розробила інноваційну нейромережу HeAR для діагностики захворювань за допомогою аналізу кашлю. Ініційований на тлі пандемії COVID-19, проєкт має на меті виявлення вірусних інфекцій за акустичними ознаками.
Для створення бази даних дослідники зібрали понад триста мільйонів уривків голосу з YouTube, включаючи звуки дихання, задишки та кашлю, загальною тривалістю близько 174 000 годин. Всі аудіозаписи були перетворені у спектрограми та позначені відповідними медичними термінами. Навчання моделі включало приховування деяких сегментів спектрограми для подальшого прогнозування нейромережею.
HeAR продемонструвала здатність ідентифікувати COVID-19 і туберкульоз із точністю вище за середній рівень випадкових передбачень, отримавши результат 0,710 та 0,739 відповідно. Дослідження викликало інтерес в науковій спільноті завдяки обсягу зібраних даних та його потенціалу у медичній діагностиці.
Для впровадження технології на американський ринок необхідно пройти клінічні випробування та після них отримати всі відповідні схвалення від FDA, оскільки наразі у США не затверджено жодного діючого діагностичного інструменту, заснованого на аналізі звуку.