Наш світ так стрімко змінюється, що технології, які ще недавно здавалися людству неможливими та дивовижними, сьогодні вриваються в повсякденне життя та вважаються нормою. На нещодавній технологічної онлайн-виставці CES 2021 була продемонстрована унікальна розробка, яка здалася цікавою Охо.
Розробники з MIT представили на суд публіки творіння: нейросеть, здатну виділяти звучання окремо взятих музичних інструментів. Вона отримала назву «PixelPlayer». Особливість розробки в тому, що нейросеть здатна аналізувати інформацію по трьом алгоритмам одночасно. Спершу PixelPlayer вивчає графіку зображення. Потім ідентифікує аудіо доріжку, а після синхронізує отримані дані. Тобто, штучний інтелект зіставляє звуковий сигнал з кожним пікселем відеофайлу, обчислюючи який з інструментів має більш тихе звучання в порівнянні з іншими.
Для ефективного процесу вивчення програмі були надані 714 відеороликів (з тривалістю в 60 годин) з сольними та оркестровими концертами. В результаті цього нейросеть ідентифікувала окремі звукові доріжки на відеозаписах, які «чула» вперше. Як заявляють учені, програма здатна розпізнати до 20-ти музичних інструментів: скрипку, тубу,
гітару, трубу, акордеон, віолончель, ерху, кларнет, флейту, саксофон, ксилофон та інші. Але це не межа, якщо надати додаткову інформацію для навчання. Варто відзначити, що в композиціях, де присутні дуже схожі за звучанням інструменти, програма зрідка помиляється.
Потенціал в практичному використанні програмою широкими масами перспективний. Завдяки PixеlPlayer можна поліпшити звук в неякісних музичних записах.
Раніше ОХО розповідав:
Німецькі вчені надрукували динаміки товщиною в паперовий лист