Наш мир так стремительно меняется, что технологии, которые еще недавно казались человечеству невозможными и удивительными, сегодня врываются в повседневную жизнь и уже считаются нормой. На недавно прошедшей технологической онлайн-выставке CES 2021 была продемонстрирована уникальная разработка, которая показалась интересной Охо.
Разработчики из MIT представили на суд публики творение: нейросеть, способную выделять звучание отдельно взятых музыкальных инструментов. Она получила название «PixelPlayer». Особенность разработки в том, что нейросеть способна анализировать информацию по трём алгоритмам одновременно. Сперва PixelPlayer изучает графику изображения. Затем идентифицирует аудио дорожку, а после синхронизирует полученные данные. То есть, искусственный интеллект сопоставляет звуковой сигнал с каждым пикселем видеофайла, вычисляя какой из инструментов имеет более тихое звучание по сравнению с остальными.
Для эффективного процесса изучения программе были предоставлены 714 видеороликов (с длительностью в 60 часов) с сольными и оркестровыми концертами. В результате этого нейросеть идентифицировала отдельные звуковые дорожки на видеозаписях, которые «слышала» впервые. Как заявляют ученые, программа способна распознать до 20-ти музыкальных инструментов: скрипку, тубу,
гитару, трубу, аккордеон, виолончель, эрху, кларнет, флейту, саксофон, ксилофон и другие. Но это не предел, если предоставить дополнительную информацию для обучения. Стоит отметить, что в композициях, где присутствуют очень похожие по звучанию инструменты, программа изредка ошибается.
Потенциал в практическом использовании программой широкими массами перспективен. Благодаря PixеlPlayer можно улучшить звук в некачественных музыкальных записях.
Ранее ОХО рассказывал:
Немецкие ученые напечатали динамики толщиной в бумажный лист