Мы используем обязательные файлы cookie для корректной работы сайта и дополнительные, чтобы сделать взаимодействие с сайтом максимально удобным. Это помогает нам персонализировать ваш пользовательский опыт и получить аналитическую информацию для улучшения сервиса.
Если вы согласны принять все файлы cookie, нажмите «Принять все», если нет – «Только необходимые». Дополнительные сведения см. в Политике использования cookie.
Ученые разработали искусственный интеллект, способный распознавать отдельные звуки
Наш мир так стремительно меняется, что технологии, которые еще недавно казались человечеству невозможными и удивительными, сегодня врываются в повседневную жизнь и уже считаются нормой. На недавно прошедшей технологической онлайн-выставке CES 2021 была продемонстрирована уникальная разработка, которая показалась интересной Охо.
Разработчики из MIT представили на суд публики творение: нейросеть, способную выделять звучание отдельно взятых музыкальных инструментов. Она получила название «PixelPlayer». Особенность разработки в том, что нейросеть способна анализировать информацию по трём алгоритмам одновременно. Сперва PixelPlayer изучает графику изображения. Затем идентифицирует аудио дорожку, а после синхронизирует полученные данные. То есть, искусственный интеллект сопоставляет звуковой сигнал с каждым пикселем видеофайла, вычисляя какой из инструментов имеет более тихое звучание по сравнению с остальными.
Для эффективного процесса изучения программе были предоставлены 714 видеороликов (с длительностью в 60 часов) с сольными и оркестровыми концертами. В результате этого нейросеть идентифицировала отдельные звуковые дорожки на видеозаписях, которые «слышала» впервые. Как заявляют ученые, программа способна распознать до 20-ти музыкальных инструментов: скрипку, тубу, гитару, трубу, аккордеон, виолончель, эрху, кларнет, флейту, саксофон, ксилофон и другие. Но это не предел, если предоставить дополнительную информацию для обучения. Стоит отметить, что в композициях, где присутствуют очень похожие по звучанию инструменты, программа изредка ошибается.
Потенциал в практическом использовании программой широкими массами перспективен. Благодаря PixеlPlayer можно улучшить звук в некачественных музыкальных записях.
Ранее ОХО рассказывал:Немецкие ученые напечатали динамики толщиной в бумажный лист
Разработчики из MIT представили на суд публики творение: нейросеть, способную выделять звучание отдельно взятых музыкальных инструментов. Она получила название «PixelPlayer». Особенность разработки в том, что нейросеть способна анализировать информацию по трём алгоритмам одновременно. Сперва PixelPlayer изучает графику изображения. Затем идентифицирует аудио дорожку, а после синхронизирует полученные данные. То есть, искусственный интеллект сопоставляет звуковой сигнал с каждым пикселем видеофайла, вычисляя какой из инструментов имеет более тихое звучание по сравнению с остальными.
Для эффективного процесса изучения программе были предоставлены 714 видеороликов (с длительностью в 60 часов) с сольными и оркестровыми концертами. В результате этого нейросеть идентифицировала отдельные звуковые дорожки на видеозаписях, которые «слышала» впервые. Как заявляют ученые, программа способна распознать до 20-ти музыкальных инструментов: скрипку, тубу, гитару, трубу, аккордеон, виолончель, эрху, кларнет, флейту, саксофон, ксилофон и другие. Но это не предел, если предоставить дополнительную информацию для обучения. Стоит отметить, что в композициях, где присутствуют очень похожие по звучанию инструменты, программа изредка ошибается.
Потенциал в практическом использовании программой широкими массами перспективен. Благодаря PixеlPlayer можно улучшить звук в некачественных музыкальных записях.
Ранее ОХО рассказывал:Немецкие ученые напечатали динамики толщиной в бумажный лист