Nasz świat zmienia się tak szybko, że technologie, które do niedawna wydawały się ludzkości niemożliwe i zaskakujące, wkraczają teraz do życia codziennego i są już uważane za normę. Na niedawno odbywającej się internetowej wystawie technologicznej CES 2021 zademonstrowano wyjątkowe osiągnięcie, które Oho uznało za interesujące.
Deweloperzy z MIT zaprezentowali publiczności kreację: sieć neuronową zdolną do uwydatniania brzmienia poszczególnych instrumentów muzycznych. Ma nazwę „PixelPlayer”. Osobliwością tego opracowania jest to, że sieć neuronowa jest w stanie analizować informacje przy użyciu trzech algorytmów jednocześnie. PixelPlayer najpierw sprawdza grafikę obrazu. Następnie identyfikuje ścieżkę dźwiękową, a następnie synchronizuje odebrane dane. Oznacza to, że sztuczna inteligencja porównuje sygnał audio z każdym pikselem pliku wideo, obliczając, który z instrumentów jest cichszy od pozostałych.
W celu efektywnego uczenia się do programu udostępniono 714 filmów (trwających 60 godzin) z koncertami solowymi i orkiestrowymi. W rezultacie sieć neuronowa zidentyfikowała poszczególne ścieżki audio w nagraniach wideo, które „usłyszała” po raz pierwszy. Według naukowców program jest w stanie rozpoznać do 20 instrumentów muzycznych: skrzypce, tubę,
gitarę, trąbkę, akordeon, wiolonczelę, erhu, klarnet, flet, saksofon, ksylofon i inne. Ale to nie jest limit, jeśli podasz dodatkowe informacje do szkolenia. Warto zaznaczyć, że w kompozycjach, w których występują instrumenty bardzo zbliżone brzmieniem, program czasami popełnia błędy.
Potencjał praktycznego wykorzystania programu przez szerokie masy jest obiecujący. Dzięki PixelPlayer możesz poprawić dźwięk w nagraniach muzycznych niskiej jakości.
Wcześniej OXO powiedziało:
Niemieccy naukowcy wydrukowali głośniki grube jak arkusz papieru