Нейросеть Facebook спрогнозировала действия музыкантов по аудиотреку
Программа от американской компании послужит начальной точкой в освоении музыкальных инструментов с нуля. Она следит за действиями артистов, так и проецирует аватар.
Нейросеть от Facebook предсказывает передвижения музыкантов по аудиотреку. Механизм слушает музыкальную композицию и в то же время проецирует играющего треки аватара. В роли данных для обучения программисты применили видеоролики, где профессионалы играют на инструментах без аккомпанемента. На каждом кадре нейросеть определила нахождения конечностей артистов и строила модель, позже сравнив данные с частотным коэффициентом, используемым для характеристики аудиосигналов.
Аватар смог подражать музыкантам, но и даже так его движения смотрелись очень естественно. В дальнейшем технологию могут применять для обучения желающих освоить музыкальное искусство.
Планета Х была близко: Землетрясение длилось 50 дней, но никто его не почувствовал
Лекарства против изжоги мешают усвоению железа
Red5 Spy Hawk: радиоуправляемый самолет для шпионов-любителей
Представлен Battlefield 1: добро пожаловать на Первую мировую
Ученые: Еда из одной тарелки способствует достижению договоренностей