Каждый, кто сталкивался с монтажом слайд-шоу и собственного видео, знает, что выбор звукового сопровождения является достаточно трудной задачей. Как выбрать из нескольких сотен MP3-файлов Вашей коллекции именно тот, который идеально подойдет к создаваемому материалу и от которого сильно зависит восприятие этого материала зрителем? Если ВЫ сталкивались с проблемой такого выбора, то, наверняка сможете оценить новый алгоритм, который способен выполнить такое "соединение" в автоматическом режиме.

Программа PIcture CAtegorisation for Suggesting SOundtracks (PICASSO), предназначенная для подбора саундтреков, проводит анализ видео или последовательности изображений и располагает данными об имеющемся наборе музыкальных файлов. С помощью специальных алгоритмов программа самостоятельно связывает действия на экране с соответствующей музыкой. К примеру, сцена динамичного преследования на автомобилях может сопровождаться быстрой музыкой в стиле "техно", в то время, как сцене неспешной прогулке по природе как нельзя больше соответствует медленная классическая музыка.

Обучая программу PICASSO сопоставлять изображения и музыку, ее создатели, Александр Ступэр (Aleksandar Stupar) и Себастьян Мишель (Sebastian Michel) из Саарском университете в Германии, "скармливали" ей сотни новых изображений и контролировали результат выбора звукового сопровождения. Затем, программа уже самостоятельно могла разложить видеоизображение на кадры, выбрать из собственной базы 10 самых близких совпадений. После того, делается выборка из всех собранных саундтреков, которые появились при анализе обрабатываемого видео по нескольку раз. Таким же образом данная операция производится и для слайд-шоу.

В настоящее время программа PICASSO позволяет осуществить выбор звукового сопровождения из нескольких сотен музыкальных произведений, которые не защищены авторскими правами, но в ближайшем времени авторы программы планируют произвести ее доработку, после чего программа сможет использовать собственную музыкальную коллекцию пользователя. "Мы вскоре это сделаем, и примерно через месяц люди смогут попробовать работать с нашей системой" - рассказывает Александр Ступэр.

Майкл Джуэлл (Michael Jewell), исследователь из университета Саутгемптона, Великобритания, специализирующийся в области мультимедийных систем, говорит о том, что у системы PICASSO имеется ряд недостатков: "Конечно, потребность в таком программном обеспечении имеется, и немалая. Но только одного анализа последовательности изображений не достаточно, что бы определить характер материала и подобрать к нему соответствующий саундтрек. Обычными методами очень трудно определить, что происходит на быстроизменяющемся изображении с участием автомобиля, к примеру, то ли это уходящий от полиции нарушитель, то ли это неудавшийся урок вождения".

Но, какие бы мнения не существовали, наши читатели сами смогут вынести свое мнение о работе программы PICASSO, просмотрев несколько демонстрационных роликов по этому адресу.