Примеры использования Process Mining в исследовании культурного наследия встречаются редко. Музыкальные кейсы отсутствуют в принципе, хотя система композиционного построения имеет много общего с бизнес-процессами. Классика же и вовсе максимально формализована: партитуры пишутся по конкретным алгоритмам, разделяясь на множество параллельных и циклических линий каждого инструмента, повторы и допустимые вариации – неотъемлемые составляющие произведения, а описанный паттерн актуален почти для всех жанров.
Аналогии музыки и процессной аналитики
Помимо параллелизма и повторяемости, в музыкальных партитурах существуют и другие особенности, имеющие примерные эквиваленты в процессной аналитике:
- аккорд (группа кратных нот, сыгранных вместе) – варианты протекания процесса;
- динамика (громкость последовательности нот) – объем исследуемых данных;
- нота (основная единица партитуры) – наиболее тонкая деятельность;
- повтор (зацикленные части) – означает повторное исполнение;
- ритм (последовательность ударов, образующая узнаваемый рисунок) – хронология событий.
Исследуя музыкальные стили, можно обнаружить параллели с методами поиска процессов. Пример: фуга – это повтор в разных тональностях при помощи нескольких инструментов, что является аналогом поиска частных шаблонов и локальных моделей.
Проектирование и пример
В первую очередь следует разобрать файл с цифровой партитурой. На этом этапе предварительной обработки данных существует два варианта:
- выделение отдельной партии (конкретная рука в фортепианной партии или отдельный инструмент в оркестровом произведении);
- объединение всех параллельно исполняемых нот
В ходе дальнейшего изучения партитуры необходимо отследить повторы и создать по одному виду деятельности на уникальный размер. На основе выбранного темпа определяется временная метка для каждой меры. Реализация проекта базируется на Python-скрипте с библиотекой music21, которая способна анализировать различные форматы цифровых партитур, включая MusicXML. Входные данные отображаются в виде объектов PM4Py Event. Затем PM4Py используют для экспорта журнала в XES-файл и отображения полученной модели процесса
В качестве примера выбрана фортепианная аранжировка песни «As It Was» Гарри Стайлса в XML-файле. Это подходящий пример, поскольку последовательность укладывается в один такт и повторяется несколько раз, а мелодия образует первую и последнюю части трека. Кроме того, можно выделить дублирующиеся паттерны и многократное следование характерной последовательности. Во фронтенде веб-сервиса можно щелкнуть мышью на действиях в модели процесса, чтобы воспроизвести соответствующие ноты в виде аудиозаписи.
Выводы и перспективы
Суть кейса – использование инструментов Process Mining для преобразования нотных записей в журналы событий, что открывает окно возможностей для последующего масштабирования процессной аналитики в музыкальной индустрии.
В дальнейшем возможно применение объектно-ориентированного анализа процессов, что позволит смоделировать эффект одновременного воздействия нескольких инструментов на оркестровую композицию. Разработанный инструмент исследования партитур открывает перспективу изучения больших коллекций произведений и последующую интеграцию результатов в образовательную деятельность консерваторий и других высших учебных заведений творческой направленности.
Учитывая большой объем доступных музыкальных партий, инструмент может помочь в развитии методов поиска процессов, предоставляя бесчисленное количество (легко воспроизводимых и объясняемых) примеров. Модели в виде предварительно обработанных партитур могут служить промежуточным входом для алгоритмов машинного обучения.
Помимо партитур, подход переносится на потоковое вещание, позволяя захватывать живые инструменталы. В этом случае параллели становятся более очевидными, поскольку такое незначительное отклонение как попадание в неправильную ноту распознаются отклонением.
По материалам Icpmconference