Функция цветности - Chroma feature

(а) Музыкальная партитура по шкале до мажор. (b) Хромограмма, полученная из партитуры. (c) Аудиозапись гаммы до мажор, сыгранной на фортепиано. (d) Хромограмма, полученная из аудиозаписи.

В Музыка, период, термин функция цветности или же хроматограмма тесно связан с двенадцатью различными классы поля. Функции на основе цветности, которые также называются "профили питч-классов ", являются мощным инструментом для анализа музыки, высоту тона которой можно осмысленно разделить на категории (часто по двенадцати категориям) и чья настройка приближается к уравновешенная гамма. Одним из основных свойств характеристик цветности является то, что они улавливают гармонические и мелодические характеристики музыки, будучи устойчивыми к изменениям тембра и инструментовки.

Определение

Основное наблюдение состоит в том, что люди воспринимают две музыкальные ноты как похожие по цвету, если они отличаются на октаву. Основываясь на этом наблюдении, высоту звука можно разделить на две составляющие, которые называются высота тона и цветность.[1] Если предположить уравновешенная гамма, рассматривается двенадцать значений цветности, представленных набором

{C, C♯, D, D♯, E, F, F♯, G, G♯, А, А♯, B}

который состоит из двенадцати атрибутов написания высоты тона, используемых в западной нотной записи. Обратите внимание, что в гамме с одинаковым темпом разные варианты написания высоты тона, например C♯ и D♭ относятся к той же цветности. Перечисляя значения цветности, можно идентифицировать набор значений цветности с помощью набора целых чисел {1,2, ..., 12}, где 1 относится к цветности C, 2 - к C♯, и так далее. А класс поля определяется как набор всех высот с одинаковой цветностью. Например, используя научная нотация звука, класс основного тона, соответствующий цветности C, является набором

{..., C−2, С−1, С0, С1, С2, С3 ...}

состоящий из всех высот, разделенных целым числом октав. Учитывая музыкальное представление (например, музыкальную партитуру или аудиозапись), основная идея характеристик цветности состоит в том, чтобы объединить для данного локального временного окна (например, указанного в долях или секундах) всю информацию, относящуюся к данной цветности, в единый коэффициент. Сдвиг временного окна по музыкальному представлению приводит к последовательности характеристик цветности, каждая из которых выражает то, как содержание основного тона представления во временном окне распределяется по двенадцати полосам цветности. Результирующее представление цветности времени также упоминается как хроматограмма. На приведенном выше рисунке показаны хроматограммы для гаммы до мажор, полученные один раз из нот, а второй - из аудиозаписи. Из-за тесной связи между терминами цветность и класс высоты тона, характеристики цветности также упоминаются как профили питч-классов.

Приложения

Определяя высоту тона, различающуюся октавой, особенности цветности показывают высокую степень устойчивости к вариациям тембра и тесно связаны с музыкальным аспектом гармонии. Это причина того, что функции цветности являются хорошо зарекомендовавшим себя инструментом для обработки и анализа музыкальных данных.[2] Например, практически каждая процедура распознавания аккордов основывается на представлении цветности.[3][4][5][6] Кроме того, функции цветности стали стандартом де-факто для таких задач, как выравнивание музыки и синхронизация[7][8] а также анализ структуры звука.[9] Наконец, функции цветности оказались мощным средством представления функций среднего уровня при извлечении аудио на основе контента, например, идентификация кавер-версии песни,[10][11] соответствие звука[12][13][14][15] oraudio хеширование.[16][17]

Вычисление звуковых хроматограмм

Есть много способов преобразовать аудиозапись в хроматограмму. Например, преобразование аудиозаписи в представление цветности (или хроматограмму) может быть выполнено либо с использованием кратковременных преобразований Фурье в сочетании со стратегиями биннинга.[18][19][20] или путем использования подходящих многоскоростных фильтров.[12]Кроме того, свойства характеристик цветности могут быть значительно изменены путем введения подходящих этапов предварительной и последующей обработки, изменяющих спектральные, временные и динамические аспекты. Это приводит к большому количеству вариантов цветности, которые могут показывать совершенно другое поведение в контексте конкретного сценария анализа музыки.[21]

Смотрите также

Рекомендации

  1. ^ Шепард, Роджер Н. (1964). «Круговорот в суждениях относительного тона». Журнал Акустического общества Америки. 36 (212): 2346–2353. Дои:10.1121/1.1919362.
  2. ^ Мюллер, Мейнард (2015). Основы обработки музыки. Springer. Дои:10.1007/978-3-319-21945-5. ISBN  978-3-319-21944-8.
  3. ^ Чо, Тэмин; Белло, Хуан Пабло (2014). «Об относительной важности отдельных компонентов систем распознавания аккордов». Транзакции IEEE / ACM для обработки звука, речи и языка. 22 (2): 477–4920. Дои:10.1109 / TASLP.2013.2295926.
  4. ^ Маух, Матиас; Диксон, Саймон (2010). «Одновременная оценка аккордов и музыкального контекста по аудио». Транзакции IEEE по обработке звука, речи и языка. 18 (6): 138–153. CiteSeerX  10.1.1.414.7800. Дои:10.1109 / TASL.2009.2032947.
  5. ^ Фудзисима, Такуя (1999). "Распознавание аккордов музыкального звука в реальном времени: система, использующая музыку Common Lisp". Материалы Международной компьютерной музыкальной конференции: 464–467.
  6. ^ Цзян, Наньчжу; Гроше, Питер; Конз, Верена; Мюллер, Мейнард (2011). «Анализ типов функций цветности для автоматического распознавания аккордов» (PDF). Материалы конференции AES по семантическому аудио.
  7. ^ Ху, Нин; Данненберг, Роджер Б .; Цанетакис, Джордж (2003). «Согласование полифонического звука и выравнивание для поиска музыки». Труды семинара IEEE по приложениям обработки сигналов к аудио и акустике.
  8. ^ Эверт, Себастьян; Мюллер, Мейнард; Гроше, Питер (2009). «Синхронизация аудио высокого разрешения с использованием функций начала цветности» (PDF). Труды Международной конференции IEEE по акустике, речи и обработке сигналов: 1869–1872.
  9. ^ Паулюс, Джоуни; Мюллер, Мейнард; Клапури, Ансси (2010). «Анализ музыкальной структуры на основе аудио» (PDF). Материалы Международной конференции по поиску музыкальной информации: 625–636.
  10. ^ Эллис, Дэниел П.В.; Полинер, Грэм (2007). «Определение« кавер-версий »с помощью функций цветности и динамического программирования трекинга ударов». Труды Международной конференции IEEE по акустике, речи и обработке сигналов.
  11. ^ Серра, Жанна; Гомес, Эмилия; Эррера, Perfecto; Серра, Ксавье (2008). «Двоичное подобие цветности и локальное выравнивание, применяемое для идентификации кавер-версий». Транзакции IEEE по обработке звука, речи и языка. 16 (6): 1138–1151. Дои:10.1109 / TASL.2008.924595. HDL:10230/16277.
  12. ^ а б Мюллер, Мейнард; Курт, Франк; Клаузен, Майкл (2005). «Согласование звука с помощью статистических функций на основе цветности» (PDF). Материалы Международной конференции по поиску музыкальной информации: 288–295.
  13. ^ Курт, Франк; Мюллер, Мейнард (2008). «Эффективное сопоставление звука на основе индекса». Транзакции IEEE по обработке звука, речи и языка. 16 (2): 382–395. Дои:10.1109 / TASL.2007.911552.
  14. ^ Мюллер, Мейнард (2015). Синхронизация музыки. В Основах обработки музыки, глава 3, страницы 115-166. Springer. ISBN  978-3-319-21944-8.
  15. ^ Курт, Франк; Мюллер, Мейнард (2008). «Эффективное сопоставление звука на основе индекса». Транзакции IEEE по обработке звука, речи и языка. 16 (2): 382–395. Дои:10.1109 / TASL.2007.911552.
  16. ^ Ю, Йи; Круциану, Мишель; Ория, Винсент; Дамиани, Эрнесто (2010). «Комбинирование гистограммы с несколькими зондами и LSH на основе статистики порядка для масштабируемого поиска аудиоконтента». Материалы международной конференции по мультимедиа - ММ '10. Материалы 18-й Международной конференции по мультимедиа 2010. С. 381–390. Дои:10.1145/1873951.1874004. ISBN  9781605589336.
  17. ^ Ю, Йи; Круциану, Мишель; Ория, Винсент; Чен, Лэй (2009). «Локальное суммирование и многоуровневый LSH для извлечения многовариантных звуковых дорожек». Материалы семнадцатой международной конференции ACM по мультимедиа - MM '09. Материалы 17-й Международной конференции по мультимедиа 2009. С. 341–350. Дои:10.1145/1631272.1631320. ISBN  9781605586083.
  18. ^ Bartsch, Mark A .; Уэйкфилд, Грегори Х. (2005). «Аудио миниатюры популярной музыки с использованием цветных представлений». Транзакции IEEE в мультимедиа. 7 (1): 96–104. CiteSeerX  10.1.1.379.3293. Дои:10.1109 / TMM.2004.840597.
  19. ^ Гомес, Эмилия (2006). «Тональное описание музыкальных звуковых сигналов». Докторская диссертация, UPF Барселона, Испания.
  20. ^ Мюллер, Мейнард (2015). Синхронизация музыки. В Основах обработки музыки, глава 3, страницы 115-166. Springer. ISBN  978-3-319-21944-8.
  21. ^ Мюллер, Мейнард; Эверт, Себастьян (2011). "Chroma Toolbox: реализации MATLAB для извлечения вариантов аудиофункций на основе цветности" (PDF). Материалы конференции Международного общества поиска информации о музыке: 215–220.

внешняя ссылка