Приблизительная энтропия - Approximate entropy

В статистика, приблизительная энтропия (Ручка) - это метод, используемый для количественной оценки количества регулярности и непредсказуемость колебаний за Временные ряды данные.^[1]

Например, есть две серии данных:

серия 1: (10,20,10,20,10,20,10,20,10,20,10,20 ...), в которой чередуются 10 и 20.

серия 2: (10,10,20,10,20,20,20,10,10,20,10,20,20 ...), которая имеет значение 10 или 20, выбираемое случайным образом, каждое с вероятностью 1/2.

Статистика моментов, Такие как иметь в виду и отклонение, не будет различать эти две серии. И не будет порядок ранжирования статистика различает эти серии. И все же серия 1 «совершенно правильная»; знание того, что один член имеет значение 20, позволяет с уверенностью предсказать, что следующий член будет иметь значение 10. Серия 2 оценивается случайным образом; знание того, что один член имеет значение 20, не дает представления о том, какое значение будет иметь следующий член.

Изначально регулярность измерялась точной статистикой регулярности, которая в основном сосредоточивалась на различных показателях энтропии.^[1]Однако точный расчет энтропии требует огромных объемов данных, и на результаты будет сильно влиять системный шум,^[2] поэтому применять эти методы к экспериментальным данным нецелесообразно. ApEn был разработан Стив М. Пинкус чтобы справиться с этими ограничениями путем изменения точной статистики регулярности, Энтропия Колмогорова – Синая. ApEn изначально был разработан для анализа медицинских данных, таких как частота сердечных сокращений,^[1] а позже распространил свои приложения в финансы,^[3] психология,^[4] инженерия человеческого фактора,^[5] и науки о климате.^[6]

Алгоритм

Подробное пошаговое руководство с объяснением теоретических основ приблизительной энтропии доступно по адресу:^[7]

${ displaystyle { text {Шаг 1}}}$: Сформировать временной ряд данных ${ Displaystyle U (1), и (2), ldots, и (N)}$. Это ${ displaystyle { text {N}}}$ необработанные значения данных измерений, равномерно распределенные во времени.

${ displaystyle { text {Шаг 2}}}$: Исправить ${ displaystyle m}$, целое число, и ${ displaystyle r}$, а положительный настоящий номер. Значение ${ displaystyle m}$ представляет длину сравниваемой серии данных, а ${ displaystyle r}$ указывает уровень фильтрации.

${ displaystyle { text {Шаг 3}}}$: Сформировать последовательность векторов ${ Displaystyle mathbf {х} (1)}$,${ Displaystyle mathbf {x} (2), ldots, mathbf {x} (N-m + 1)}$, в ${ Displaystyle mathbf {R} ^ {m}}$, настоящий ${ displaystyle m}$-мерное пространство, определяемое ${ Displaystyle mathbf {х} (я) = [и (я), и (я + 1), ldots, и (я + м-1)]}$.

${ displaystyle { text {Шаг 4}}}$: Используйте последовательность ${ Displaystyle mathbf {х} (1)}$,${ Displaystyle mathbf {x} (2), ldots, mathbf {x} (N-m + 1)}$ построить, для каждого ${ displaystyle i}$, ${ Displaystyle 1 Leq я Leq Н-м + 1}$

${ displaystyle C_ {i} ^ {m} (r) = ({ text {number of}} x (j) { text {такой, что}} d [x (i), x (j)] leq г / (Н-т + 1) ,}$

в котором ${ Displaystyle d [х, х ^ {*}]}$ определяется как

${ displaystyle d [x, x ^ {*}] = max _ {a} | u (a) -u ^ {*} (a) | ,}$

В ${ Displaystyle и (а)}$ являются ${ displaystyle { text {m}}}$ скаляр компоненты ${ displaystyle mathbf {x}}$. ${ displaystyle d}$ представляет собой расстояние между векторов ${ Displaystyle mathbf {х} (я)}$ и ${ displaystyle mathbf {x} (j)}$, задаваемый максимальной разницей в их соответствующих скалярных компонентах. Обратите внимание, что ${ displaystyle j}$ принимает все значения, поэтому соответствие обеспечивается, когда ${ displaystyle i = j}$ будет засчитан (подпоследовательность сравнивается с самой собой).

${ displaystyle { text {Шаг 5}}}$: Определять

${ Displaystyle Phi ^ {m} (r) = (N-m + 1) ^ {- 1} sum _ {i = 1} ^ {N-m + 1} log (C_ {i} ^ { Мистер))}$,

${ displaystyle { text {Шаг 6}}}$: Определить приблизительную энтропию ${ Displaystyle ( mathrm {ApEn})}$ в качестве

${ displaystyle mathrm {ApEn} = Phi ^ {m} (r) - Phi ^ {m + 1} (r).}$

куда ${ displaystyle log}$ натуральный логарифм, так как ${ displaystyle m}$ и ${ displaystyle r}$ фиксируется как на шаге 2.

Выбор параметра: обычно выбирают ${ Displaystyle m = 2}$ или же ${ Displaystyle m = 3}$, и ${ displaystyle r}$ сильно зависит от приложения.

Реализация на Physionet,^[8] который основан на Pincus ^[2] использовать ${ Displaystyle д [х (я), х (j)] <г}$ тогда как в исходной статье используется ${ Displaystyle д [х (я), х (j)] Leq r}$ на шаге 4. Хотя это касается искусственно построенных примеров, на практике это обычно не проблема.

Интерпретация

Наличие повторяющихся паттернов колебаний во временном ряду делает его более предсказуемым, чем временной ряд, в котором такие паттерны отсутствуют. ApEn отражает вероятность того, что похожий образцы наблюдений не будут сопровождаться дополнительными похожий наблюдения.^[9] Временной ряд, содержащий множество повторяющихся паттернов, имеет относительно небольшой ApEn; менее предсказуемый процесс имеет более высокое ApEn.

Один пример

Иллюстрация последовательности пульса

Предполагать ${ Displaystyle N = 51}$, а последовательность состоит из 51 образца частоты сердечных сокращений, равномерно распределенных во времени:

${ Displaystyle S_ {N} = {85,80,89,85,80,89, ldots }}$

(т.е. последовательность периодическая с периодом 3). Давай выбираем ${ Displaystyle m = 2}$ и ${ displaystyle r = 3}$ (значения ${ displaystyle m}$ и ${ displaystyle r}$ можно варьировать, не влияя на результат).

Сформируйте последовательность векторов:

${ Displaystyle mathbf {x} (1) = [и (1) , и (2)] = [85 , 80]}$

${ Displaystyle mathbf {x} (2) = [и (2) , и (3)] = [80 , 89]}$

${ Displaystyle mathbf {x} (3) = [и (3) , и (4)] = [89 , 85]}$

${ Displaystyle mathbf {х} (4) = [и (4) , и (5)] = [85 , 80]}$…

Расстояние рассчитывается следующим образом:

${ displaystyle d [ mathbf {x} (1), mathbf {x} (1)] = max _ {a} | u (a) -u ^ {*} (a) | = 0 <г = 3}$

Примечание ${ Displaystyle | u (2) -u (3) |> | u (1) -u (2) |}$, так

${ displaystyle d [ mathbf {x} (1), mathbf {x} (2)] = max _ {a} | u (a) -u ^ {*} (a) | = | u ( 2) -u (3) | = 9> r = 3}$

По аналогии,

${ Displaystyle d [ mathbf {x} (1), mathbf {x} (3)] = | u (2) -u (4) | = 5> r}$

${ Displaystyle d [ mathbf {x} (1), mathbf {x} (4)] = | u (1) -u (4) | = | u (2) -u (5) | = 0$

Следовательно, ${ displaystyle mathbf {x} (j) { text {s}}}$ такой, что ${ Displaystyle d [ mathbf {x} (1), mathbf {x} (j)] Leq r}$ включают ${ Displaystyle mathbf {x} (1), mathbf {x} (4), mathbf {x} (7), ldots, mathbf {x} (49)}$, а всего 17.

${ displaystyle C_ {1} ^ {2} (3) = { frac {17} {50}}}$

${ displaystyle C_ {2} ^ {2} (3) = { frac {17} {50}}}$

${ displaystyle C_ {3} ^ {2} (3) = { frac {16} {50}}}$

${ Displaystyle C_ {4} ^ {2} (3) = { frac {17} {50}} ldots}$

Обратите внимание на шаг 4 для ${ Displaystyle mathbf {х} (я)}$, ${ Displaystyle 1 Leq я Leq N-m + 1}$. Итак ${ displaystyle mathbf {x} (j) { text {s}}}$ такой, что ${ Displaystyle d [ mathbf {x} (3), mathbf {x} (j)]$ включают ${ Displaystyle mathbf {x} (3), mathbf {x} (6), mathbf {x} (9), ldots, mathbf {x} (48)}$, а всего 16.

${ Displaystyle Phi ^ {2} (3) = (50) ^ {- 1} sum _ {i = 1} ^ {50} log (C_ {i} ^ {2} (3)) приблизительно - 1.0982}$

Затем повторяем вышеуказанные шаги для m = 3. Сначала сформируйте последовательность векторов:

${ Displaystyle mathbf {x} (1) = [u (1) , u (2) , u (3)] = [85 , 80 , 89]}$

${ Displaystyle mathbf {x} (2) = [u (2) , u (3) , u (4)] = [80 , 89 , 85]}$

${ Displaystyle mathbf {x} (3) = [u (3) , u (4) , u (5)] = [89 , 85 , 80]}$

${ Displaystyle mathbf {x} (4) = [u (4) , u (5) , u (6)] = [85 , 80 , 89]}$…

Вычисляя расстояния между векторами ${ Displaystyle mathbf {x} (я), mathbf {x} (j), 1 Leq я Leq 49}$, находим векторы, удовлетворяющие уровню фильтрации, имеют следующую характеристику:

${ displaystyle d [ mathbf {x} (i), mathbf {x} (i + 3)] = 0$

Следовательно,

${ displaystyle C_ {1} ^ {3} (3) = { frac {17} {49}}}$

${ displaystyle C_ {2} ^ {3} (3) = { frac {16} {49}}}$

${ displaystyle C_ {3} ^ {3} (3) = { frac {16} {49}}}$

${ displaystyle C_ {4} ^ {3} (3) = { frac {17} {49}} ldots}$

${ Displaystyle Phi ^ {3} (3) = (49) ^ {- 1} sum _ {i = 1} ^ {49} журнал (C_ {i} ^ {3} (3)) приблизительно - 1.0982}$

Ну наконец то,

${ displaystyle mathrm {ApEn} = Phi ^ {2} (3) - Phi ^ {3} (3) приблизительно 0,000010997}$

Значение очень маленькое, поэтому подразумевает, что последовательность регулярная и предсказуемая, что согласуется с наблюдением.

Реализация Python

импорт тупой в качестве нпdef Ручка(U, м, р) -> плавать:    "" "Приблизительная_энтропия." ""    def _maxdist(x_i, x_j):        возвращаться Максимум([пресс(ua - ва) за ua, ва в застегивать(x_i, x_j)])    def _phi(м):        Икс = [[U[j] за j в классифицировать(я, я + м - 1 + 1)] за я в классифицировать(N - м + 1)]        C = [            len([1 за x_j в Икс если _maxdist(x_i, x_j) <= р]) / (N - м + 1.0)            за x_i в Икс        ]        возвращаться (N - м + 1.0) ** (-1) * сумма(нп.бревно(C))    N = len(U)    возвращаться пресс(_phi(м + 1) - _phi(м))# Пример использованияU = нп.множество([85, 80, 89] * 17)Распечатать(Ручка(U, 2, 3))1.0996541105257052e-05randU = нп.случайный.выбор([85, 80, 89], размер=17 * 3)Распечатать(Ручка(randU, 2, 3))0.8626664154888908

Преимущества

К преимуществам ApEn можно отнести:^[2]

• Снижение вычислительной нагрузки. ApEn может быть разработан для работы с небольшими выборками данных (n <50 точек) и может применяться в реальном времени.
• Меньше эффекта от шума. Если данные зашумлены, показатель ApEn можно сравнить с уровнем шума в данных, чтобы определить, какое качество истинной информации может присутствовать в данных.

Приложения

ApEn применялся для классификации ЭЭГ при психических заболеваниях, таких как шизофрения,^[10] эпилепсия,^[11] и зависимость.^[12]

Ограничения

Алгоритм ApEn считает каждую последовательность совпадающей, чтобы избежать появления ln (0) в вычислениях. Этот шаг может вызвать смещение ApEn, и это смещение приводит к тому, что ApEn на практике имеет два плохих свойства:^[13]

1. ApEn сильно зависит от длины записи и всегда ниже, чем ожидалось для коротких записей.
2. Ему не хватает относительной последовательности. То есть, если ApEn одного набора данных выше, чем у другого, он должен, но не остается, оставаться выше для всех тестируемых условий.

Смотрите также

• Количественный анализ повторяемости
• Образец энтропии

Рекомендации