Вольтерра серия - Volterra series

В Вольтерра серия представляет собой модель нелинейного поведения, аналогичную модели Серия Тейлор. Он отличается от серии Тейлора своей способностью улавливать эффекты «памяти». Ряд Тейлора можно использовать для аппроксимации реакции нелинейной системы на заданный вход, если выход этой системы строго зависит от входа в этот конкретный момент. В серии Вольтерра выход нелинейной системы зависит от входа в систему при все в других случаях. Это дает возможность улавливать эффект "памяти" таких устройств, как конденсаторы и индукторы.

Применяется в области медицины (биомедицинская инженерия ) и биология, особенно нейробиология. Он также используется в электротехнике для моделирования интермодуляция искажения во многих устройствах, включая усилители мощности и частотные смесители. Его главное преимущество заключается в его универсальности: он может представлять широкий спектр систем. Таким образом, это иногда считается непараметрический модель.

В математика, ряд Вольтерра обозначает функциональное расширение динамического, нелинейный, не зависящий от времени функциональный. Серия Volterra часто используется в идентификация системы. Ряд Вольтерра, который используется для доказательства теоремы Вольтерра, представляет собой бесконечную сумму многомерных сверточных интегралов.

История

Серия Вольтерра - это модернизированная версия теории аналитических функционалов, созданная итальянским математиком. Вито Вольтерра в работе 1887 г.[1][2]. Норберт Винер заинтересовался этой теорией в 1920-х годах после контакта со студентом Вольтерры Поль Леви. Он применил свою теорию Броуновское движение к интегрированию аналитических функционалов Вольтерра. Использование серии Вольтерра для системного анализа возникло из ограниченного отчета военного времени 1942 г.[3] Винера, тогда профессора математики в Массачусетский технологический институт. Он использовал серию для приблизительного анализа влияния шума радара на нелинейную схему приемника. Отчет стал достоянием общественности после войны.[4] В качестве общего метода анализа нелинейных систем ряды Вольтерра стали использоваться примерно после 1957 года в результате серии отчетов, сначала распространенных в частном порядке, из Массачусетского технологического института и других источников.[5] Название Вольтерра серия вошел в обиход несколько лет спустя.

Математическая теория

Теорию рядов Вольтерры можно рассматривать с двух разных точек зрения: каждая из них рассматривает оператор отображение между двумя реальными (или сложными) функциональные пространства или функциональное отображение реального (или комплексного) функционального пространства в действительные (или комплексные) числа. Последняя, ​​функциональная, перспектива используется более часто из-за предполагаемой временной инвариантности системы.

Непрерывное время

Непрерывный инвариантная во времени система с участием Икс(т) в качестве ввода и y(т), поскольку вывод может быть расширен в серии Volterra как

Здесь постоянный член справа обычно принимается равным нулю при подходящем выборе уровня выходного сигнала. . Функция называется п-го порядка Вольтерра ядро. Его можно рассматривать как высший импульсивный ответ системы. Чтобы представление было уникальным, ядра должны быть симметричными по п переменные . Если он не симметричен, его можно заменить симметризованным ядром, которое является средним по п! перестановки этих п переменные τ.

Если N конечна, серия называется усеченный. Если а, б, и N конечны, серия называется вдвойне конечный.

Иногда пчлен -го порядка делится на п!, соглашение, которое удобно при использовании выходных данных одной системы Вольтерра в качестве входных данных другой («каскадирование»).

Условие причинности: Поскольку в любой физически реализуемой системе вывод может зависеть только от предыдущих значений ввода, ядра будет нулевым, если любая из переменных отрицательны. Тогда интегралы могут быть записаны в половинном диапазоне от нуля до бесконечности, поэтому, если оператор причинный, .

Аппроксимационная теорема Фреше: Использование ряда Вольтерра для представления инвариантного во времени функционального отношения часто оправдывается обращением к теореме из-за Фреше. Эта теорема утверждает, что инвариантное во времени функциональное соотношение (удовлетворяющее некоторым очень общим условиям) может быть аппроксимировано равномерно и с произвольной степенью точности достаточно высоким рядом Вольтерра конечного порядка. Среди прочих условий набор допустимых входных функций для которого будет выполняться приближение, должно быть компактный. Обычно это считается равностепенный, равномерно ограниченный набор функций, компактный Теорема Арцела – Асколи. Во многих физических ситуациях это предположение о входном наборе является разумным. Теорема, однако, не указывает, сколько членов необходимо для хорошего приближения, что является важным вопросом для приложений.

Дискретное время

Это похоже на случай непрерывного времени:

называются ядрами Вольтерра с дискретным временем.

Если п конечно, оператор ряда называется усеченным. Если а, б и п конечны, оператор ряда называется дважды конечным рядом Вольтерра. Если , оператор называется причинный.

Мы всегда можем рассматривать, не ограничивая общности, ядро как симметричный. Фактически, для коммутативности умножения всегда можно симметризовать его, образуя новое ядро, взятое как среднее значение ядер для всех перестановок переменных .

Для причинная система с симметричными ядрами мы можем переписать п-й член примерно в треугольной форме

Методы оценки коэффициентов ядра

Оценить коэффициенты Вольтерра по отдельности сложно, поскольку базисные функционалы ряда Вольтерра коррелированы. Это приводит к проблеме одновременного решения системы интегральных уравнений для коэффициентов. Следовательно, оценка коэффициентов Вольтерра обычно выполняется путем оценки коэффициентов ортогонализированного ряда, например то Винера серия, а затем пересчитать коэффициенты исходного ряда Вольтерра. Основная привлекательность ряда Вольтерра по сравнению с ортогонализированными рядами заключается в его интуитивной, канонической структуре, то есть все взаимодействия входных данных имеют одну фиксированную степень. Ортогонализированные базисные функционалы обычно довольно сложны.

Важный аспект, в отношении которого различаются следующие методы, заключается в том, должна ли ортогонализация базисных функционалов выполняться по идеализированной спецификации входного сигнала (например, гауссову, белый шум ) или над фактической реализацией ввода (то есть псевдослучайной, ограниченной, почти белой версией гауссовского белого шума или любого другого стимула). Последние методы, несмотря на отсутствие математической элегантности, оказались более гибкими (поскольку произвольные входные данные могут быть легко адаптированы) и точными (из-за того, что идеализированная версия входного сигнала не всегда реализуема).

Метод взаимной корреляции

Этот метод, разработанный Ли и Шетценом, ортогонален по отношению к фактическому математическому описанию сигнала, т.е.проекция на новые базисные функционалы основана на знании моментов случайного сигнала.

Мы можем написать серию Вольтерры в терминах однородный операторы, как

где

Чтобы обеспечить ортогонализацию идентификации, ряды Вольтерра должны быть перегруппированы в терминах ортогональных неоднородных г операторы (Винера серия ):

В г операторы могут быть определены следующим образом:

всякий раз, когда - произвольный однородный Вольтерра, Икс(п) - некоторый стационарный белый шум (SWN) с нулевым средним и дисперсией А.

Вспоминая, что каждый функционал Вольтерра ортогонален всему функционалу Винера большего порядка, и учитывая следующий функционал Вольтерра:

мы можем написать

Если Икс это SWN, и позволив , у нас есть

Итак, если мы исключим диагональные элементы, , это

Если мы хотим рассмотреть диагональные элементы, решение, предложенное Ли и Шетценом, выглядит следующим образом:

Основным недостатком этого метода является то, что ошибки оценки, сделанные на всех элементах ядер более низкого порядка, будут влиять на каждый диагональный элемент порядка п путем суммирования , задуманное как решение для оценки самих диагональных элементов. Существуют эффективные формулы, позволяющие избежать этого недостатка, и ссылки для оценки диагонального элемента ядра.[6][7]

После того, как ядра Винера были идентифицированы, ядра Вольтерры могут быть получены с использованием формул Винера-Вольтерра, приведенных ниже для ряда Вольтерра пятого порядка:

Метод множественной дисперсии

В традиционном ортогональном алгоритме с использованием входов с высоким имеет преимущество стимулирования нелинейности высокого порядка для достижения более точной идентификации ядра высокого порядка. значения вызывают высокую ошибку идентификации в ядрах более низкого порядка,[8] в основном из-за неидеальности ввода и ошибок усечения.

Напротив, использование нижнего в процессе идентификации может привести к лучшей оценке ядра более низкого порядка, но может быть недостаточным для стимулирования нелинейности высокого порядка.

Это явление, которое можно назвать местонахождение усеченного ряда Вольтерра, может быть обнаружен путем вычисления ошибки вывода ряда как функции различных дисперсий входных данных. Этот тест можно повторить с сериями, идентифицированными с различными входными отклонениями, получая разные кривые, каждая с минимумом, соответствующим дисперсия, используемая при идентификации.

Чтобы преодолеть это ограничение, значение должно использоваться для ядра более низкого порядка и постепенно увеличиваться для ядер более высокого порядка. Это не теоретическая проблема при идентификации ядра Винера, поскольку функционал Винера ортогонален друг другу, но соответствующая нормализация необходима в Винеровском методе определения ядра. - Формулы преобразования Вольтерры для учета использования различных дисперсий. Кроме того, необходимы новые формулы преобразования Винера в Вольтерру.

Традиционную идентификацию ядра Винера следует изменить следующим образом:[8]

В приведенных выше формулах импульсные функции вводятся для идентификации точек диагонального ядра. Если ядра Винера извлекаются с помощью новых формул, необходимы следующие формулы Винера-Вольтерра (разъясненные до пятого порядка):

Как видно, недостаток предыдущей формулы[7] это для идентификации п-го порядка, все более низкие ядра должны быть снова идентифицированы с более высокой дисперсией. Однако выдающееся улучшение выходной MSE будет получено, если ядра Винера и Вольтерра будут получены с новыми формулами.[8]

Прямая связь

Этот метод был разработан Wray and Green (1994) и основан на том факте, что простой двухслойный нейронная сеть (т.е. многослойный персептрон или прямая сеть ) вычислительно эквивалентен серии Вольтерра и, следовательно, содержит ядра, скрытые в его архитектуре. После того, как такая сеть была обучена успешно предсказывать выходные данные на основе текущего состояния и памяти системы, ядра могут быть вычислены на основе весов и смещений этой сети.

Общие обозначения для пЯдро Вольтерра -го порядка имеет вид

где это порядок, веса к линейному выходному узлу, коэффициенты полиномиального разложения выходной функции скрытых узлов, и - веса от входного слоя до нелинейного скрытого слоя. Важно отметить, что этот метод позволяет извлекать ядро ​​вплоть до числа задержек ввода в архитектуре сети. Кроме того, очень важно тщательно определить размер входного сетевого уровня, чтобы он представлял эффективную память системы.

Точный ортогональный алгоритм

Этот метод и его более эффективный вариант (быстрый ортогональный алгоритм) были изобретены Коренбергом.[9]В этом методе ортогонализация выполняется эмпирически над фактическим вводом. Было показано, что он работает более точно, чем метод взаимной корреляции. Еще одно преимущество состоит в том, что для ортогонализации можно использовать произвольные входные данные и что для достижения желаемого уровня точности достаточно меньшего количества точек данных. Кроме того, оценка может выполняться постепенно, пока не будет выполнен какой-либо критерий.

Линейная регрессия

Линейная регрессия это стандартный инструмент линейного анализа. Следовательно, одним из основных его преимуществ является широкое распространение стандартных инструментов для эффективного решения линейных регрессий. Он имеет некоторую образовательную ценность, поскольку подчеркивает основное свойство рядов Вольтерра: линейную комбинацию нелинейных базисных функционалов. Для оценки должен быть известен порядок оригинала, поскольку базисные функционалы Вольтерра не ортогональны, и, таким образом, оценка не может выполняться постепенно.

Метод ядра

Этот метод был изобретен Францем и Шёлкопфом.[10] и основан на теория статистического обучения. Следовательно, этот подход также основан на минимизации эмпирической ошибки (часто называемой минимизация эмпирического риска ). Франц и Шёлкопф предположили, что метод ядра мог бы существенно заменить представление ряда Вольтерра, хотя и отметили, что последнее является более интуитивным.

Дифференциальная выборка

Этот метод был разработан ван Хемменом и его сотрудниками {CN}} и использует Дельта-функции Дирака для выборки коэффициентов Вольтерра.

Смотрите также

использованная литература

  1. ^ Вольтерра, Вито (1887). Sopra le funzioni che dipendono da altre funzioni. III. Италия: R. Accademia dei Lincei. С. 97–105.
  2. ^ Вито Вольтерра. Теория функционалов, интегралов и интегродифференциальных уравнений. Madrid 1927 (испанский), переведенная версия переиздана New York: Dover Publications, 1959.
  3. ^ Винер Н: Реакция нелинейного устройства на шум. Радиационная лаборатория MIT 1942, ограниченная. report V-16, no 129 (112 pp). Рассекречено в июле 1946 г., опубликовано как респ. нет. PB-1-58087, Министерство торговли США. URL: http://www.dtic.mil/dtic/tr/fulltext/u2/a800212.pdf
  4. ^ Икехара S: Метод Винера в нелинейной схеме. MIT 10 декабря 1951, техн. респ. № 217, Рез. Лаборатория. Электрон.
  5. ^ Ранние отчеты MIT Бриллианта, Замеса, Джорджа, Хауса, Чеслера можно найти на dspace.mit.edu.
  6. ^ М. Пирани, С. Орчони, К. Туркетти (сентябрь 2004 г.). "Диагональная точечная оценка ядра пДискретные системы Вольтерра-Винера -го порядка ». Журнал EURASIP по прикладной обработке сигналов. 2004 (12): 1807–1816.CS1 maint: использует параметр авторов (ссылка на сайт)
  7. ^ а б С. Орчиони, М. Пирани, К. Туркетти (2005). «Достижения в методе Ли – Шетцена для идентификации фильтра Вольтерра». Многомерные системы и обработка сигналов. 16 (3): 265–284.CS1 maint: использует параметр авторов (ссылка на сайт)
  8. ^ а б c Орчони, Симоне (2014). «Повышение аппроксимационной способности рядов Вольтерра, идентифицированных с помощью метода взаимной корреляции». Нелинейная динамика. 78: 2861–2869. Дои:10.1007 / s11071-014-1631-7.
  9. ^ Коренберг, М. Дж., Брудер, С. Б., Макилрой, П. Дж. (1988). «Точная ортогональная оценка ядра из конечных записей данных: расширение Винеровской идентификации нелинейных систем». Анна. Биомед. Англ.. 16: 201–214.CS1 maint: использует параметр авторов (ссылка на сайт)
  10. ^ Франц, Маттиас О., Бернхард Шёлкопф (2006). «Объединяющий взгляд на теорию Винера и Вольтерра и регрессию полиномиального ядра». Нейронные вычисления. 18 (12): 3097–3118. Дои:10.1162 / neco.2006.18.12.3097.CS1 maint: использует параметр авторов (ссылка на сайт)

дальнейшее чтение

  • Барретт Дж. Ф .: Библиография серии Volterra, функциональных расширений Hermite и связанных предметов. Dept. Electr. Engrg, Univ.Tech. Эйндховен, Нидерланды 1977, T-H report 77-E-71. (Хронологический список ранних работ до 1977 г.) URL: http://alexandria.tue.nl/extra1/erap/publichtml/7704263.pdf
  • Bussgang, J.J .; Ehrman, L .; Грэм, Дж. В .: Анализ нелинейных систем с несколькими входами, Proc. IEEE, том 62, № 8, стр. 1088–1119, август 1974 г.
  • Гианнакис Г. Б. И Серпендин Э: Библиография по идентификации нелинейных систем. Обработка сигналов, 81 2001 533–580. (Список в алфавитном порядке до 2001 г.) www.elsevier.nl/locate/sigpro
  • Коренберг М.Дж. Хантер И.В .: Идентификация нелинейных биологических систем: подходы ядра Вольтерра, Анналы биомедицинской инженерии (1996), том 24, номер 2.
  • Го И Л: Частотный анализ слабонелинейных сетей, IEEE Trans. Circuits & Systems, том CS-11 (4), август 1977 г .; vol.CS-11 (5) октябрь 1977 г. 2–6.
  • Rugh W J: Теория нелинейных систем: подход Вольтерра – Винера. Балтимор 1981 (Johns Hopkins Univ Press) http://rfic.eecs.berkeley.edu/~niknejad/ee242/pdf/volterra_book.pdf
  • Schetzen M: Теории Вольтерра и Винера нелинейных систем, Нью-Йорк: Wiley, 1980.