Алгоритм Витерби - Viterbi algorithm

В Алгоритм Витерби это динамическое программирование алгоритм для поиска самого скорее всего последовательность скрытых состояний, называемых Путь Витерби- что приводит к последовательности наблюдаемых событий, особенно в контексте Марковские источники информации и скрытые марковские модели (ХМ).

Алгоритм нашел универсальное применение при расшифровке сверточные коды используется в обоих CDMA и GSM цифровая сотовая связь, набрать номер модемы, спутник, связь в дальнем космосе и 802.11 беспроводные локальные сети. Сейчас он также широко используется в распознавание речи, синтез речи, дневник,^[1] определение ключевых слов, компьютерная лингвистика, и биоинформатика. Например, в преобразование речи в текст (распознавание речи), акустический сигнал рассматривается как наблюдаемая последовательность событий, а текстовая строка считается «скрытой причиной» акустического сигнала. Алгоритм Витерби находит наиболее вероятную строку текста с учетом акустического сигнала.

История

Алгоритм Витерби назван в честь Эндрю Витерби, который предложил его в 1967 году как алгоритм декодирования сверточные коды по шумным цифровым каналам связи.^[2] Однако у него есть история множественное изобретение, с как минимум семью независимыми открытиями, в том числе и Витерби, Нидлман и Вунш, и Вагнер и Фишер.^[3] Он был представлен Обработка естественного языка как метод Пометка части речи еще в 1987 году.

«Путь Витерби» и «алгоритм Витерби» стали стандартными терминами для применения алгоритмов динамического программирования к задачам максимизации, связанным с вероятностями.^[3]Например, в статистический анализ Алгоритм динамического программирования может использоваться для обнаружения единственного наиболее вероятного контекстно-зависимого вывода (синтаксического анализа) строки, который обычно называется "синтаксическим анализом Витерби".^[4]^[5]^[6] Другое приложение находится в отслеживание цели, где вычисляется трек, который присваивает максимальную вероятность последовательности наблюдений.^[7]

Расширения

Обобщение алгоритма Витерби, получившее название алгоритм максимальной суммы (или же алгоритм max-product) можно использовать для поиска наиболее вероятного присвоения всего или некоторого подмножества скрытые переменные в большом количестве графические модели, например Байесовские сети, Марковские случайные поля и условные случайные поля. Скрытые переменные, как правило, должны быть связаны способом, подобным HMM, с ограниченным числом связей между переменными и некоторой линейной структурой среди переменных. Общий алгоритм включает передача сообщений и по существу аналогичен распространение веры алгоритм (который является обобщением алгоритм вперед-назад ).

С алгоритмом, называемым итеративное декодирование Витерби можно найти подпоследовательность наблюдения, которая наилучшим образом (в среднем) соответствует заданному скрытая марковская модель. Этот алгоритм предложен Qi Wang et al. иметь дело с турбо-код.^[8] Итеративное декодирование Витерби работает путем итеративного вызова модифицированного алгоритма Витерби, переоценивающего оценку наполнителя до сходимости.

Альтернативный алгоритм, Ленивый алгоритм Витерби, был предложен.^[9] Для многих приложений, представляющих практический интерес, в условиях разумного шума ленивый декодер (использующий алгоритм Lazy Viterbi) намного быстрее, чем исходный Декодер Витерби (с использованием алгоритма Витерби). В то время как исходный алгоритм Витерби вычисляет каждый узел в решетке возможных результатов, алгоритм Ленивого Витерби поддерживает список узлов с приоритетами для оценки по порядку, а количество требуемых вычислений обычно меньше (и никогда не больше), чем обычный алгоритм Витерби для тот же результат. Однако это не так просто^{[требуется разъяснение ]} распараллелить аппаратно.

Псевдокод

Этот алгоритм генерирует путь ${ Displaystyle X = (x_ {1}, x_ {2}, ldots, x_ {T})}$ , которая представляет собой последовательность состояний ${ displaystyle x_ {n} in S = {s_ {1}, s_ {2}, dots, s_ {K} }}$ которые генерируют наблюдения ${ Displaystyle Y = (y_ {1}, y_ {2}, ldots, y_ {T})}$ с ${ displaystyle y_ {n} in O = {o_ {1}, o_ {2}, dots, o_ {N} }}$ , куда ${ displaystyle N}$ это количество возможных наблюдений в пространстве наблюдения ${ displaystyle O}$ .

Две двухмерные таблицы размеров ${ displaystyle K times T}$ построены:

Каждый элемент ${ displaystyle T_ {1} [я, j]}$ из ${ displaystyle T_ {1}}$ хранит вероятность наиболее вероятного пути на данный момент ${ displaystyle { hat {X}} = ({ hat {x}} _ {1}, { hat {x}} _ {2}, ldots, { hat {x}} _ {j} )}$ с ${ displaystyle { hat {x}} _ {j} = s_ {i}}$ что порождает ${ Displaystyle Y = (y_ {1}, y_ {2}, ldots, y_ {j})}$ .
Каждый элемент ${ displaystyle T_ {2} [я, j]}$ из ${ displaystyle T_ {2}}$ магазины ${ displaystyle { hat {x}} _ {j-1}}$ наиболее вероятного пути на данный момент ${ displaystyle { hat {X}} = ({ hat {x}} _ {1}, { hat {x}} _ {2}, ldots, { hat {x}} _ {j- 1}, { hat {x}} _ {j} = s_ {i})}$ за ${ Displaystyle forall j, 2 leq j leq T}$

Записи в таблице ${ displaystyle T_ {1} [i, j], T_ {2} [i, j]}$ заполняются в порядке возрастания ${ Displaystyle К cdot j + i}$ :

{ Displaystyle T_ {1} [i, j] = max _ {k} {(T_ {1} [k, j-1] cdot A_ {ki} cdot B_ {iy_ {j}})}}

,

{ displaystyle T_ {2} [i, j] = operatorname {argmax} _ {k} {(T_ {1} [k, j-1] cdot A_ {ki} cdot B_ {iy_ {j}} )}}

,

с ${ displaystyle A_ {ki}}$ и ${ displaystyle B_ {iy_ {j}}}$ как определено ниже. Обратите внимание, что ${ displaystyle B_ {iy_ {j}}}$ не обязательно должно присутствовать в последнем выражении, поскольку оно неотрицательно и не зависит от ${ displaystyle k}$ и, таким образом, не влияет на argmax.

Вход

В место наблюдения ${ displaystyle O = {o_ {1}, o_ {2}, dots, o_ {N} }}$ ,
в пространство состояний ${ Displaystyle S = {s_ {1}, s_ {2}, dots, s_ {K} }}$ ,
массив начальных вероятностей ${ displaystyle Pi = ( pi _ {1}, pi _ {2}, dots, pi _ {K})}$ такой, что ${ displaystyle pi _ {я}}$ хранит вероятность того, что ${ displaystyle x_ {1} = s_ {i}}$ ,
последовательность наблюдений ${ Displaystyle Y = (y_ {1}, y_ {2}, ldots, y_ {T})}$ такой, что ${ displaystyle y_ {t} = i}$ если наблюдение во время ${ displaystyle t}$ является ${ displaystyle o_ {i}}$ ,
матрица перехода ${ displaystyle A}$ размера ${ displaystyle K times K}$ такой, что ${ displaystyle A_ {ij}}$ хранит вероятность перехода перехода из состояния ${ displaystyle s_ {i}}$ заявить ${ displaystyle s_ {j}}$ ,
матрица выбросов ${ displaystyle B}$ размера ${ displaystyle K times N}$ такой, что ${ displaystyle B_ {ij}}$ хранит вероятность наблюдения ${ displaystyle o_ {j}}$ от государства ${ displaystyle s_ {i}}$ .

Выход

Наиболее вероятная последовательность скрытых состояний ${ Displaystyle X = (x_ {1}, x_ {2}, ldots, x_ {T})}$

 функция ВИТЕРБИ ${ displaystyle (O, S, Pi, Y, A, B): X}$      за каждое государство  ${ Displaystyle я = 1,2, ldots, K}$  делать          ${ Displaystyle T_ {1} [я, 1] leftarrow pi _ {я} cdot B_ {iy_ {1}}}$           ${ Displaystyle T_ {2} [я, 1] leftarrow 0}$      конец для     за каждое наблюдение  ${ Displaystyle J = 2,3, ldots, T}$  делать         за каждое государство  ${ Displaystyle я = 1,2, ldots, K}$  делать              ${ Displaystyle T_ {1} [я, j] получает max _ {k} {(T_ {1} [k, j-1] cdot A_ {ki} cdot B_ {iy_ {j}})} }$               ${ Displaystyle T_ {2} [я, j] получает arg max _ {k} {(T_ {1} [k, j-1] cdot A_ {ki} cdot B_ {iy_ {j}} )}}$          конец для     конец для      ${ Displaystyle Z_ {T} получает arg max _ {k} {(T_ {1} [k, T])}}$       ${ displaystyle x_ {T} leftarrow s_ {z_ {T}}}$      за  ${ Displaystyle J = Т, Т-1, ldots, 2}$  делать          ${ displaystyle z_ {j-1} leftarrow T_ {2} [z_ {j}, j]}$           ${ displaystyle x_ {j-1} leftarrow s_ {z_ {j-1}}}$      конец для     возвращаться  ${ displaystyle X}$  конечная функция

Сформулировано кратким языком, близким к Python:

 # вероятность == p. Tm: матрица перехода. Em: матрица излучения. функция viterbi (O, S, Π, Tm, Em): решетка best_path ← matrix (length (S), length (O)) # Для удержания p. каждого государства с учетом каждого наблюдения. # Определить каждое скрытое состояние p. в момент времени 0… за s in range (length (S)): trellis [s, 0] ← Π [s] * Em [s, O [0]] #… и затем, предполагая наиболее вероятное предшествующее состояние каждого состояния, k. за o в диапазоне (1, длина (O)): за s в диапазоне (длина (S)): k ← argmax (k в решетке [k, o-1] * Tm [k, s] * Em [s, o]) решетка [s, o] ← решетка [k, o-1] * Tm [k, s] * Em [s, o] best_path ← list () за o in range (-1, - (length (O) +1), -1): # Возврат от последнего наблюдения. k ← argmax (k в решетке [k, o]) # Скорее всего, укажите o best_path.insert (0, S [k]) # отмечен для возврата. возвращаться лучший_путь

Объяснение

Предположим, нам дан скрытая марковская модель (HMM) с пространством состояний ${ displaystyle S}$ , начальные вероятности ${ displaystyle pi _ {я}}$ быть в состоянии ${ displaystyle i}$ и вероятности перехода ${ displaystyle a_ {i, j}}$ перехода из состояния ${ displaystyle i}$ заявить ${ displaystyle j}$ . Дескать, наблюдаем выходы ${ displaystyle y_ {1}, dots, y_ {T}}$ . Наиболее вероятная последовательность состояний ${ displaystyle x_ {1}, dots, x_ {T}}$ который производит наблюдения задается рекуррентными соотношениями^[10]

{ displaystyle { begin {align} V_ {1, k} & = mathrm {P} { big (} y_ {1} | k { big)} cdot pi _ {k}, V_ {t, k} & = max _ {x in S} left ( mathrm {P} { big (} y_ {t} | k { big)} cdot a_ {x, k} cdot V_ {t-1, x} right). end {align}}}

Здесь ${ displaystyle V_ {t, k}}$ вероятность наиболее вероятной последовательности состояний ${ displaystyle mathrm {P} { big (} x_ {1}, dots, x_ {t}, y_ {1}, dots, y_ {t} { big)}}$ отвечает за первый ${ displaystyle t}$ наблюдения, которые имеют ${ displaystyle k}$ как его окончательное состояние. Путь Витерби можно получить, сохранив обратные указатели, которые запоминают, какое состояние ${ displaystyle x}$ был использован во втором уравнении. Позволять ${ Displaystyle mathrm {Ptr} (к, т)}$ быть функцией, которая возвращает значение ${ displaystyle x}$ используется для вычисления ${ displaystyle V_ {t, k}}$ если ${ displaystyle t> 1}$ , или же ${ displaystyle k}$ если ${ displaystyle t = 1}$ . потом

{ Displaystyle { begin {align} x_ {T} & = arg max _ {x in S} (V_ {T, x}), x_ {t-1} & = mathrm {Ptr} (x_ {t}, t). end {align}}}

Здесь мы используем стандартное определение arg max.

Сложность этой реализации составляет ${ Displaystyle О (Т раз влево | {S} вправо | ^ {2})}$ . Более точная оценка существует, если вместо этого максимум во внутреннем цикле найден путем итерации только по состояниям, которые напрямую связаны с текущим состоянием (то есть есть край от ${ displaystyle k}$ к ${ displaystyle j}$ ). Затем используя амортизированный анализ можно показать, что сложность ${ Displaystyle О (Т раз ( влево | {S} вправо | + влево | {E} вправо |))}$ , куда ${ displaystyle E}$ количество ребер в графе.

Пример

Представьте себе деревню, в которой все жители либо здоровы, либо у них температура, и только деревенский врач может определить, есть ли у них температура. Врач диагностирует лихорадку, спрашивая пациентов, как они себя чувствуют. Жители могут только ответить, что чувствуют себя нормально, головокружение или холод.

Врач считает, что состояние здоровья его пациентов является дискретным Цепь Маркова. Есть два состояния: «Здоровое» и «Лихорадка», но врач не может наблюдать за ними напрямую; они есть скрытый от него. Каждый день есть определенная вероятность, что пациент скажет врачу, что он «нормальный», «холодный» или «головокружительный», в зависимости от состояния его здоровья.

В наблюдения (нормально, холодно, кружится голова) вместе с скрытый состояние (здоровый, жар) образуют скрытую марковскую модель (HMM) и могут быть представлены следующим образом в Язык программирования Python:

Наблюдения = ("нормальный", "холодный", "головокружительный")состояния = ("Здоровый", "Высокая температура")start_p = {"Здоровый": 0.6, "Высокая температура": 0.4}trans_p = {    "Здоровый": {"Здоровый": 0.7, "Высокая температура": 0.3},    "Высокая температура": {"Здоровый": 0.4, "Высокая температура": 0.6},}emit_p = {    "Здоровый": {"нормальный": 0.5, "холодный": 0.4, "головокружительный": 0.1},    "Высокая температура": {"нормальный": 0.1, "холодный": 0.3, "головокружительный": 0.6},}

В этом фрагменте кода start_p представляет мнение врача о том, в каком состоянии находится HMM при первом посещении пациента (все, что он знает, - это то, что пациент обычно здоров). Используемое здесь конкретное распределение вероятностей не является равновесным, которое (с учетом вероятностей перехода) приблизительно {"Здоровый": 0,57, "Лихорадка": 0,43}. В transition_p представляет собой изменение состояния здоровья в основной цепи Маркова. В этом примере вероятность того, что завтра у пациента поднимется температура, составляет всего 30%, если он здоров сегодня. В эмиссия_p представляет, насколько вероятно каждое возможное наблюдение, нормальное состояние, простуда или головокружение, с учетом их основного состояния, здоровья или лихорадки. Если пациент здоров, вероятность того, что он чувствует себя нормально, составляет 50%; если у него жар, то с вероятностью 60% он почувствует головокружение.

Графическое представление данной HMM

Пациент посещает три дня подряд, и врач обнаруживает, что в первый день он чувствует себя нормально, на второй день ему холодно, на третий день кружится голова. У врача возникает вопрос: какова наиболее вероятная последовательность состояний здоровья пациента, которая могла бы объяснить эти наблюдения? На это отвечает алгоритм Витерби.

 1 def Витерби(Наблюдения, состояния, start_p, trans_p, emit_p): 2     V = [{}] 3     за ул в состояния: 4         V[0][ул] = {"проблема": start_p[ул] * emit_p[ул][Наблюдения[0]], "пред": Никто} 5     # Запускаем Витерби при t> 0 6     за т в классифицировать(1, len(Наблюдения)): 7         V.добавить({}) 8         за ул в состояния: 9             max_tr_prob = V[т - 1][состояния[0]]["проблема"] * trans_p[состояния[0]][ул]10             prev_st_selected = состояния[0]11             за prev_st в состояния[1:]:12                 tr_prob = V[т - 1][prev_st]["проблема"] * trans_p[prev_st][ул]13                 если tr_prob > max_tr_prob:14                     max_tr_prob = tr_prob15                     prev_st_selected = prev_st16 17             max_prob = max_tr_prob * emit_p[ул][Наблюдения[т]]18             V[т][ул] = {"проблема": max_prob, "пред": prev_st_selected}19 20     за линия в dptable(V):21         Распечатать(линия)22 23     выбрать = []24     max_prob = 0.025     предыдущий = Никто26     # Получить наиболее вероятное состояние и его возврат27     за ул, данные в V[-1].Предметы():28         если данные["проблема"] > max_prob:29             max_prob = данные["проблема"]30             best_st = ул31     выбрать.добавить(best_st)32     предыдущий = best_st33 34     # Следуйте обратным путем до первого наблюдения35     за т в классифицировать(len(V) - 2, -1, -1):36         выбрать.вставлять(0, V[т + 1][предыдущий]["пред"])37         предыдущий = V[т + 1][предыдущий]["пред"]38 39     Распечатать ('Шаги состояний' + ' '.присоединиться(выбрать) + 'с наибольшей вероятностью % s' % max_prob)40 41 def dptable(V):42     # Распечатать таблицу шагов из словаря43     урожай " ".присоединиться(("% 12d" % я) за я в классифицировать(len(V)))44     за государственный в V[0]:45         урожай "% .7s: " % государственный + " ".присоединиться("% .7s" % ("% f" % v[государственный]["проблема"]) за v в V)

Функция Витерби принимает следующие аргументы: Наблюдения это последовательность наблюдений, например ["нормально", "холодно", "кружится голова"]; состояния это набор скрытых состояний; start_p - вероятность старта; trans_p - вероятности перехода; и emit_p - вероятности выбросов. Для простоты кода мы предполагаем, что последовательность наблюдений Наблюдения не пусто и что trans_p [i] [j] и emit_p [i] [j] определено для всех состояний i, j.

В текущем примере алгоритм прямого / Витерби используется следующим образом:

Витерби(Наблюдения,        состояния,        start_p,        trans_p,        emit_p)

Результат скрипта

$ Python viterbi_example.py         0          1          2Здоровый: 0,30000 0,08400 0,00588Лихорадка: 0,04000 0,02700 0,01512Шаги состояний: Здоровая и здоровая лихорадка с наибольшей вероятностью 0,01512.

Это показывает, что наблюдения ["нормально", "холодно", "кружится голова"] скорее всего были созданы государствами ["Здоровый", "Здоровый", "Лихорадка"]. Другими словами, учитывая наблюдаемую активность, пациент, скорее всего, был здоров как в первый день, когда он чувствовал себя нормально, так и во второй день, когда ему стало холодно, а на третий день у него поднялась температура.

Работу алгоритма Витерби можно визуализировать с помощьюрешетчатая диаграмма. Путь Витерби, по сути, является кратчайшим путем через эту решетку.

мягкий вывод алгоритма Витерби

В мягкий вывод алгоритма Витерби (СОВА) - вариант классического алгоритма Витерби.

SOVA отличается от классической Алгоритм Витерби в том, что он использует модифицированную метрику пути, которая учитывает априорные вероятности входных символов и производит мягкий вывод, указывающий надежность решения.

Первым шагом в SOVA является выбор пути выжившего, проходящего через один уникальный узел в каждый момент времени, т. Поскольку каждый узел имеет две сходящиеся к нему ветви (одна ветвь выбирается для формирования Путь выжившего, а другой отбрасывается), разница в показателях ветвления (или Стоимость) между выбранной и отброшенной ветвями указывают количество ошибок в выборе.

Этот Стоимость накапливается по всему скользящему окну (обычно равно по меньшей мере пять ограничительных длин), чтобы указать мягкий вывод мера надежности трудное решение из Витерби алгоритм.

Смотрите также

Общие ссылки

Витерби AJ (апрель 1967). «Границы ошибок для сверточных кодов и асимптотически оптимальный алгоритм декодирования». IEEE Transactions по теории информации. 13 (2): 260–269. Дои:10.1109 / TIT.1967.1054010. (примечание: алгоритм декодирования Витерби описан в разделе IV.) Требуется подписка.
Feldman J, Abou-Faycal I, Frigo M (2002). Быстрый декодер максимального правдоподобия для сверточных кодов. Конференция по автомобильным технологиям. 1. С. 371–375. CiteSeerX 10.1.1.114.1314. Дои:10.1109 / VETECF.2002.1040367. ISBN 978-0-7803-7467-6.
Форни Г.Д. (март 1973 г.). «Алгоритм Витерби». Труды IEEE. 61 (3): 268–278. Дои:10.1109 / PROC.1973.9030. Требуется подписка.
Нажмите, WH; Теукольский С.А.; Феттерлинг, штат Вашингтон; Фланнери, ВР (2007). «Раздел 16.2. Декодирование Витерби». Числовые рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8.
Рабинер Л.Р. (февраль 1989 г.). «Учебник по скрытым марковским моделям и избранным приложениям в распознавании речи». Труды IEEE. 77 (2): 257–286. CiteSeerX 10.1.1.381.3454. Дои:10.1109/5.18626. (Описывает прямой алгоритм и алгоритм Витерби для HMM).
Шингал Р. и Годфрид Т. Туссен, «Эксперименты по распознаванию текста с модифицированным алгоритмом Витерби», IEEE Transactions по анализу шаблонов и машинному анализу, Vol. ПАМИ-1, апрель 1979 г., стр. 184–193.
Шингал Р. и Годфрид Т. Туссен, «Чувствительность модифицированного алгоритма Витерби к исходной статистике», IEEE Transactions по анализу шаблонов и машинному анализу, т. ПАМИ-2, март 1980 г., стр. 181–185.

Реализации

Mathematica имеет реализацию как часть поддержки случайных процессов
Сузы фреймворк обработки сигналов предоставляет реализацию C ++ для Прямое исправление ошибок коды и выравнивание каналов Вот.
C ++
C #
Ява
Java 8
Perl
Пролог
Haskell
Идти
SFIHMM включает код для декодирования Витерби.

внешняя ссылка

Реализации на Java, F #, Clojure, C # в Викиучебниках
Руководство о сверточном кодировании с декодированием Витерби, Чип Флеминг
Учебное пособие для набора инструментов скрытой марковской модели (реализовано на языке C), которое содержит описание алгоритма Витерби.
Алгоритм Витерби автор Dr. Эндрю Дж. Витерби (scholarpedia.org).

[1] Xavier Anguera et al., «Диаризация спикера: обзор последних исследований», получено 19. августа 2010, IEEE TASLP

[2] 29 апреля 2005 г., Дж. Дэвид Форни-младший: Алгоритм Витерби: личная история

[slp-3] а ^б Даниэль Джурафски; Джеймс Х. Мартин. Обработка речи и языка. Pearson Education International. п. 246.

[4] Шмид, Гельмут (2004). Эффективный анализ весьма неоднозначных контекстно-свободных грамматик с помощью битовых векторов (PDF). Proc. 20-я Международная конф. по компьютерной лингвистике (COLING). Дои:10.3115/1220355.1220379.

[5] Кляйн, Дэн; Мэннинг, Кристофер Д. (2003). A * parsing: быстрый точный выбор синтаксического анализа Витерби (PDF). Proc. Конференция 2003 г. Североамериканского отделения Ассоциации компьютерной лингвистики по технологиям человеческого языка (NAACL). С. 40–47. Дои:10.3115/1073445.1073461.

[6] Станке, М .; Keller, O .; Gunduz, I .; Hayes, A .; Waack, S .; Моргенштерн, Б. (2006). «АВГУСТ: Ab initio предсказание альтернативных транскриптов». Исследования нуклеиновых кислот. 34 (Проблема с веб-сервером): W435 – W439. Дои:10.1093 / нар / gkl200. ЧВК 1538822. PMID 16845043.

[7] Quach, T .; Фарук, М. (1994). «Формирование трека максимального правдоподобия с помощью алгоритма Витерби». Труды 33-й конференции IEEE по решениям и контролю. 1. С. 271–276. Дои:10.1109 / CDC.1994.410918.CS1 maint: несколько имен: список авторов (связь)

[8] Ци Ван; Лэй Вэй; Родни А. Кеннеди (2002). «Итеративное декодирование Витерби, формирование решетчатой диаграммы и многоуровневая структура для высокоскоростной связи TCM с контролем четности». Транзакции IEEE по коммуникациям. 50: 48–55. Дои:10.1109/26.975743.

[9] Быстрый декодер максимального правдоподобия для сверточных кодов (PDF). Конференция по автомобильным технологиям. Декабрь 2002. С. 371–375. Дои:10.1109 / VETECF.2002.1040367.

[10] Xing E, слайд 11.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]