Обучение с подкреплением - Reinforcement learning

Обучение с подкреплением (RL) - это площадь машинное обучение озабочен тем, как программные агенты должен взять действия в среде, чтобы максимизировать понятие кумулятивного вознаграждения. Обучение с подкреплением - одна из трех основных парадигм машинного обучения, наряду с контролируемое обучение и обучение без учителя.

Обучение с подкреплением отличается от обучения с учителем тем, что не требует представления помеченных пар ввода / вывода и не требует явного исправления неоптимальных действий. Вместо этого основное внимание уделяется поиску баланса между исследованием (неизведанной территории) и эксплуатацией (текущих знаний).^[1]

Окружение обычно указывается в виде Марковский процесс принятия решений (MDP), потому что многие алгоритмы обучения с подкреплением для этого контекста используют динамическое программирование техники.^[2] Основное различие между классическими методами динамического программирования и алгоритмами обучения с подкреплением заключается в том, что последние не предполагают знания точной математической модели MDP и нацелены на большие MDP, где точные методы становятся невозможными.

Введение

Типичная структура сценария обучения с подкреплением (RL): агент выполняет действия в среде, которая интерпретируется в вознаграждение и представление состояния, которые передаются обратно агенту.

Из-за своей универсальности обучение с подкреплением изучается во многих дисциплинах, таких как теория игры, теория управления, исследование операций, теория информации, оптимизация на основе моделирования, мультиагентные системы, рой интеллект, и статистика. В литературе по исследованию операций и контролю обучение с подкреплением называется приблизительное динамическое программирование, или нейродинамическое программирование. Проблемы, представляющие интерес в обучении с подкреплением, также изучались в теория оптимального управления, который касается в основном существования и характеристики оптимальных решений и алгоритмов для их точного вычисления, и меньше - обучения или аппроксимации, особенно при отсутствии математической модели среды. В экономика и теория игры, обучение с подкреплением может быть использовано для объяснения того, как может возникнуть равновесие при ограниченная рациональность.

Базовое армирование моделируется как Марковский процесс принятия решений (MDP):

• набор состояний среды и агента, S;
• набор действий, А, агента;
• ${ Displaystyle P_ {a} (s, s ') = Pr (s_ {t + 1} = s' mid s_ {t} = s, a_ {t} = a)}$ вероятность перехода (в момент времени ${ displaystyle t}$) от государства ${ displaystyle s}$ заявить ${ displaystyle s '}$ под действием ${ displaystyle a}$.
• ${ displaystyle R_ {a} (s, s ')}$ это немедленная награда после перехода от ${ displaystyle s}$ к ${ displaystyle s '}$ с действием ${ displaystyle a}$.

Агент обучения с подкреплением взаимодействует со своей средой дискретными временными шагами. Каждый раз т, агент получает текущее состояние ${ displaystyle s_ {t}}$ и награда ${ displaystyle r_ {t}}$. Затем он выбирает действие ${ displaystyle a_ {t}}$ из набора доступных действий, который впоследствии отправляется в среду. Среда переходит в новое состояние ${ displaystyle s_ {t + 1}}$ и награда ${ displaystyle r_ {t + 1}}$ связанный с переход ${ displaystyle (s_ {t}, a_ {t}, s_ {t + 1})}$ определен. Цель агента обучения с подкреплением - изучить политика: ${ displaystyle pi: A times S rightarrow [0,1]}$, ${ displaystyle pi (a, s) = Pr (a_ {t} = a mid s_ {t} = s)}$ что максимизирует ожидаемое совокупное вознаграждение.

Формулировка проблемы в виде MDP предполагает, что агент непосредственно наблюдает за текущим состоянием окружающей среды; в этом случае говорят, что проблема полная наблюдаемость. Если агент имеет доступ только к подмножеству состояний или если наблюдаемые состояния искажены шумом, говорят, что агент имеет частичная наблюдаемость, а формально задача должна быть сформулирована как Частично наблюдаемый марковский процесс принятия решений. В обоих случаях набор действий, доступных агенту, может быть ограничен. Например, состояние баланса счета может быть ограничено положительным; если текущее значение состояния равно 3, а переход состояния пытается уменьшить значение на 4, переход не будет разрешен.

Когда производительность агента сравнивается с производительностью агента, который действует оптимально, разница в производительности порождает понятие сожаление. Чтобы действовать почти оптимально, агент должен рассуждать о долгосрочных последствиях своих действий (то есть максимизировать будущий доход), хотя немедленное вознаграждение, связанное с этим, может быть отрицательным.

Таким образом, обучение с подкреплением особенно хорошо подходит для задач, которые включают в себя долгосрочное и краткосрочное вознаграждение. Он успешно применяется для решения различных задач, в том числе управление роботом, график работы лифта, телекоммуникации, нарды, шашки^[3] и Идти (AlphaGo ).

Два элемента делают обучение с подкреплением мощным: использование примеров для оптимизации производительности и использование аппроксимации функций для работы с большими средами. Благодаря этим двум ключевым компонентам обучение с подкреплением можно использовать в больших средах в следующих ситуациях:

• Модель среды известна, но аналитическое решение недоступно;
• Приведена только имитационная модель окружающей среды (предмет оптимизация на основе моделирования );^[4]
• Единственный способ собрать информацию об окружающей среде - это взаимодействовать с ней.

Первые две из этих проблем можно рассматривать как проблемы планирования (поскольку существует некоторая форма модели), а последнюю можно рассматривать как настоящую проблему обучения. Однако обучение с подкреплением превращает обе проблемы планирования в машинное обучение проблемы.

Исследование

Компромисс между разведкой и эксплуатацией был наиболее тщательно изучен с помощью многорукий бандит проблема и для МДП в пространстве состояний в Burnetas and Katehakis (1997).^[5]

Обучение с подкреплением требует умных механизмов исследования; случайный выбор действий без ссылки на оценочное распределение вероятностей показывает низкую производительность. Случай (малых) конечных Марковские процессы принятия решений относительно хорошо изучен. Однако из-за отсутствия алгоритмов, которые хорошо масштабируются с количеством состояний (или масштабируются до проблем с бесконечными пространствами состояний), простые методы исследования являются наиболее практичными.

Один из таких методов - ${ displaystyle varepsilon}$-жадный, где ${ Displaystyle 0 < varepsilon <1}$ - это параметр, управляющий объемом разведки и эксплуатации. С вероятностью ${ displaystyle 1- varepsilon}$, выбирается эксплуатация, и агент выбирает действие, которое, по его мнению, имеет лучший долгосрочный эффект (связи между действиями разрываются равномерно и случайным образом). Как вариант, с вероятностью ${ displaystyle varepsilon}$, исследование выбрано, и действие выбирается равномерно случайным образом. ${ displaystyle varepsilon}$ обычно является фиксированным параметром, но его можно отрегулировать либо по расписанию (заставляя агент все меньше исследовать), либо адаптивно на основе эвристики.^[6]

Алгоритмы управления обучением

Даже если пренебречь вопросом разведки и даже если состояние было наблюдаемым (предполагается, что и далее), проблема остается в использовании прошлого опыта, чтобы выяснить, какие действия приводят к более высоким совокупным вознаграждениям.

Критерий оптимальности

Политика

Выбор действия агента моделируется в виде карты, называемой политика:

${ displaystyle pi: A times S rightarrow [0,1]}$

${ displaystyle pi (a, s) = Pr (a_ {t} = a mid s_ {t} = s)}$

Карта политик дает вероятность принятия мер ${ displaystyle a}$ когда в состоянии ${ displaystyle s}$.^[7]:61 Существуют также и не вероятностные политики.

Функция состояния-значения

Функция значения ${ Displaystyle V _ { pi} (s)}$ определяется как ожидаемый результат начиная с государства ${ displaystyle s}$, т.е. ${ displaystyle s_ {0} = s}$, и последовательно следуя политике ${ displaystyle pi}$. Следовательно, грубо говоря, функция ценности оценивает, «насколько хорошо» находиться в данном состоянии.^[7]:60

${ displaystyle V _ { pi} (s) = operatorname {E} [R] = operatorname {E} left [ sum _ {t = 0} ^ { infty} gamma ^ {t} r_ { t} mid s_ {0} = s right],}$

где случайная величина ${ displaystyle R}$ обозначает вернуть, и определяется как сумма будущих дисконтированных вознаграждений (гамма меньше 1, по мере того, как конкретное состояние становится старше, его влияние на более поздние состояния становится все меньше и меньше. Таким образом, мы дисконтируем его эффект).

${ displaystyle R = sum _ {t = 0} ^ { infty} gamma ^ {t} r_ {t},}$

где ${ displaystyle r_ {t}}$ это награда на шаге ${ displaystyle t}$, ${ Displaystyle гамма в [0,1)}$ это учетная ставка.

Алгоритм должен найти политику с максимальной ожидаемой доходностью. Из теории МДП известно, что без ограничения общности поиск можно ограничить набором так называемых стационарный политики. Политика стационарный если возвращаемое им действие-распределение зависит только от последнего посещенного состояния (из истории агента наблюдения). В дальнейшем поиск может быть ограничен детерминированный стационарные полисы. А детерминированный стационарный политика детерминированно выбирает действия на основе текущего состояния. Поскольку любую такую ​​политику можно идентифицировать с помощью отображения набора состояний на набор действий, эти политики можно идентифицировать с помощью таких отображений без потери общности.

Грубая сила

В грубая сила Подход предполагает два этапа:

• Для каждой возможной политики образец возвращается, следуя ему
• Выберите полис с наибольшей ожидаемой доходностью

Одна из проблем заключается в том, что количество политик может быть большим или даже бесконечным. Другой заключается в том, что разброс доходностей может быть большим, что требует множества выборок для точной оценки доходности каждого полиса.

Эти проблемы можно решить, если мы примем некоторую структуру и позволим выборкам, созданным из одной политики, влиять на оценки, сделанные для других. Два основных подхода к достижению этого: оценка функции ценности и прямой поиск политики.

Функция значения

Подходы с функцией ценности пытаются найти политику, которая максимизирует отдачу, поддерживая набор оценок ожидаемой отдачи для некоторой политики (обычно либо «текущей» [по политике], либо оптимальной [вне политики]).

Эти методы основаны на теории MDP, где оптимальность определяется в более сильном смысле, чем приведенный выше: политика называется оптимальной, если она обеспечивает наилучший ожидаемый доход от Любые начальное состояние (т.е. начальные распределения не играют никакой роли в этом определении). Опять же, среди стационарных политик всегда можно найти оптимальную политику.

Чтобы формально определить оптимальность, определите ценность политики. ${ displaystyle pi}$ от

${ Displaystyle V ^ { pi} (s) = E [R mid s, pi],}$

где ${ displaystyle R}$ означает доход, связанный со следующими ${ displaystyle pi}$ из начального состояния ${ displaystyle s}$. Определение ${ Displaystyle V ^ {*} (s)}$ как максимально возможное значение ${ Displaystyle V ^ { pi} (s)}$, где ${ displaystyle pi}$ разрешено изменять,

${ Displaystyle V ^ {*} (s) = max _ { pi} V ^ { pi} (s).}$

Политика, которая достигает этих оптимальных значений в каждом состоянии, называется оптимальный. Очевидно, что политика, оптимальная в этом строгом смысле, также оптимальна в том смысле, что она максимизирует ожидаемую прибыль. ${ displaystyle rho ^ { pi}}$, поскольку ${ Displaystyle rho ^ { pi} = E [V ^ { pi} (S)]}$, где ${ displaystyle S}$ состояние, случайно выбранное из распределения ${ displaystyle mu}$^{[требуется разъяснение ]}.

Хотя значений состояния достаточно для определения оптимальности, полезно определить значения действия. Учитывая состояние ${ displaystyle s}$, действие ${ displaystyle a}$ и политика ${ displaystyle pi}$, действие-ценность пары ${ Displaystyle (s, а)}$ под ${ displaystyle pi}$ определяется

${ Displaystyle Q ^ { pi} (s, a) = operatorname {E} [R mid s, a, pi], ,}$

где ${ displaystyle R}$ теперь означает случайный возврат, связанный с первым действием ${ displaystyle a}$ в состоянии ${ displaystyle s}$ и следующие ${ displaystyle pi}$, после этого.

Теория МДП утверждает, что если ${ displaystyle pi ^ {*}}$ является оптимальной политикой, мы действуем оптимально (предпринимаем оптимальное действие), выбирая действие из ${ Displaystyle Q ^ { pi ^ {*}} (s, cdot)}$ с наивысшим значением в каждом состоянии, ${ displaystyle s}$. В функция значения действия такой оптимальной политики (${ Displaystyle Q ^ { pi ^ {*}}}$) называется функция оптимального действия и ценности и обычно обозначается ${ displaystyle Q ^ {*}}$. Таким образом, одного знания оптимальной функции действия и ценности достаточно, чтобы знать, как действовать оптимально.

Предполагая полное знание MDP, два основных подхода к вычислению оптимальной функции ценности действия: итерация значения и итерация политики. Оба алгоритма вычисляют последовательность функций ${ displaystyle Q_ {k}}$ (${ Displaystyle к = 0,1,2, ldots}$), сходящиеся к ${ displaystyle Q ^ {*}}$. Вычисление этих функций включает вычисление ожиданий по всему пространству состояний, что непрактично для всех, кроме самых маленьких (конечных) MDP. В методах обучения с подкреплением ожидания аппроксимируются путем усреднения по выборкам и использования методов аппроксимации функций, чтобы справиться с необходимостью представления функций ценности в больших пространствах состояния и действия.

Методы Монте-Карло

Методы Монте-Карло может использоваться в алгоритме, имитирующем итерацию политики. Итерация политики состоит из двух этапов: оценка политики и улучшение политики.

Монте-Карло используется на этапе оценки политики. На этом этапе, учитывая стационарную детерминированную политику ${ displaystyle pi}$, цель - вычислить значения функции ${ Displaystyle Q ^ { pi} (s, а)}$ (или хорошее приближение к ним) для всех пар состояние-действие ${ Displaystyle (s, а)}$. Предположим (для простоты), что MDP конечен, что имеется достаточно памяти для размещения значений действия и что проблема носит эпизодический характер и после каждого эпизода новый начинается с некоторого случайного начального состояния. Затем оценка ценности данной пары состояние-действие ${ Displaystyle (s, а)}$ могут быть вычислены путем усреднения выборочных доходов, полученных от ${ Displaystyle (s, а)}$ через некоторое время. Таким образом, при наличии достаточного времени эта процедура может построить точную оценку ${ displaystyle Q}$ функции действия-ценности ${ Displaystyle Q ^ { pi}}$. На этом описание этапа оценки политики заканчивается.

На этапе улучшения политики следующая политика получается путем вычисления жадный политика в отношении ${ displaystyle Q}$: Учитывая состояние ${ displaystyle s}$, эта новая политика возвращает действие, которое максимизирует ${ Displaystyle Q (s, cdot)}$. На практике ленивая оценка может отложить вычисление максимальных действий до того момента, когда они потребуются.

Проблемы с этой процедурой включают:

• Процедура может потратить слишком много времени на оценку неоптимальной политики.
• Он использует образцы неэффективно, так как длинная траектория улучшает оценку только не замужем пара состояние-действие, начавшая траекторию.
• Когда возврат по траекториям высокая дисперсия, сходимость медленная.
• Он работает в эпизодические проблемы только;
• Он работает только в небольших конечных MDP.

Методы временной разницы

Первая проблема исправляется, позволяя процедуре изменять политику (в некоторых или во всех состояниях) до того, как значения установятся. Это тоже может быть проблематичным, поскольку может помешать сближению. Большинство современных алгоритмов делают это, создавая класс итерация обобщенной политики алгоритмы. Много актерский критик методы относятся к этой категории.

Вторую проблему можно исправить, позволив траекториям вносить вклад в любую пару состояние-действие в них. Это также может в некоторой степени помочь с третьей проблемой, хотя лучшее решение, когда доходность имеет высокую дисперсию, - это решение Саттона. временная разница (TD) методы, основанные на рекурсивном Уравнение беллмана.^[8][9] Вычисление в методах TD может быть инкрементным (когда после каждого перехода память изменяется и переход отбрасывается) или пакетным (когда переходы группируются и оценки вычисляются один раз на основе пакета). Пакетные методы, такие как метод временной разницы наименьших квадратов,^[10] может лучше использовать информацию из выборок, в то время как инкрементные методы являются единственным выбором, когда пакетные методы невозможны из-за их высокой вычислительной сложности или сложности памяти. Некоторые методы пытаются объединить два подхода. Методы, основанные на временных различиях, также решают четвертую проблему.

Чтобы решить пятую проблему, методы аппроксимации функций используются. Приближение линейной функции начинается с отображения ${ displaystyle phi}$ который назначает конечномерный вектор каждой паре состояние-действие. Затем значения действия пары состояние-действие ${ Displaystyle (s, а)}$ получаются линейным объединением компонентов ${ displaystyle phi (s, a)}$ с некоторыми веса ${ displaystyle theta}$:

${ displaystyle Q (s, a) = sum _ {i = 1} ^ {d} theta _ {i} phi _ {i} (s, a).}$

Затем алгоритмы корректируют веса, а не корректируют значения, связанные с отдельными парами состояние-действие. Методы, основанные на идеях из непараметрическая статистика (которые можно увидеть, чтобы построить свои собственные функции) были исследованы.

Итерацию значений также можно использовать в качестве отправной точки, давая начало Q-обучение алгоритм и множество его вариантов.^[11]

Проблема с использованием значений действия состоит в том, что им могут потребоваться очень точные оценки значений конкурирующих действий, которые может быть трудно получить, когда результаты зашумлены, хотя эта проблема в некоторой степени смягчается методами временной разницы. Использование так называемого метода аппроксимации совместимых функций ставит под угрозу общность и эффективность. Другая проблема, характерная для TD, связана с их опорой на рекурсивное уравнение Беллмана. Большинство методов TD имеют так называемый ${ displaystyle lambda}$ параметр ${ Displaystyle (0 leq лямбда leq 1)}$ который может непрерывно интерполировать между методами Монте-Карло, которые не полагаются на уравнения Беллмана, и основными методами TD, которые полностью полагаются на уравнения Беллмана. Это может быть эффективным средством решения этой проблемы.

Прямой поиск политики

Альтернативным методом является поиск непосредственно в (некотором подмножестве) пространства политики, и в этом случае проблема становится случаем стохастическая оптимизация. Доступны два подхода: методы на основе градиента и методы без градиента.

Градиент -основанные методы (методы градиента политики) начинаются с отображения из конечномерного (параметрического) пространства в пространство политик: задан вектор параметров ${ displaystyle theta}$, позволять ${ displaystyle pi _ { theta}}$ обозначают политику, связанную с ${ displaystyle theta}$. Определение функции производительности с помощью

${ Displaystyle rho ( theta) = rho ^ { pi _ { theta}},}$

при мягких условиях эта функция будет дифференцируемой как функция вектора параметров ${ displaystyle theta}$. Если градиент ${ displaystyle rho}$ было известно, можно было использовать градиентный подъем. Поскольку аналитическое выражение для градиента недоступно, доступна только зашумленная оценка. Такая оценка может быть построена разными способами, что приводит к таким алгоритмам, как метод REINFORCE Уильямса.^[12] (который известен как метод отношения правдоподобия в оптимизация на основе моделирования литература).^[13] Методы поиска политики использовались в робототехника контекст.^[14] Многие методы поиска политики могут застрять в локальных оптимумах (поскольку они основаны на местный поиск ).

Большой класс методов позволяет не полагаться на информацию о градиенте. Они включают имитация отжига, кросс-энтропийный поиск или методы эволюционные вычисления. Многие безградиентные методы могут достичь (теоретически и в пределе) глобального оптимума.

Методы поиска политики могут медленно сходиться при наличии зашумленных данных. Например, это происходит в эпизодических задачах, когда траектории длинные и разброс доходностей велик. В этом случае могут помочь методы, основанные на функциях значений, которые полагаются на временные различия. За последние годы, актерско-критические методы были предложены и хорошо справились с различными проблемами.^[15]

Теория

Как асимптотика, так и поведение большинства алгоритмов на основе конечной выборки хорошо изучены. Известны алгоритмы с доказуемо хорошей производительностью в сети (решающие проблему исследования).

Эффективное исследование MDP дано в Burnetas and Katehakis (1997).^[5] Ограничения производительности за конечное время также появились для многих алгоритмов, но ожидается, что эти границы будут довольно неопределенными, и, следовательно, потребуется дополнительная работа, чтобы лучше понять относительные преимущества и ограничения.

Для инкрементальных алгоритмов решены вопросы асимптотической сходимости.^{[требуется разъяснение ]}. Алгоритмы, основанные на временных различиях, сходятся при более широком наборе условий, чем это было возможно ранее (например, при использовании с произвольным приближением гладких функций).

Исследование

Темы исследования включают

• адаптивные методы, которые работают с меньшим количеством параметров (или без них) в большом количестве условий
• решение проблемы геологоразведки в крупных МДП
• комбинации с логическими фреймворками^[16]
• крупномасштабные эмпирические оценки
• обучение с подкреплением для кибербезопасности^[17]
• учиться и действовать под частичная информация (например, используя прогнозируемое представление состояния )
• модульное и иерархическое обучение с подкреплением^[18]
• улучшение существующих методов поиска по функциям ценности и политике
• алгоритмы, которые хорошо работают с большими (или непрерывными) пространствами действий
• передача обучения^[19]
• обучение на протяжении всей жизни
• эффективное планирование на основе выборки (например, на основе Поиск в дереве Монте-Карло ).
• обнаружение ошибок в программных проектах^[20]
• Внутренняя мотивация который отличает стремление к информации, поведение типа любопытства от поведения, зависящего от задачи, целенаправленного поведения (как правило) путем введения функции вознаграждения, основанной на максимальном использовании новой информации^[21][22][23]
• Когнитивное моделирование использование обучения с подкреплением активно использовалось в вычислительная психология ^[24]
• Многоагентное или распределенное обучение с подкреплением - это интересная тема. Приложения расширяются.^[25]
• Актер-критик обучение с подкреплением
• Алгоритмы обучения с подкреплением, такие как TD-обучение, исследуются в качестве модели для дофамин обучение в мозгу. В этой модели дофаминергический прогнозы из черная субстанция к базальный ганглий функция ошибки прогноза. Обучение с подкреплением использовалось как часть модели обучения человеческим навыкам, особенно в отношении взаимодействия между неявным и явным обучением при приобретении навыков (первая публикация этого приложения была в 1995–1996 годах).^[26]

Сравнение алгоритмов обучения с подкреплением

Глубокое обучение с подкреплением

Этот подход расширяет возможности обучения с подкреплением за счет использования глубокой нейронной сети и без явного проектирования пространства состояний.^[27] Работа по изучению игр ATARI от Google DeepMind повышенное внимание к глубокое обучение с подкреплением или сквозное обучение с подкреплением.^[28]

Обратное обучение с подкреплением

В обучении с обратным подкреплением (IRL) функция вознаграждения отсутствует. Вместо этого функция вознаграждения выводится на основе наблюдаемого поведения эксперта. Идея состоит в том, чтобы имитировать наблюдаемое поведение, которое часто бывает оптимальным или близким к оптимальному.^[29]

Безопасное обучение с подкреплением

Безопасное обучение с подкреплением (SRL) можно определить как процесс обучения политикам, которые максимизируют ожидание отдачи от проблем, в которых важно обеспечить разумную производительность системы и / или соблюдать ограничения безопасности во время процессов обучения и / или развертывания.^[30]

Смотрите также

использованная литература

дальнейшее чтение

• Ауэр, Петр; Якш, Томас; Ортнер, Рональд (2010). «Почти оптимальные границы сожаления для обучения с подкреплением». Журнал исследований в области машинного обучения. 11: 1563–1600.
• Бузониу, Лучиан; Бабушка, Роберт; Де Шуттер, Барт; Эрнст, Дэмиен (2010). Обучение с подкреплением и динамическое программирование с использованием аппроксиматоров функций. Тейлор и Фрэнсис CRC Press. ISBN  978-1-4398-2108-4.
• Франсуа-Лаве, Винсент; Хендерсон, Питер; Ислам, Риашат; Bellemare, Marc G .; Пино, Жоэль (2018). «Введение в глубокое обучение с подкреплением». Основы и тенденции в машинном обучении. 11 (3–4): 219–354. arXiv:1811.12560. Bibcode:2018arXiv181112560F. Дои:10.1561/2200000071. S2CID  54434537.
• Пауэлл, Уоррен (2007). Приближенное динамическое программирование: решение проклятия размерности. Wiley-Interscience. ISBN  978-0-470-17155-4.
• Саттон, Ричард С.; Барто, Эндрю Г. (2018). Обучение с подкреплением: введение (2-е изд.). MIT Press. ISBN  978-0-262-03924-6.
• Саттон, Ричард С. (1988). «Учимся предсказывать методом временных разностей». Машинное обучение. 3: 9–44. Дои:10.1007 / BF00115009.
• Сита, Иштван; Сепесвари, Чаба (2010). «Обучение с подкреплением на основе моделей с почти жесткими границами сложности исследования» (PDF). ICML 2010. Вседержительница. С. 1031–1038. Архивировано из оригинал (PDF) 14 июля 2010 г.
• Фельтус, Кристоф (2020-07). «Вклад обучения с подкреплением в кибербезопасность распределенных систем: систематизация знаний». Международный журнал распределенного искусственного интеллекта. 12 (2): 35–55. Дои: 10.4018 / IJDAI.2020070103. ISSN  2637-7888.

внешние ссылки

• Репозиторий обучения с подкреплением
• Обучение с подкреплением и искусственный интеллект (RLAI, лаборатория Рича Саттона в Университет Альберты )
• Автономная учебная лаборатория (ВСЕ, лаборатория Эндрю Барто в Массачусетский университет в Амхерсте )
• Гибридное обучение с подкреплением
• Реальные эксперименты с обучением с подкреплением в Делфтский технологический университет
• Лекция Эндрю Нг из Стэнфордского университета по обучению с подкреплением
• Анализ обучения с подкреплением Серия сообщений в блоге о RL с кодом Python