Потеря триплета - Triplet loss

Потеря триплета это функция потерь за машинное обучение алгоритмы, в которых базовый (якорь) вход сравнивается с положительным (правдивым) входом и отрицательным (ложным) входом. Расстояние от входа базовой линии (якоря) до положительного (истинного) входа минимизировано, а расстояние от входа базовой линии (якоря) до отрицательного (ложного) входа максимально.^[1]^[2]Первая формулировка, эквивалентная триплетным потерям, была введена (без идеи использования якорей) для метрического обучения на основе относительных сравнений М. Шульце и Т. Иоахимсом в 2003 г.^[3].

Обеспечивая порядок расстояний, модели тройных потерь внедряются таким образом, что пара образцов с одинаковыми метками меньше по расстоянию, чем с разными метками. В отличие от t-SNE который сохраняет порядки вложения через распределения вероятностей, потеря триплетов работает непосредственно на вложенных расстояниях. Следовательно, в его обычной реализации требуется мягкая обработка маржи с переменной резервом. ${ displaystyle alpha}$ в его потеря петли -стилейная постановка. Часто используется для обучающее сходство с целью изучения вложений, таких как учиться ранжировать, вложения слов, мысли векторов, и метрическое обучение.^[4].

Рассмотрим задачу обучения нейронной сети распознаванию лиц (например, для доступа в зону повышенной безопасности). Классификатор, обученный классифицировать экземпляры, придется переучивать каждый раз, когда новый человек добавляется в базу данных лиц. Этого можно избежать, поставив проблему как проблему изучения подобия, а не как проблему классификации. Здесь сеть обучается (с использованием контрастных потерь) для вывода расстояния, которое мало, если изображение принадлежит известному человеку, и большое, если изображение принадлежит неизвестному человеку. Однако, если мы хотим вывести изображения, наиболее близкие к данному изображению, мы хотели бы узнать рейтинг, а не только сходство. В этом случае используются триплетные потери.

В функция потерь можно описать с помощью Евклидово расстояние функция

{ displaystyle { mathcal {L}} left (A, P, N right) = operatorname {max} left ({ | operatorname {f} left (A right) - operatorname {f } left (P right) |} ^ {2} - { | operatorname {f} left (A right) - operatorname {f} left (N right) |} ^ {2 } + alpha, 0 right)}

куда

{ displaystyle A}

является ввод якоря,

{ displaystyle P}

это положительный ввод того же класса, что и

{ displaystyle A}

,

{ displaystyle N}

это отрицательный вход другого класса из

{ displaystyle A}

,

{ displaystyle alpha}

разница между положительной и отрицательной парами, и

{ displaystyle operatorname {f}}

это вложение.

Затем это можно использовать в функции затрат, то есть сумме всех потерь, которые затем можно использовать для минимизации предполагаемых оптимизация проблема

{ displaystyle { mathcal {J}} = sum _ {i = 1} ^ {{} M} { mathcal {L}} left (A ^ {(i)}, P ^ {(i)} , N ^ {(i)} right)}

Индексы предназначены для отдельных входных векторов, представленных в виде тройки. Триплет формируется путем рисования ввода привязки, положительного ввода, который описывает ту же сущность, что и объект привязки, и отрицательного ввода, который не описывает ту же сущность, что и объект привязки. Эти входы затем проходят через сеть, а выходы используются в функции потерь.

Сравнение и дополнения

В компьютерное зрение таких задач, как повторная идентификация, преобладало мнение, что потеря триплета уступает использованию суррогатные убытки (т. е. типичные потери классификации), за которыми следуют отдельные шаги обучения метрике. Александр Херманс, Лукас Бейер и Бастиан Лейбе показали, что для моделей, обученных с нуля, а также для предварительно обученных моделей, специальная версия триплетной потери, выполняющая сквозное глубокое метрическое обучение, превосходит большинство других опубликованных методов по состоянию на 2017 год.^[5]

Кроме того, тройные потери были расширены, чтобы одновременно поддерживать серию дистанционных порядков за счет оптимизации непрерывного степень актуальности цепочкой (т.е. лестница) дистанционных неравенств. Это приводит к Потеря лестницы, который продемонстрировал повышение производительности визуально-семантического встраивания в учиться ранжировать задачи.^[6]

Смотрите также

Рекомендации

^ Чечик, Г .; Sharma, V .; Шалит, У .; Бенджио, С. (2010). «Крупномасштабное онлайн-изучение сходства изображений посредством ранжирования» (PDF). Журнал исследований в области машинного обучения. 11: 1109–1135.
^ Schroff, F .; Калениченко, Д .; Филбин, Дж. (Июнь 2015 г.). FaceNet: единое вложение для распознавания лиц и кластеризации. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR) 2015 г.. С. 815–823. arXiv:1503.03832. Дои:10.1109 / CVPR.2015.7298682. ISBN 978-1-4673-6964-0. S2CID 206592766.
^ Шульц, М .; Иоахим, Т. (2004). «Изучение метрики расстояния на основе относительных сравнений» (PDF). Достижения в системах обработки нейронной информации. 16: 41–48.
^ Айлон, Нир; Хоффер, Элад (2014-12-20). «Глубокое метрическое обучение с использованием сети Triplet». arXiv:1412.6622. Bibcode:2014arXiv1412.6622H. Цитировать журнал требует | журнал = (помощь)
^ Германс, Александр; Бейер, Лукас; Лейбе, Бастиан (22 марта 2017 г.). «В защиту тройной потери для повторной идентификации личности». arXiv:1703.07737 [cs.CV ].
^ Чжоу, Мо; Ню, Чжэньсин; Ван, Ле; Гао, Чжаннин; Чжан, Цилинь; Хуа, банда (2020-04-03). «Потеря лестницы для когерентного визуально-семантического встраивания» (PDF). Материалы конференции AAAI по искусственному интеллекту. 34 (7): 13050–13057. Дои:10.1609 / aaai.v34i07.7006. ISSN 2374-3468. S2CID 208139521.

Этот искусственный интеллект -связанная статья является заглушка. Вы можете помочь Википедии расширяя это.

Этот алгоритмы или же структуры данных -связанная статья является заглушка. Вы можете помочь Википедии расширяя это.

[1] Чечик, Г .; Sharma, V .; Шалит, У .; Бенджио, С. (2010). «Крупномасштабное онлайн-изучение сходства изображений посредством ранжирования» (PDF). Журнал исследований в области машинного обучения. 11: 1109–1135.

[2] Schroff, F .; Калениченко, Д .; Филбин, Дж. (Июнь 2015 г.). FaceNet: единое вложение для распознавания лиц и кластеризации. Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR) 2015 г.. С. 815–823. arXiv:1503.03832. Дои:10.1109 / CVPR.2015.7298682. ISBN 978-1-4673-6964-0. S2CID 206592766.

[SchultzJoachims-3] Шульц, М .; Иоахим, Т. (2004). «Изучение метрики расстояния на основе относительных сравнений» (PDF). Достижения в системах обработки нейронной информации. 16: 41–48.

[4] Айлон, Нир; Хоффер, Элад (2014-12-20). «Глубокое метрическое обучение с использованием сети Triplet». arXiv:1412.6622. Bibcode:2014arXiv1412.6622H. Цитировать журнал требует | журнал = (помощь)

[5] Германс, Александр; Бейер, Лукас; Лейбе, Бастиан (22 марта 2017 г.). «В защиту тройной потери для повторной идентификации личности». arXiv:1703.07737 [cs.CV ].

[Zhou_Niu_Wang_Gao_2020_pp._13050–13057-6] Чжоу, Мо; Ню, Чжэньсин; Ван, Ле; Гао, Чжаннин; Чжан, Цилинь; Хуа, банда (2020-04-03). «Потеря лестницы для когерентного визуально-семантического встраивания» (PDF). Материалы конференции AAAI по искусственному интеллекту. 34 (7): 13050–13057. Дои:10.1609 / aaai.v34i07.7006. ISSN 2374-3468. S2CID 208139521.

[1]

[2]

[3]

[4]

[5]

[6]