Рекомендательная система - Recommender system

Рекомендательные системы
Концепции
Методы и проблемы
Реализации
Исследование

А рекомендательная система, или система рекомендаций (иногда заменяя «система» синонимом, например, платформа или движок), является подклассом система фильтрации информации который пытается предсказать «рейтинг» или «предпочтение», которое пользователь отдает элементу.[1][2] В основном они используются в коммерческих приложениях.

Рекомендательные системы используются в различных областях и наиболее широко известны как генераторы списков воспроизведения для видео- и музыкальных сервисов, рекомендатели продуктов для интернет-магазинов или рекомендатели контента для платформ социальных сетей и рекомендатели открытого веб-контента.[3][4] Эти системы могут работать, используя один вход, например музыку, или несколько входов внутри и между платформами, такими как новости, книги и поисковые запросы. Существуют также популярные рекомендательные системы для определенных тем, таких как рестораны и онлайн Свидание. Также были разработаны рекомендательные системы для изучения исследовательских статей и экспертов,[5] сотрудники,[6] и финансовые услуги.[7]

Обзор

Рекомендательные системы обычно используют один или оба совместная фильтрация и контентная фильтрация (также известная как индивидуальный подход),[8] а также другие системы, такие как системы, основанные на знаниях. Подходы к совместной фильтрации строят модель на основе прошлого поведения пользователя (ранее приобретенные или выбранные предметы и / или числовые оценки, присвоенные этим элементам), а также аналогичных решений, принятых другими пользователями. Затем эта модель используется для прогнозирования элементов (или рейтингов для элементов), которые могут быть интересны пользователю.[9] Подходы к фильтрации на основе содержимого используют серию дискретных, предварительно помеченных характеристик элемента, чтобы рекомендовать дополнительные элементы с аналогичными свойствами.[10] Современные рекомендательные системы обычно объединяют один или несколько подходов в гибридную систему.

Различия между совместной фильтрацией и фильтрацией на основе содержимого можно продемонстрировать, сравнив две системы рекомендаций по ранней музыке: Ласт фм и Пандора Радио.

  • Last.fm создает «станцию» рекомендуемых песен, наблюдая, какие группы и отдельные треки слушал пользователь на регулярной основе, и сравнивая их с поведением слушателей другими пользователями. Last.fm будет воспроизводить треки, которых нет в библиотеке пользователя, но которые часто воспроизводятся другими пользователями со схожими интересами. Поскольку этот подход использует поведение пользователей, он является примером метода совместной фильтрации.
  • Pandora использует свойства песни или исполнителя (подмножество 400 атрибутов, предоставляемых Музыкальный Геном Проект ), чтобы засеять "станцию", воспроизводящую музыку с аналогичными свойствами. Обратная связь с пользователем используется для уточнения результатов радиостанции, ослабляя определенные атрибуты, когда пользователю «не нравится» конкретную песню, и подчеркивая другие атрибуты, когда песня «нравится» пользователю. Это пример контент-ориентированного подхода.

У каждого типа системы есть свои сильные и слабые стороны. В приведенном выше примере Last.fm требует большого количества информации о пользователе, чтобы давать точные рекомендации. Это пример холодный запуск проблема, и часто встречается в системах совместной фильтрации.[11][12][13][14][15] В то время как Pandora требует очень мало информации для запуска, она гораздо более ограничена по объему (например, она может давать только рекомендации, аналогичные исходному сиду).

Рекомендательные системы - полезная альтернатива алгоритмы поиска поскольку они помогают пользователям находить предметы, которые иначе они бы не нашли. Следует отметить, что рекомендательные системы часто реализуются с использованием поисковых систем, индексирующих нетрадиционные данные.

Рекомендательные системы были впервые упомянуты в техническом отчете как «цифровая книжная полка» в 1990 году. Юсси Карлгрен в Колумбийском университете,[16] и реализован в масштабе и проработан в технических отчетах и ​​публикациях с 1994 года Юсси Карлгреном, затем в SICS,[17][18]и исследовательские группы во главе с Пэтти Мэйс в Массачусетском технологическом институте,[19] Уилл Хилл из Bellcore,[20] и Пол Резник, также в MIT[21][22]чья работа с GroupLens была отмечена премией 2010 г. Премия ACM Software Systems.

Монтанер представил первый обзор рекомендательных систем с точки зрения интеллектуального агента.[23] Адомавичус представил новый, альтернативный обзор рекомендательных систем.[24] Herlocker предоставляет дополнительный обзор методов оценки рекомендательных систем,[25] и Beel et al. обсудили проблемы офлайн-оценок.[26] Beel et al. также предоставили обзоры литературы по имеющимся системам рекомендаций по исследовательским работам и существующим проблемам.[27][28][29]

На рекомендательные системы было выдано несколько патентов.[30][31][32][33][34]

Подходы

Совместная фильтрация

Основная статья: Совместная фильтрация
Пример совместной фильтрации на основе рейтинговой системы

Одним из широко используемых подходов к разработке рекомендательных систем является совместная фильтрация.[35] Совместная фильтрация основана на предположении, что люди, которые соглашались в прошлом, согласятся в будущем, и что им понравятся предметы того же типа, что и в прошлом. Система генерирует рекомендации, используя только информацию о профилях оценок для разных пользователей или товаров. Обнаруживая одноранговых пользователей / элементы с историей рейтингов, аналогичной текущему пользователю или элементу, они генерируют рекомендации, используя это окружение. Методы совместной фильтрации подразделяются на основанные на памяти и модельные. Хорошо известным примером подходов, основанных на памяти, является алгоритм на основе пользователя,[36] в то время как подход, основанный на моделях, является Рекомендации по отображению ядра.[37]

Ключевым преимуществом подхода совместной фильтрации является то, что он не полагается на контент, анализируемый машиной, и, следовательно, он способен точно рекомендовать сложные элементы, такие как фильмы, не требуя «понимания» самого элемента. Многие алгоритмы использовались для измерения сходства пользователей или элементов в рекомендательных системах. Например, k-ближайший сосед (k-NN) подход[38] и Корреляции Пирсона как впервые реализовано Алленом.[39]

При построении модели на основе поведения пользователя часто делается различие между явным и явным. скрытый формы сбор информации.

Примеры явного сбора данных включают следующее:

  • Просить пользователя оценить элемент по скользящей шкале.
  • Просить пользователя о поиске.
  • Просить пользователя оценить коллекцию элементов от избранных до наименее любимых.
  • Представить пользователю два предмета и попросить его выбрать лучший из них.
  • Просить пользователя создать список элементов, которые ему нравятся (см. Классификация роккио или другие подобные методы).

Примеры неявный сбор данных включая следующее:

  • Наблюдение за товарами, которые пользователь просматривает в интернет-магазине.
  • Анализ времени просмотра элемента / пользователя.[40]
  • Ведение учета товаров, которые пользователь покупает в Интернете.
  • Получение списка элементов, которые пользователь слушал или смотрел на своем компьютере.
  • Анализируя социальную сеть пользователя и обнаруживая похожие симпатии и антипатии.

Подходы к совместной фильтрации часто имеют три проблемы: холодный запуск, масштабируемость и разреженность.[41]

  • Холодный запуск: Для нового пользователя или элемента недостаточно данных, чтобы давать точные рекомендации.[11][12][13][15]
  • Масштабируемость: Во многих средах, в которых эти системы дают рекомендации, существуют миллионы пользователей и продуктов. Таким образом, для расчета рекомендаций часто требуется большая вычислительная мощность.
  • Разреженность: Количество товаров, продаваемых на крупных сайтах электронной коммерции, чрезвычайно велико. Самые активные пользователи оценили только небольшую часть всей базы данных. Таким образом, даже самые популярные товары имеют очень мало оценок.

Одним из самых известных примеров совместной фильтрации является совместная фильтрация элементов данных (люди, которые покупают x, также покупают y), алгоритм, популяризированный Amazon.com рекомендательная система.[42]

Много социальные сети изначально использовалась совместная фильтрация, чтобы рекомендовать новых друзей, группы и другие социальные связи, исследуя сеть связей между пользователем и их друзьями.[1] Совместная фильтрация по-прежнему используется как часть гибридных систем.

Контентная фильтрация

Еще один распространенный подход при разработке рекомендательных систем: контентная фильтрация. Методы фильтрации на основе содержимого основаны на описании элемента и профиле предпочтений пользователя.[43][44] Эти методы лучше всего подходят для ситуаций, когда есть известные данные об элементе (имя, местоположение, описание и т. Д.), Но не о пользователе. Основанные на содержании рекомендатели рассматривают рекомендацию как проблему классификации, специфичную для пользователя, и изучают классификатор для симпатий и антипатий пользователя на основе характеристик элемента.

В этой системе ключевые слова используются для описания товаров и Профиль пользователя построен, чтобы указать тип элемента, который нравится этому пользователю. Другими словами, эти алгоритмы пытаются рекомендовать элементы, похожие на те, которые пользователь любил в прошлом или изучает в настоящее время. Он не полагается на механизм входа пользователя в систему для создания этого часто временного профиля. В частности, различные элементы-кандидаты сравниваются с элементами, ранее оцененными пользователем, и рекомендуются наиболее подходящие элементы. Этот подход уходит корнями в поиск информации и фильтрация информации исследование.

Чтобы создать Профиль пользователя, система в основном ориентирована на два типа информации:

1. Модель предпочтений пользователя.

2. История взаимодействия пользователя с рекомендательной системой.

По сути, эти методы используют профиль элемента (т.е. набор дискретных атрибутов и функций), характеризующий элемент в системе. Чтобы абстрагироваться от характеристик элементов в системе, применяется алгоритм представления элементов. Широко используемый алгоритм - это tf – idf представление (также называемое представлением в векторном пространстве).[45] Система создает профиль пользователей на основе содержимого на основе взвешенного вектора характеристик элемента. Веса обозначают важность каждой функции для пользователя и могут быть вычислены на основе индивидуально оцененных векторов контента с использованием различных методов. Простые подходы используют средние значения вектора оцененных элементов, в то время как другие сложные методы используют методы машинного обучения, такие как Байесовские классификаторы, кластерный анализ, деревья решений, и искусственные нейронные сети чтобы оценить вероятность того, что пользователю понравится товар.[46]

Ключевой проблемой фильтрации на основе содержимого является то, может ли система узнать предпочтения пользователя на основе действий пользователей в отношении одного источника содержимого и использовать их в других типах содержимого. Когда система ограничена рекомендацией контента того же типа, который уже использует пользователь, значение из системы рекомендаций значительно меньше, чем когда можно рекомендовать другие типы контента из других служб. Например, рекомендовать новостные статьи на основе просмотра новостей полезно, но было бы гораздо полезнее, если бы можно было рекомендовать музыку, видео, продукты, обсуждения и т. Д. Из различных служб на основе просмотра новостей. Чтобы преодолеть это, большинство рекомендательных систем, основанных на содержании, теперь используют некоторую форму гибридной системы.

Рекомендательные системы, основанные на содержании, также могут включать рекомендательные системы, основанные на мнениях. В некоторых случаях пользователям разрешается оставлять текстовый обзор или отзыв об элементах. Эти созданные пользователем тексты являются неявными данными для рекомендательной системы, потому что они потенциально являются богатым ресурсом как по функциям / аспектам элемента, так и по оценке / настроению пользователей по отношению к элементу. Улучшены функции, извлеченные из пользовательских обзоров. метаданные предметов, потому что они также отражают такие аспекты предмета, как метаданные, извлеченные функции широко используются пользователями. Мнения, извлеченные из обзоров, можно рассматривать как оценки пользователей по соответствующим функциям. Популярные подходы рекомендательной системы, основанной на мнениях, используют различные методы, включая интеллектуальный анализ текста, поиск информации, анализ настроений (смотрите также Мультимодальный анализ тональности ) и глубокое обучение [47].

Многокритериальные рекомендательные системы

Многокритериальные рекомендательные системы (MCRS) можно определить как рекомендательные системы, которые включают информацию о предпочтениях по множеству критериев. Вместо разработки методов рекомендаций, основанных на единственном значении критерия, общем предпочтении пользователя u для элемента i, эти системы пытаются предсказать рейтинг для неисследованных элементов u, используя информацию о предпочтениях по множеству критериев, которые влияют на это общее значение предпочтения. Некоторые исследователи подходят к MCRS как к проблеме принятия многокритериальных решений (MCDM) и применяют методы и методы MCDM для реализации систем MCRS.[48] См. Эту главу[49] для расширенного введения.

Системы рекомендаций с учетом рисков

Большинство существующих подходов к рекомендательным системам сосредоточены на том, чтобы рекомендовать пользователям наиболее релевантный контент с использованием контекстной информации, но при этом не принимают во внимание риск побеспокоить пользователя нежелательными уведомлениями. Важно учитывать риск расстроить пользователя, выдвигая рекомендации в определенных обстоятельствах, например, во время профессиональной встречи, рано утром или поздно ночью. Таким образом, эффективность рекомендательной системы частично зависит от того, в какой степени она учла риск в процессе рекомендаций. Один из вариантов решения этой проблемы: DRARS, система, которая моделирует контекстно-зависимую рекомендацию как бандитская проблема. Эта система сочетает в себе контентную технику и контекстный алгоритм бандитов.[50]

Мобильные рекомендательные системы

Дальнейшая информация: Рекомендация на основе местоположения

Мобильные рекомендательные системы используют доступ в Интернет смартфоны предлагать персонализированные контекстно-зависимые рекомендации. Это особенно сложная область исследований, поскольку мобильные данные сложнее данных, с которыми часто приходится иметь дело рекомендательным системам. Он неоднороден, зашумлен, требует пространственной и временной автокорреляции и имеет проблемы с валидацией и общностью.[51]

Есть три фактора, которые могут повлиять на мобильные рекомендательные системы и точность результатов прогнозирования: контекст, метод рекомендации и конфиденциальность.[52] Кроме того, мобильные рекомендательные системы страдают от проблемы трансплантации - рекомендации могут применяться не во всех регионах (например, было бы неразумно рекомендовать рецепт в области, где все ингредиенты могут быть недоступны).

Одним из примеров мобильной рекомендательной системы являются подходы, применяемые такими компаниями, как Убер и Lyft для создания маршрутов движения для таксистов в городе.[51] Эта система использует данные GPS о маршрутах, по которым таксисты выбирают во время работы, включая местоположение (широту и долготу), отметки времени и рабочее состояние (с пассажирами или без них). Он использует эти данные, чтобы рекомендовать список пунктов отправления на маршруте с целью оптимизации времени занятости и прибыли.

Также были успешно созданы мобильные рекомендательные системы, использующие «Сеть данных» в качестве источника структурированной информации. Хорошим примером такой системы является SMARTMUSEUM.[53] Система использует семантическое моделирование, поиск информации и методы машинного обучения, чтобы рекомендовать контент, соответствующий интересам пользователей, даже если он представлен с разреженными или минимальными данными пользователя.

Гибридные рекомендательные системы

В большинстве рекомендательных систем сейчас используется гибридный подход, сочетающий совместная фильтрация, контентная фильтрация и другие подходы. Нет никаких причин, по которым нельзя было бы гибридизировать несколько различных техник одного типа. Гибридные подходы могут быть реализованы несколькими способами: путем раздельного прогнозирования на основе контента и на основе сотрудничества с последующим их объединением; путем добавления возможностей, основанных на содержании, к подходу, основанному на сотрудничестве (и наоборот); или объединив подходы в одну модель (см.[24] для полного обзора рекомендательных систем). Несколько исследований, которые эмпирически сравнивают производительность гибрида с чистыми методами совместной работы и методами, основанными на содержании, и продемонстрировали, что гибридные методы могут давать более точные рекомендации, чем чистые подходы. Эти методы также можно использовать для преодоления некоторых общих проблем в рекомендательных системах, таких как холодный запуск и проблема разреженности, а также узкое место инженерии знаний в основанный на знаниях подходы.[54]

Netflix является хорошим примером использования гибридных рекомендательных систем.[55] Веб-сайт дает рекомендации, сравнивая привычки просмотра и поиска похожих пользователей (т. Е. Совместная фильтрация), а также предлагая фильмы, которые имеют общие характеристики с фильмами, высоко оцененными пользователем (фильтрация на основе контента).

Некоторые методы гибридизации включают:

  • Взвешенный: Числовое объединение оценок различных компонентов рекомендации.
  • Переключение: Выбор среди рекомендательных компонентов и применение выбранного.
  • Смешанный: Рекомендации от разных рекомендателей представлены вместе, чтобы дать рекомендацию.
  • Комбинация функций: Функции, полученные из разных источников знаний, объединяются и передаются в единый алгоритм рекомендаций.
  • Расширение возможностей: Вычисление функции или набора функций, которые затем являются частью входных данных для следующего метода.
  • Каскад: Рекомендатели получают строгий приоритет, при этом те, кто с более низким приоритетом, разрывают ничью при подсчете очков с более высокими.
  • Мета-уровень: Применяется один рекомендательный метод и создается своего рода модель, которая затем используется в следующем методе.[56]

Рекомендательные системы на основе сеансов

Эти рекомендательные системы используют взаимодействия пользователя в рамках сеанса.[57]. На Youtube используются рекомендательные системы на основе сеансов. [58] и Amazon[59]. Это особенно полезно, когда история (например, прошлые клики, покупки) пользователя недоступна или не актуальна в текущем сеансе. Большинство экземпляров рекомендательных систем на основе сеансов полагаются на последовательность недавних взаимодействий в рамках сеанса, не требуя каких-либо дополнительных сведений (исторических, демографических) о пользователе. Методы рекомендаций на основе сеансов в основном основаны на генеративных последовательных моделях, таких как рекуррентные нейронные сети.[57][60], Трансформеры[61], и другие подходы, основанные на глубоком обучении[62][63]

Обучение с подкреплением для рекомендательных систем

Проблема рекомендации может рассматриваться как особый случай проблемы обучения с подкреплением, при которой пользователь является средой, в которой действует агент, система рекомендаций, чтобы получить вознаграждение, например щелчок или взаимодействие пользователя.[58][64][65] Одним из аспектов обучения с подкреплением, которое особенно полезно в области рекомендательных систем, является тот факт, что модели или политики могут быть изучены путем предоставления вознаграждения рекомендательному агенту. В отличие от традиционных методов обучения, которые основываются на подходах к обучению с учителем, которые являются менее гибкими, рекомендательные методы обучения с подкреплением позволяют потенциально обучать модели, которые могут быть оптимизированы непосредственно на основе показателей вовлеченности и интереса пользователей.[66]

Приз Netflix

Одним из событий, которые стимулировали исследования в области рекомендательных систем, было Приз Netflix. С 2006 по 2009 год Netflix спонсировал конкурс, предлагая главный приз в размере 1000000 долларов команде, которая могла взять предложенный набор данных из более чем 100 миллионов оценок фильмов и выдать рекомендации, которые были на 10% точнее, чем те, которые предлагает существующая система рекомендаций компании. Этот конкурс стимулировал поиск новых и более точных алгоритмов. 21 сентября 2009 года главный приз в размере 1 000 000 долларов США был присужден команде BellKor Pragmatic Chaos по правилам тай-брейка.[67]

Самый точный алгоритм 2007 года использовал метод ансамбля из 107 различных алгоритмических подходов, объединенных в одно предсказание. По словам победителей, Белл и др .:[68]

Точность прогнозирования существенно повышается при смешивании нескольких предикторов. Наш опыт показывает, что больше всего усилий следует сосредоточить на разработке существенно разных подходов, а не на совершенствовании единой техники. Следовательно, наше решение представляет собой совокупность многих методов.

Благодаря проекту Netflix Интернет получил множество преимуществ. Некоторые команды взяли свои технологии и применили их на других рынках. Некоторые участники команды, занявшей второе место, основали Gravity R&D, механизм рекомендаций, активный в сообществе RecSys.[67][69] 4-Tell, Inc. создала решение на основе проекта Netflix для веб-сайтов электронной коммерции.

Ряд проблем конфиденциальности возник в связи с набором данных, предлагаемым Netflix для Приз Netflix конкуренция. Хотя наборы данных были анонимизированы в целях сохранения конфиденциальности информации о клиентах, в 2007 году два исследователя из Техасского университета смогли идентифицировать отдельных пользователей, сопоставив наборы данных с рейтингами фильмов в базе данных Internet Movie Database.[70] В результате в декабре 2009 года анонимный пользователь Netflix подал на Netflix в суд по делу Doe v. Netflix, утверждая, что Netflix нарушил законы США о справедливой торговле и Закон о защите конфиденциальности видео, опубликовав наборы данных.[71] Это, а также опасения со стороны Федеральная торговая комиссия, привел к отмене второго конкурса Netflix Prize в 2010 году.[72]

Показатели эффективности

Оценка важна для оценки эффективности алгоритмов рекомендаций. Чтобы измерить эффективность рекомендательных систем, и сравнить разные подходы, три типа оценки доступны: пользовательские исследования, онлайн-оценки (A / B-тесты) и офлайн-оценки.[26]

Обычно используемые метрики - это среднеквадратичная ошибка и среднеквадратичная ошибка, последний был использован в Netflix Prize. Метрики информационного поиска, такие как точность и отзыв или же DCG полезны для оценки качества рекомендательного метода. Разнообразие, новизна и охват также считаются важными аспектами оценки.[73] Однако многие классические методы оценки подвергаются резкой критике.[74]

Исследования пользователей довольно малы. Несколько десятков или сотен пользователей получают рекомендации, созданные с помощью различных подходов к рекомендациям, а затем пользователи решают, какие рекомендации являются лучшими. В A / B-тестах рекомендации обычно показываются тысячам пользователей реального продукта, и рекомендательная система случайным образом выбирает как минимум два различных подхода к рекомендациям для создания рекомендаций. Эффективность измеряется неявными мерами эффективности, такими как коэффициент конверсии или же рейтинг кликов. Офлайн-оценки основаны на исторических данных, например набор данных, содержащий информацию о том, как пользователи ранее оценивали фильмы.[75]

Затем эффективность рекомендательных подходов измеряется на основе того, насколько хорошо рекомендательный подход может предсказать рейтинги пользователей в наборе данных. Хотя рейтинг является явным выражением того, понравился ли фильм пользователю, такая информация доступна не во всех доменах. Например, в области систем рекомендаций по цитированию пользователи обычно не оценивают цитирование или рекомендованную статью. В таких случаях офлайн-оценки могут использовать неявные меры эффективности. Например, можно предположить, что эффективна рекомендательная система, способная рекомендовать как можно больше статей, содержащихся в списке ссылок на исследовательскую статью. Однако многие исследователи считают подобные офлайн-оценки критическими.[76][77][78][26] Например, было показано, что результаты автономных оценок имеют низкую корреляцию с результатами пользовательских исследований или A / B-тестов.[78][79] Было показано, что набор данных, популярный для автономной оценки, содержит повторяющиеся данные и, таким образом, приводит к неправильным выводам при оценке алгоритмов.[80] Часто результаты так называемых автономных оценок не коррелируют с фактически оцененной удовлетворенностью пользователей.[81] Вероятно, это связано с тем, что автономное обучение сильно смещено в сторону высокодоступных элементов, а на данные автономного тестирования сильно влияют результаты модуля онлайн-рекомендаций.[76] Исследователи пришли к выводу, что к результатам офлайн-оценок следует относиться критически.

За пределами точности

Обычно исследование рекомендательных систем направлено на поиск наиболее точных алгоритмов рекомендаций. Однако есть ряд факторов, которые также важны.

  • Разнообразие - Пользователи, как правило, больше удовлетворяются рекомендациями, когда существует большее разнообразие внутри списков, например предметы от разных художников.[82]
  • Настойчивость рекомендателя - В некоторых ситуациях эффективнее повторно показать рекомендации,[83] или позволить пользователям переоценивать товары,[84] чем показывать новинки. На это есть несколько причин. Пользователи могут игнорировать элементы, когда они отображаются в первый раз, например, потому что у них не было времени внимательно изучить рекомендации.
  • Конфиденциальность - Рекомендательным системам обычно приходится иметь дело с проблемами конфиденциальности.[85] потому что пользователи должны раскрывать конфиденциальную информацию. Строительство профили пользователей использование совместной фильтрации может быть проблематичным с точки зрения конфиденциальности. Многие европейские страны имеют сильную культуру конфиденциальность данных, и каждая попытка представить любой уровень пользователя профилирование может привести к отрицательному отклику клиента. В этой области было проведено много исследований по текущим вопросам конфиденциальности. В Приз Netflix особенно примечателен подробной личной информацией, опубликованной в его наборе данных. Рамакришнан и др. провели обширный обзор компромиссов между персонализацией и конфиденциальностью и обнаружили, что сочетание слабых связей (неожиданное соединение, которое дает случайные рекомендации) и других источников данных можно использовать для раскрытия личности пользователей в анонимизированном наборе данных.[86] Более того, результаты эмпирического исследования Mican et al. указывают на то, что рекомендации воспринимаются как полезные, и существенно влияют на степень согласия пользователей с поставщиком системы рекомендаций на сбор, хранение и использование их данных. В результате была предложена новая модель прогнозирования отношения пользователей к конфиденциальности данных в рекомендательных системах. [87].
  • Демографические данные пользователей - Beel et al. обнаружили, что демографические данные пользователей могут влиять на то, насколько пользователи удовлетворены рекомендациями.[88] В своей статье они показывают, что пожилые пользователи, как правило, больше заинтересованы в рекомендациях, чем молодые.
  • Надежность - Когда пользователи могут участвовать в системе рекомендаций, необходимо решить проблему мошенничества.[89]
  • Интуитивная прозорливость – Интуитивная прозорливость это мера того, «насколько удивительны рекомендации».[90] Например, система рекомендаций, которая рекомендует молоко покупателю в продуктовом магазине, может быть совершенно точной, но это не очень хорошая рекомендация, потому что это очевидный товар для покупателя.
  • Доверять - Рекомендательная система не имеет большого значения для пользователя, если он не доверяет системе.[91] Доверие можно создать с помощью рекомендательной системы, объяснив, как она генерирует рекомендации и почему рекомендует тот или иной предмет.
  • Маркировка - Удовлетворенность пользователей рекомендациями может зависеть от маркировки рекомендаций.[92] Например, в цитируемом исследовании рейтинг кликов (CTR) для рекомендаций с пометкой «Спонсируемые» были ниже (CTR = 5,93%), чем CTR для идентичных рекомендаций с пометкой «Органические» (CTR = 8,86%). Рекомендации без маркировки показали себя наилучшим образом (CTR = 9,87%) в этом исследовании.

Кризис воспроизводимости

На сферу рекомендательных систем повлияли кризис репликации также. Анализ публикаций, применяющих глубокое обучение или нейронные методы к проблеме топ-k рекомендаций, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys), показал, что в среднем менее 40% статей воспроизводятся авторами учатся, а на некоторых конференциях - всего 14%. В целом исследование выявило 18 статей, 7 из них могут быть воспроизведены, а 6 из них могут быть лучше старых, правильно настроенных базовых показателей.[93] В другой статье той же группы тестируются методы в области рекомендательных систем с учетом последовательностей.[94]Более поздняя работа по тестированию набора тех же методов привела к качественно очень разным результатам.[95] в результате нейронные методы были признаны одними из самых эффективных. Кроме того, нейронные методы и методы глубокого обучения широко используются в промышленности, где они тщательно тестируются.[96][58][59]Тема воспроизводимости не нова, в 2011 г. Ekstrand, Konstan, et al. постулировал, что «в настоящее время трудно воспроизвести и расширить результаты исследования рекомендательных систем» и что оценки «не обрабатываются последовательно».[97] Констан и Адомавичус заключают, что «сообщество исследователей рекомендующих систем столкнулось с кризисом, когда в значительном количестве статей представлены результаты, которые мало способствуют накоплению коллективных знаний […] часто из-за того, что исследованию не хватает […] оценки для правильной оценки и, следовательно, чтобы внести значимый вклад ".[98] Как следствие, многие исследования рекомендательных систем можно рассматривать как невоспроизводимые.[99] Следовательно, операторы рекомендательных систем не находят в текущих исследованиях особых указаний для ответа на вопрос, какие рекомендательные подходы использовать в рекомендательных системах. Said & Bellogín провели исследование статей, опубликованных в данной области, а также провели сравнительный анализ некоторых из самых популярных систем для рекомендаций и обнаружили значительные несоответствия в результатах, даже когда использовались одни и те же алгоритмы и наборы данных.[100] Некоторые исследователи продемонстрировали, что незначительные вариации в алгоритмах рекомендаций или сценариях приводят к сильным изменениям в эффективности рекомендательной системы. Они пришли к выводу, что для улучшения текущей ситуации необходимо семь действий:[99] "(1) изучите другие области исследований и извлеките уроки из них, (2) найдите общее понимание воспроизводимости, (3) определите и поймите детерминанты, которые влияют на воспроизводимость, (4) проведите более всесторонние эксперименты (5) модернизируйте методы публикации, ( 6) способствовать развитию и использованию рамок рекомендаций и (7) устанавливать руководящие принципы передовой практики для исследования рекомендательных систем ».

Смотрите также

Рекомендации

  1. ^ а б Франческо Риччи, Лиор Рокач и Браха Шапира, Введение в справочник рекомендательных систем, Справочник по рекомендательным системам, Springer, 2011 г., стр. 1-35.
  2. ^ "Плейбой: лидерство в двигателях рекомендаций - ВРЕМЯ". TIME.com. 27 мая 2010 г.. Получено 1 июня 2015.
  3. ^ Панкадж Гупта, Ашиш Гоэль, Джимми Лин, Аниш Шарма, Донг Ван и Реза Босаг Заде WTF: Система отслеживания подписчиков в Twitter, Материалы 22-й международной конференции по всемирной паутине
  4. ^ Баран, Ремигиуш; Дзех, Анджей; Зея, Анджей (2018-06-01). «Платформа для обнаружения мультимедийного контента, основанная на анализе визуального контента и интеллектуальном обогащении данных». Мультимедийные инструменты и приложения. 77 (11): 14077–14091. Дои:10.1007 / s11042-017-5014-1. ISSN  1573-7721.
  5. ^ Х. Чен, А. Г. Орорбия II, К. Л. Джайлс ExpertSeer: экспертный советник для электронных библиотек на основе ключевых фраз, в препринте arXiv 2015
  6. ^ Х. Чен, Л. Гоу, Х. Чжан, К. Джайлс Collabseer: поисковая система для открытия совместной работы, в Совместной конференции ACM / IEEE по электронным библиотекам (JCDL) 2011 г.
  7. ^ Александр Фелферниг, Клаус Исак, Кальман Сабо, Питер Захар, Среда поддержки продаж VITA Financial Services, в AAAI / IAAI 2007, стр. 1692-1699, Ванкувер, Канада, 2007.
  8. ^ Хосейн Джафаркарими; A.T.H. Сим и Р. Саадатдост Модель наивных рекомендаций для больших баз данных, Международный журнал информационных и образовательных технологий, июнь 2012 г.
  9. ^ Прем Мелвилл и Викас Синдвани, Рекомендательные системы, Энциклопедия машинного обучения, 2010.
  10. ^ Р. Дж. Муни и Л. Рой (1999). Рекомендации книг на основе содержания с использованием обучения для категоризации текста. В Мастерской Рекоменд. Sys .: Algo. и оценка.
  11. ^ а б ЧенХунг-Сюань; ChenPu (09.01.2019). «Дифференциация весов регуляризации - простой механизм для облегчения холодного старта в рекомендательных системах». Транзакции ACM при обнаружении знаний из данных (TKDD). 13: 1–22. Дои:10.1145/3285954. S2CID  59337456.
  12. ^ а б Рубенс, Нил; Элахи, Мехди; Сугияма, Масаси; Каплан, Дайн (2016). «Активное обучение в рекомендательных системах». В Риччи, Франческо; Рокач, Лиор; Шапира, Браха (ред.). Справочник рекомендательных систем (2-е изд.). Springer США. Дои:10.1007/978-1-4899-7637-6_24. ISBN  978-1-4899-7637-6.
  13. ^ а б Элахи, Мехди; Риччи, Франческо; Рубенс, Нил (2016). «Обзор активного обучения в рекомендательных системах для совместной фильтрации». Обзор компьютерных наук. 20: 29–50. Дои:10.1016 / j.cosrev.2016.05.002.
  14. ^ Эндрю И. Шайн, Александрин Папескул, Лайл Х. Ангар, Дэвид М. Пеннок (2002). Методы и показатели для рекомендаций по холодному запуску. Материалы 25-го ежегодного международного ACM СИГИР Конференция по исследованиям и разработкам в области информационного поиска (SIGIR 2002). : ACM. стр.253–260. ISBN  1-58113-561-0. Получено 2008-02-02.CS1 maint: несколько имен: список авторов (связь)
  15. ^ а б Би, Сюань; Ку, Энни; Ван, Цзюньхуэй; Шен, Сяотун (2017). "Групповая рекомендательная система". Журнал Американской статистической ассоциации. 112 (519): 1344–1353.
  16. ^ Карлгрен, Юсси. 1990. "Алгебра рекомендаций". Рабочий документ Syslab 179 (1990).
  17. ^ Карлгрен, Юсси. "Кластеризация групп новостей на основе поведения пользователей - алгебра рекомендаций. »Отчет об исследованиях SICS (1994).
  18. ^ Карлгрен, Юсси (октябрь 2017 г.). «Цифровая книжная полка: оригинальные работы над рекомендательными системами». Получено 27 октября 2017.
  19. ^ Шардананд, Упендра и Патти Мэйс. "Фильтрация социальной информации: алгоритмы автоматизации «молвы». "В материалах конференции SIGCHI по человеческому фактору в вычислительных системах, стр. 210-217. ACM Press / Addison-Wesley Publishing Co., 1995.
  20. ^ Хилл, Уилл, Ларри Стед, Марк Розенштейн и Джордж Фурнас. "Рекомендации и оценка вариантов в виртуальном сообществе пользователей. "В материалах конференции SIGCHI по человеческому фактору в вычислительных системах, стр. 194-201. ACM Press / Addison-Wesley Publishing Co., 1995.
  21. ^ Резник, Пол, Неофитос Якову, Митеш Сучак, Петер Бергстрем и Джон Ридл. "GroupLens: открытая архитектура для совместной фильтрации сетевых новостей. "В материалах конференции ACM 1994 г., посвященной совместной работе с компьютерной поддержкой, стр. 175-186. ACM, 1994.
  22. ^ Резник, Пол и Хэл Р. Вариан. «Рекомендательные системы». Коммуникации ACM 40, no. 3 (1997): 56-58.
  23. ^ Montaner, M .; Lopez, B .; де ла Роса, Дж. Л. (июнь 2003 г.). «Таксономия рекомендательных агентов в Интернете». Обзор искусственного интеллекта. 19 (4): 285–330. Дои:10.1023 / А: 1022850703159. S2CID  16544257..
  24. ^ а б Adomavicius, G .; Тужилин, А. (июнь 2005 г.). «К следующему поколению рекомендательных систем: обзор современного состояния и возможных расширений». IEEE Transactions по разработке знаний и данных. 17 (6): 734–749. CiteSeerX  10.1.1.107.2790. Дои:10.1109 / TKDE.2005.99. S2CID  206742345..
  25. ^ Herlocker, J. L .; Konstan, J. A .; Terveen, L.G .; Ридл, Дж. Т. (январь 2004 г.). «Оценка рекомендательных систем совместной фильтрации». ACM Trans. Инф. Syst. 22 (1): 5–53. CiteSeerX  10.1.1.78.8384. Дои:10.1145/963770.963772. S2CID  207731647..
  26. ^ а б c Beel, J .; Genzmehr, M .; Гипп, Б. (октябрь 2013 г.). «Сравнительный анализ автономных и онлайн-оценок и обсуждение оценки системы рекомендаций» (PDF). Труды семинара по воспроизводимости и репликации в оценке рекомендательных систем (RepSys) на конференции ACM Recommender System Conference (RecSys).
  27. ^ Beel, J .; Langer, S .; Genzmehr, M .; Gipp, B .; Брайтингер, К. (октябрь 2013 г.). "Оценка системы рекомендаций по исследовательским работам: количественный обзор литературы" (PDF). Труды семинара по воспроизводимости и репликации в оценке рекомендательных систем (RepSys) на конференции ACM Recommender System Conference (RecSys).
  28. ^ Beel, J .; Gipp, B .; Langer, S .; Брайтингер, К. (26 июля 2015 г.). «Рекомендательные системы для исследовательских работ: обзор литературы». Международный журнал электронных библиотек. 17 (4): 305–338. Дои:10.1007 / s00799-015-0156-0. S2CID  207035184.
  29. ^ Waila, P .; Singh, V .; Сингх М. (26 апреля 2016 г.). «Наукометрический анализ исследований в рекомендательных системах» (PDF). Журнал наукометрических исследований. 5: 71–84. Дои:10.5530 / jscires.5.1.10.
  30. ^ Стек, Чарльз. "Система и метод рекомендации товаров и услуг на основе зарегистрированной истории покупок. »Патент США 7 222 085, выданный 22 мая 2007 г.
  31. ^ Герц, Фредерик С.М. «Электронные газеты и реклама по индивидуальному заказу». Патент США 7,483,871, выдан 27 января 2009 г.
  32. ^ Герц, Фредерик, Лайл Унгар, Цзян Чжан и Дэвид Вачоб. "Система и метод предоставления доступа к данным с использованием профилей клиентов. »Патент США 8056100, выдан 8 ноября 2011 г.
  33. ^ Харбик, Эндрю В., Райан Дж. Снодграсс и Джоэл Р. Шпигель. "Обнаружение похожих цифровых произведений и авторов работ на основе плейлистов. »Патент США 8,468,046, выданный 18 июня 2013 г.
  34. ^ Линден, Грегори Д., Брент Рассел Смит и Нида К. Зада. "Автоматическое обнаружение и выявление основанных на поведении отношений между просматриваемыми элементами. »Патент США 9,070,156, выданный 30 июня 2015 г.
  35. ^ Джон С. Бриз; Дэвид Хекерман и Карл Кэди (1998). Эмпирический анализ алгоритмов прогнозирования для совместной фильтрации. В материалах четырнадцатой конференции по неопределенности в искусственном интеллекте (UAI'98). arXiv:1301.7363.
  36. ^ Бриз, Джон С .; Хекерман, Дэвид; Кэди, Карл (1998). Эмпирический анализ алгоритмов прогнозирования для совместной фильтрации (PDF) (Отчет). Microsoft Research.
  37. ^ Газанфар, Мустансар Али; Прюгель-Беннетт, Адам; Сзедмак, Шандор (15.11.2012). "Алгоритмы системы Kernel-Mapping Recommender". Информационные науки. 208: 81–104. CiteSeerX  10.1.1.701.7729. Дои:10.1016 / j.ins.2012.04.012.
  38. ^ Sarwar, B .; Karypis, G .; Konstan, J .; Ридл, Дж. (2000). «Применение уменьшения размерности в рекомендательной системе - пример».,
  39. ^ Аллен, Р. Б. (1990). «Пользовательские модели: теория, метод, практика». Международный J. Человеко-машинные исследования. Цитировать журнал требует | журнал = (помощь)
  40. ^ Parsons, J .; Ralph, P .; Галлахер, К. (июль 2004 г.). «Использование времени просмотра для определения пользовательских предпочтений в рекомендательных системах». Семинар AAAI по персонализации семантической сети, Сан-Хосе, Калифорния. Цитировать журнал требует | журнал = (помощь).
  41. ^ Сангхак Ли, Джихун Ян и Пак Сон Ён, Обнаружение скрытого сходства при совместной фильтрации для преодоления проблемы разреженности, Discovery Science, 2007.
  42. ^ Совместные рекомендации с использованием сопоставлений сходства элементов данных В архиве 2015-03-16 на Wayback Machine
  43. ^ Аггарвал, Чару С. (2016). Рекомендательные системы: Учебник. Springer. ISBN  9783319296579.
  44. ^ Петр Брусиловский (2007). Адаптивный Интернет. п.325. ISBN  978-3-540-72078-2.
  45. ^ D.H. Wang, Y.C. Лян, Д. Сюй, X.Y. Фэн, Р. Гуань (2018) "Контентная рекомендательная система для публикаций по информатике ", Системы, основанные на знаниях, 157: 1-9
  46. ^ Бланда, Стефани (25 мая 2015 г.). «Системы онлайн-рекомендаций - как веб-сайт узнает, что я хочу?». Американское математическое общество. Получено 31 октября, 2016.
  47. ^ X.Y. Фэн, Х. Чжан, Й.Дж. Рен, П.Х. Шан, Ю. Чжу, Ю.С. Лян, Р. Гуань Д. Сюй (2019 г.) "Рекомендательная система «Pubmender» на основе глубокого обучения для выбора места публикации биомедицинских публикаций: исследование разработки и проверки ", Журнал медицинских интернет-исследований, 21 (5): e12957
  48. ^ Лакиотаки, К .; Мацацини; Цукиас, А (март 2011 г.). «Многокритериальное пользовательское моделирование в рекомендательных системах». Интеллектуальные системы IEEE. 26 (2): 64–76. CiteSeerX  10.1.1.476.6726. Дои:10.1109 / mis.2011.33. S2CID  16752808.
  49. ^ Гедиминас Адомавичюс, Никос Мануселис, YoungOk Kwon. «Многокритериальные рекомендательные системы» (PDF). Архивировано из оригинал (PDF) на 30.06.2014.CS1 maint: использует параметр авторов (связь)
  50. ^ Бунефуф, Джаллель (2013), DRARS, динамическая система рекомендаций с учетом рисков (Доктор философии), Национальный институт телекоммуникаций
  51. ^ а б Юн Гэ; Хуэй Сюн; Александр Тужилин; Кели Сяо; Марко Грутезер; Майкл Дж. Паццани (2010). Энергоэффективная мобильная рекомендательная система (PDF). Материалы 16-й Международной конференции ACM SIGKDD. по обнаружению знаний и интеллектуальному анализу данных. Нью-Йорк, Нью-Йорк: ACM. стр. 899–908. Получено 2011-11-17.
  52. ^ Пименидис, Элиас; Полатидис, Николаос; Муратидис, Хараламбос (3 августа 2018 г.). «Мобильные рекомендательные системы: определение основных концепций». Журнал информатики. 45 (3): 387–397. arXiv:1805.02276. Дои:10.1177/0165551518792213. S2CID  19209845.
  53. ^ Туукка Руотсало; Кристер Хаав; Антоний Стоянов; Сильвен Рош; Елена Фани; Ромина Делай; Эту Мякеля; Томи Кауппинен; Ээро Хивёнен (2013). «SMARTMUSEUM: мобильная рекомендательная система для Интернета данных». Веб-семантика: наука, услуги и агенты во всемирной паутине. 20: 657–662. CiteSeerX  10.1.1.676.7109. Дои:10.1016 / j.websem.2013.03.001.
  54. ^ Ринке Хекстра, Узкое место реинжиниринга знаний, Семантическая сеть - взаимодействие, удобство использования, применимость 1 (2010) 1, IOS Press
  55. ^ Гомес-Урибе, Карлос А .; Хант, Нил (28 декабря 2015 г.). "Рекомендательная система Netflix". ACM-транзакции в управляющих информационных системах. 6 (4): 1–19. Дои:10.1145/2843948.
  56. ^ Робин Берк, Гибридные веб-рекомендательные системы В архиве 2014-09-12 в Wayback Machine, стр. 377-408, The Adaptive Web, Питер Брусиловский, Альфред Кобса, Вольфганг Нейдл (ред.), Lecture Notes in Computer Science, Springer-Verlag, Berlin, Germany, Lecture Notes in Computer Science, Vol. 4321, май 2007 г., 978-3-540-72078-2.
  57. ^ а б Хидаси, Балаж; Карацоглу, Александрос; Балтрунас, Линас; Тикк, Домонкос (29 марта 2016 г.). «Рекомендации на основе сеанса с рекуррентными нейронными сетями». arXiv: 1511.06939 [cs].
  58. ^ а б c Чен, Минмин; Бейтель, Алекс; Ковингтон, Пол; Джайн, Сагар; Беллетти, Франсуа; Чи, Эд. "Коррекция Top-K Off-policy для рекомендательной системы REINFORCE". arXiv: 1812.02353 [cs].
  59. ^ а б Ифэй, Ма; Нараянасвами, Балакришнан; Хайбин, Линь; Хао, Дин. «Временно-контекстная рекомендация в реальном времени». KDD '20: Материалы 26-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных. Ассоциация вычислительной техники.
  60. ^ Хидаси, Балаж; Карацоглу, Александрос (17.10.2018). «Рекуррентные нейронные сети с максимальным выигрышем для рекомендаций на основе сеансов». Материалы 27-й Международной конференции ACM по управлению информацией и знаниями. ЦИКМ '18. Турин, Италия: Ассоциация вычислительной техники: 843–852. Дои:10.1145/3269206.3271761. ISBN  978-1-4503-6014-2.
  61. ^ Канг, Ван-Ченг; Маколи, Джулиан. «Самостоятельная последовательная рекомендация». arXiv: 1808.09781 [cs].
  62. ^ Ли, Цзин; Рен, Пэнцзе; Чен, Жумин; Рен, Чжаочунь; Лиан, Дао; Ма, июнь (2017-11-06). «Рекомендация на основе сеанса нейронного внимания». Материалы конференции ACM 2017 по управлению информацией и знаниями. ЦИКМ '17. Сингапур, Сингапур: Ассоциация вычислительной техники: 1419–1428. Дои:10.1145/3132847.3132926. ISBN  978-1-4503-4918-5.
  63. ^ Лю, Цяо; Цзэн, Ифу; Мохози, Рефуо; Чжан, Хайбинь (19.07.2018). «ШТАМП: Модель краткосрочного внимания / приоритета памяти для рекомендаций на основе сеанса». Материалы 24-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных. КДД '18. Лондон, Соединенное Королевство: Ассоциация вычислительной техники: 1831–1839. Дои:10.1145/3219819.3219950. ISBN  978-1-4503-5552-0.
  64. ^ Синь, Синь; Карацоглу, Александрос; Арапакис, Иоаннис; Хосе, Джемон. «Самоконтролируемое обучение с подкреплением для рекомендательных систем». arXiv: 2006.05779 [cs].
  65. ^ Т.е., Евгений; Джайн, Вихан; Нарвекар, Санмит; Агарвал, Ритеш; Ву, Руи; Ченг, Хэн-Цзы; Чандра, Тушар; Бутилье, Крейг. «SlateQ: управляемая декомпозиция для обучения с подкреплением с помощью наборов рекомендаций». Труды Двадцать восьмой Международной совместной конференции по искусственному интеллекту (IJCAI-19).
  66. ^ Цзоу, Лисинь; Ся, Лонг; Дин, Чжуое; Песня, Цзясин; Лю, Вэйдун; Инь, Давэй. «Обучение с подкреплением для оптимизации долгосрочного взаимодействия с пользователем в рекомендательных системах». KDD '19: Материалы 25-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных.
  67. ^ а б Лор, Стив. "Сделка на 1 миллион долларов на исследования для Netflix и, возможно, модель для других". Нью-Йорк Таймс.
  68. ^ Р. Белл; Ю. Корен; К. Волинский (2007). «Решение BellKor для конкурса Netflix Prize» (PDF).
  69. ^ Бодоки, Томас (2009-08-06). "Mátrixfaktorizáció один миллион долларов". Индекс.
  70. ^ Восстание хакеров Netflix В архиве 24 января 2012 г. Wayback Machine
  71. ^ "Netflix раскрыл секрет вашей горбатой горы, иски". ПРОВОДНОЙ. 17 декабря 2009 г.. Получено 1 июня 2015.
  72. ^ «Обновление приза Netflix». Форум премии Netflix. 12 марта 2010 г.
  73. ^ Латия, Н., Хейлс, С., Капра, Л., Аматриан, X .: Временное разнообразие в рекомендательных системах. В: Материалы 33-й Международной конференции ACMSIGIR по исследованиям и разработкам в области информационного поиска, SIGIR 2010, стр. 210–217. ACM, Нью-Йорк
  74. ^ Терпин, Эндрю Х, Херш, Уильям (2001). «Почему оценка партии и пользователя не дает одинаковых результатов». Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска. С. 225–231.CS1 maint: несколько имен: список авторов (связь)
  75. ^ "Набор данных MovieLens". 2013-09-06.
  76. ^ а б ЧенХунг-Сюань; ChungChu-An; Хуан Синь-Цзянь; TsuiWen (2017-09-01). «Общие ошибки в обучении и оценке рекомендательных систем». Информационный бюллетень ACM SIGKDD Explorations. 19: 37–45. Дои:10.1145/3137597.3137601. S2CID  10651930.
  77. ^ Яннах, Дитмар; Лерче, Лукас; Гедикли, Фатих; Боннин, Джеффрей (10.06.2013). Карберри, Сандра; Вейбельцаль, Стефан; Микарелли, Алессандро; Семераро, Джованни (ред.). Пользовательское моделирование, адаптация и персонализация. Конспект лекций по информатике. Springer Berlin Heidelberg. стр.25 –37. CiteSeerX  10.1.1.465.96. Дои:10.1007/978-3-642-38844-6_3. ISBN  9783642388439.
  78. ^ а б Терпин, Эндрю Х .; Херш, Уильям (2001-01-01). Почему пакетная и пользовательская оценки не дают одинаковых результатов. Материалы 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска. СИГИР '01. Нью-Йорк, Нью-Йорк, США: ACM. стр.225–231. CiteSeerX  10.1.1.165.5800. Дои:10.1145/383952.383992. ISBN  978-1581133318. S2CID  18903114.
  79. ^ Лангер, Стефан (14 сентября 2015 г.). «Сравнение автономных оценок, онлайн-оценок и пользовательских исследований в контексте рекомендательных систем для исследовательских работ». В Капидакисе, Сарантосе; Мазурек, Цезары; Верла, Марцин (ред.). Исследования и передовые технологии для электронных библиотек. Конспект лекций по информатике. 9316. Издательство Springer International. С. 153–168. Дои:10.1007/978-3-319-24592-8_12. ISBN  9783319245911.
  80. ^ Басаран, Даниэль; Нтуци, Эйрини; Зимек, Артур (2017). Материалы Международной конференции SIAM 2017 по интеллектуальному анализу данных. С. 390–398. Дои:10.1137/1.9781611974973.44. ISBN  978-1-61197-497-3.
  81. ^ Бил, Джоран; Гензмехр, Марсель; Лангер, Стефан; Нюрнбергер, Андреас; Гипп, Бела (01.01.2013). Сравнительный анализ автономных и онлайн-оценок и обсуждение оценки рекомендательной системы исследовательских работ. Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем. RepSys '13. Нью-Йорк, Нью-Йорк, США: ACM. С. 7–14. CiteSeerX  10.1.1.1031.973. Дои:10.1145/2532508.2532511. ISBN  9781450324656. S2CID  8202591.
  82. ^ Зиглер, К.Н., Макни, С.М., Констан, Дж. А. и Лаузен, Г. (2005). «Улучшение списков рекомендаций за счет диверсификации тем». Материалы 14-й международной конференции по всемирной паутине. С. 22–32.CS1 maint: несколько имен: список авторов (связь)
  83. ^ Джоран Бил; Стефан Лангер; Марсель Гензмехр; Андреас Нюрнбергер (сентябрь 2013 г.). «Настойчивость в рекомендательных системах: давать одни и те же рекомендации одним и тем же пользователям несколько раз» (PDF). В Тронд-Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013). Конспект лекций по информатике (LNCS). 8092. Springer. стр. 390–394. Получено 1 ноября 2013.
  84. ^ Cosley, D., Lam, S.K., Albert, I., Konstan, J.A., Riedl, {J}. (2003). «Видишь, веришь ?: как интерфейсы рекомендательной системы влияют на мнение пользователей» (PDF). Материалы конференции SIGCHI по человеческому фактору в вычислительных системах. С. 585–592. S2CID  8307833.CS1 maint: несколько имен: список авторов (связь)
  85. ^ {P} u, {P}., {C} курица, {L}., {H} u, {R}. (2012). «Оценка рекомендательных систем с точки зрения пользователя: обзор современного состояния» (PDF). Пользовательское моделирование и взаимодействие с пользователем: 1–39.CS1 maint: несколько имен: список авторов (связь)
  86. ^ Нарен Рамакришнан; Бенджамин Дж. Келлер; Батул Дж. Мирза; Анант Й. Грама; Джордж Карипис (2001). Риски конфиденциальности в рекомендательных системах. Интернет-вычисления IEEE. 5. Пискатауэй, штат Нью-Джерси: Департамент образовательной деятельности IEEE. стр.54–62. CiteSeerX  10.1.1.2.2932. Дои:10.1109/4236.968832. ISBN  978-1-58113-561-9.
  87. ^ Микан, Даниэль; Ситар-Таут, Дан-Андрей; Моисеску, Овидиу-Иоан (01.12.2020). «Воспринимаемая полезность: серебряная пуля для обеспечения доступности пользовательских данных для систем онлайн-рекомендаций». Системы поддержки принятия решений. 139: 113420. Дои:10.1016 / j.dss.2020.113420. ISSN  0167-9236.
  88. ^ Джоран Бил; Стефан Лангер; Андреас Нюрнбергер; Марсель Гензмехр (сентябрь 2013 г.). «Влияние демографии (возраста и пола) и других характеристик пользователей на оценку рекомендательных систем» (PDF). В Тронд-Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013). Springer. стр. 400–404. Получено 1 ноября 2013.
  89. ^ {K} onstan, {J}. {A}., {R} iedl, {J}. (2012). «Рекомендательные системы: от алгоритмов до пользовательского опыта» (PDF). Пользовательское моделирование и взаимодействие с пользователем. 22 (1–2): 1–23. Дои:10.1007 / s11257-011-9112-x. S2CID  8996665.CS1 maint: несколько имен: список авторов (связь)
  90. ^ {R} icci, {F}., {R} okach, {L}., {S} hapira, {B}., {K} antor {B}. {П}. (2011). «Справочник рекомендательных систем». Справочник рекомендательных систем: 1–35.CS1 maint: несколько имен: список авторов (связь)
  91. ^ Монтанер, Микель, Ло Пез, Беатрис, де ла Роса, Хосеп Лью (2002). «Развитие доверия к рекомендательным агентам». Труды первой международной совместной конференции по автономным агентам и мультиагентным системам: часть 1. С. 304–305.CS1 maint: несколько имен: список авторов (связь)
  92. ^ Бил, Джоран, Лангер, Стефан, Гензмер, Марсель (сентябрь 2013 г.). «Рекламные и органические (исследовательские работы) рекомендации и влияние маркировки» (PDF). В Тронд-Ольберге; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Материалы 17-й Международной конференции по теории и практике электронных библиотек (TPDL 2013). стр. 395–399. Получено 2 декабря 2013.CS1 maint: несколько имен: список авторов (связь)
  93. ^ Феррари Дакрема, Маурицио; Кремонези, Паоло; Яннах, Дитмар (2019). «Действительно ли мы делаем большой прогресс? Тревожный анализ недавних подходов к нейронным рекомендациям». Материалы 13-й конференции ACM по рекомендательным системам. ACM: 101–109. arXiv:1907.06902. Дои:10.1145/3298689.3347058. HDL:11311/1108996. ISBN  9781450362436. S2CID  196831663. Получено 16 октября 2019.
  94. ^ Людвиг, Мальте; Мауро, Ноэми; Латифи, Сара; Яннах, Дитмар (2019). «Сравнение производительности нейронного и ненейронного подходов к рекомендации на основе сеанса». Материалы 13-й конференции ACM по рекомендательным системам. ACM: 462–466. Дои:10.1145/3298689.3347041. ISBN  9781450362436. Получено 16 октября 2019.
  95. ^ Сунь, Чжу; Ю, Ди; Фанг, Хуэй; Ян, Цзе; Цюй, Синхуа; Чжан, Цзе; Гэн, Конг. «Тщательно ли мы проводим оценку? Рекомендации по сравнительному анализу для воспроизводимой оценки и объективного сравнения». RecSys '20: четырнадцатая конференция ACM по рекомендательным системам. ACM.
  96. ^ Ив Раймон, Джастин Базилико Глубокое обучение для рекомендательных систем, Саммит SF 2018 по переработке глубокого обучения
  97. ^ Экстранд, Майкл Д .; Людвиг, Майкл; Констан, Джозеф А .; Ридл, Джон Т. (01.01.2011). Переосмысление экосистемы рекомендательных исследований: воспроизводимость, открытость и LensKit. Материалы пятой конференции ACM по рекомендательным системам. RecSys '11. Нью-Йорк, Нью-Йорк, США: ACM. С. 133–140. Дои:10.1145/2043932.2043958. ISBN  9781450306836. S2CID  2215419.
  98. ^ Констан, Джозеф А .; Адомавичюс, Гедиминас (01.01.2013). На пути к выявлению и внедрению передовых методов исследования систем алгоритмических рекомендаций. Материалы международного семинара по воспроизводимости и репликации в оценке рекомендательных систем. RepSys '13. Нью-Йорк, Нью-Йорк, США: ACM. С. 23–28. Дои:10.1145/2532508.2532513. ISBN  9781450324656. S2CID  333956.
  99. ^ а б Брайтингер, Коринна; Лангер, Стефан; Ломматч, Андреас; Гипп, Бела (2016-03-12). «На пути к воспроизводимости в исследованиях рекомендательных систем». Пользовательское моделирование и взаимодействие с пользователем. 26 (1): 69–101. Дои:10.1007 / s11257-016-9174-х. ISSN  0924-1868. S2CID  388764.
  100. ^ Сказал, Алан; Беллогин, Алехандро (2014-10-01). Сравнительная оценка рекомендательной системы: рекомендации по сравнительному анализу. Материалы 8-й конференции ACM по рекомендательным системам. RecSys '14. Нью-Йорк, Нью-Йорк, США: ACM. С. 129–136. Дои:10.1145/2645710.2645746. HDL:10486/665450. ISBN  9781450326681. S2CID  15665277.

дальнейшее чтение

Книги

Ким Фальк (январь 2019 г.), Системы практических рекомендаций, Manning Publications, ISBN  9781617292705

Научные статьи

внешняя ссылка