Совместная фильтрация - Википедия - Collaborative filtering

На этом изображении показан пример прогнозирования рейтинга пользователя с помощью совместный фильтрация. Сначала люди оценивают разные предметы (например, видео, изображения, игры). После этого система производит предсказания о рейтинге пользователя для товара, который пользователь еще не оценил. Эти прогнозы основаны на существующих рейтингах других пользователей, которые имеют аналогичные оценки с активным пользователем. Например, в нашем случае система сделала прогноз, что активному пользователю видео не понравится.

Совместная фильтрация (CF) - метод, используемый рекомендательные системы.^[1] У совместной фильтрации есть два смысла: узкое и более общее.^[2]

В более новом, более узком смысле, совместная фильтрация - это метод автоматического предсказания (фильтрация) об интересах Пользователь путем сбора предпочтений или вкус информация из много пользователей (сотрудничает). В основе подхода совместной фильтрации лежит предположение, что если человек А имеет то же мнение, что и человек B Что касается вопроса, то A с большей вероятностью будет иметь мнение B по другому вопросу, чем мнение случайно выбранного человека. Например, система рекомендаций совместной фильтрации для телевидение вкусы могут предсказывать, какое телешоу должно понравиться пользователю, учитывая частичный список вкусов этого пользователя (нравится или не нравится).^[3] Обратите внимание, что эти прогнозы относятся к конкретному пользователю, но используют информацию, полученную от многих пользователей. Это отличается от более простого подхода к средний (неспецифическая) оценка для каждого интересующего элемента, например, на основе количества голосов.

В более общем смысле совместная фильтрация - это процесс фильтрации информации или шаблонов с использованием методов, предполагающих сотрудничество между несколькими агентами, точками зрения, источниками данных и т. Д.^[2] Приложения совместной фильтрации обычно включают очень большие наборы данных. Методы совместной фильтрации применялись ко многим различным типам данных, включая: данные зондирования и мониторинга, такие как разведка полезных ископаемых, зондирование окружающей среды на больших площадях или множественные датчики; финансовые данные, такие как финансовые учреждения, которые объединяют множество финансовых источников; или в электронной коммерции и веб-приложениях, где основное внимание уделяется пользовательским данным и т. д. Остальная часть этого обсуждения посвящена совместной фильтрации для пользовательских данных, хотя некоторые методы и подходы могут применяться также и к другим основным приложениям.

Обзор

В рост из Интернет значительно усложнило эффективное извлекать полезную информацию из всех доступных онлайн информация. Огромный объем данных требует механизмов для эффективного фильтрация информации. Совместная фильтрация - один из методов, используемых для решения этой проблемы.

Мотивация к совместной фильтрации исходит из того, что люди часто получают лучшие рекомендации от кого-то с похожими вкусами. Совместная фильтрация включает в себя методы сопоставления людей со схожими интересами и создания рекомендации исходя из этого.

Алгоритмы совместной фильтрации часто требуют (1) активного участия пользователей, (2) простого способа представления интересов пользователей и (3) алгоритмов, которые могут сопоставить людей со схожими интересами.

Обычно рабочий процесс системы совместной фильтрации:

1. Пользователь выражает свои предпочтения с помощью элементов рейтинга (например, книг, фильмов или компакт-дисков) системы. Эти рейтинги можно рассматривать как приблизительное представление интереса пользователя к соответствующему домену.
2. Система сравнивает оценки этого пользователя с оценками других пользователей и находит людей с наиболее «похожими» вкусами.
3. Схожим пользователям система рекомендует элементы, которые схожие пользователи высоко оценили, но еще не оценили этот пользователь (предположительно, отсутствие оценки часто рассматривается как незнакомость элемента).

Ключевая проблема совместной фильтрации заключается в том, как объединить и взвесить предпочтения соседей пользователей. Иногда пользователи могут сразу оценить рекомендуемые товары. В результате система получает все более точное представление о предпочтениях пользователя с течением времени.

Методология

Совместная фильтрация в рекомендательных системах

Системы совместной фильтрации имеют множество форм, но многие общие системы можно свести к двум этапам:

1. Найдите пользователей, которые разделяют те же шаблоны рейтингов с активным пользователем (пользователем, для которого сделан прогноз).
2. Используйте рейтинги единомышленников, найденные на шаге 1, чтобы рассчитать прогноз для активного пользователя.

Это подпадает под категорию совместной фильтрации на основе пользователей. Конкретным применением этого является пользовательский Алгоритм ближайшего соседа.

В качестве альтернативы, совместная фильтрация на основе элементов (пользователи, которые купили x, также купили y), выручка ориентирована на товар:

1. Постройте матрицу элемент-элемент, определяющую отношения между парами элементов.
2. Сделайте вывод о вкусах текущего пользователя, изучив матрицу и сопоставив данные этого пользователя.

См., Например, Склон один семейство совместной фильтрации на основе элементов.

Другая форма совместной фильтрации может быть основана на неявных наблюдениях за нормальным поведением пользователя (в отличие от искусственного поведения, налагаемого оценочной задачей). Эти системы наблюдают за тем, что сделал пользователь, вместе с тем, что сделали все пользователи (какую музыку они слушали, какие предметы купили), и используют эти данные для прогнозирования поведения пользователя в будущем или для прогнозирования того, что пользователю может понравиться. вести себя при наличии возможности. Затем эти прогнозы необходимо отфильтровать через бизнес-логика чтобы определить, как они могут повлиять на действия бизнес-системы. Например, бесполезно предлагать кому-то продать определенный альбом музыки, если он уже продемонстрировал, что он владеет этой музыкой.

Использование системы оценки или оценки, которая усредняется для всех пользователей, игнорирует конкретные требования пользователя и особенно плохо справляется с задачами, в которых наблюдается большой разброс интересов (например, рекомендация музыки). Однако есть и другие методы борьбы с информационным взрывом, например: сеть поиск и кластеризация данных.

Типы

На основе памяти

Подход, основанный на памяти, использует данные оценки пользователей для вычисления сходства между пользователями или элементами. Типичными примерами этого подхода являются CF на основе соседства и рекомендации Top-N на основе элементов / пользователей. Например, в подходах, основанных на пользователях, ценность оценок пользователя ты дает элемент я рассчитывается как совокупность некоторых похожих оценок товара пользователями:

${ displaystyle r_ {u, i} = operatorname {aggr} _ {u ^ { prime} in U} r_ {u ^ { prime}, i}}$

куда U обозначает набор верхних N пользователи, которые больше всего похожи на пользователя ты кто оценил предмет я. Некоторые примеры функции агрегирования включают:

${ displaystyle r_ {u, i} = { frac {1} {N}} sum limits _ {u ^ { prime} in U} r_ {u ^ { prime}, i}}$

${ displaystyle r_ {u, i} = k sum limits _ {u ^ { prime} in U} operatorname {simil} (u, u ^ { prime}) r_ {u ^ { prime} ,я}}$

где k - нормализующий коэффициент, определяемый как ${ displaystyle k = 1 / sum _ {u ^ { prime} in U} | operatorname {simil} (u, u ^ { prime}) |}$, и

${ displaystyle r_ {u, i} = { bar {r_ {u}}} + k sum limits _ {u ^ { prime} in U} operatorname {simil} (u, u ^ { prime}) (r_ {u ^ { prime}, i} - { bar {r_ {u ^ { prime}}}}})}$

куда ${ displaystyle { bar {r_ {u}}}}$ средний рейтинг пользователя ты для всех товаров, оцененных ты.

Алгоритм на основе соседства вычисляет сходство между двумя пользователями или элементами и производит прогноз для пользователя, принимая средневзвешенное всех рейтингов. Вычисление сходства между элементами или пользователями - важная часть этого подхода. Множественные меры, такие как Корреляции Пирсона и вектор косинус для этого используются основанные на сходстве.

Сходство корреляции Пирсона двух пользователей Икс, у определяется как

${ displaystyle operatorname {simil} (x, y) = { frac { sum limits _ {i in I_ {xy}} (r_ {x, i} - { bar {r_ {x}}}) ) (r_ {y, i} - { bar {r_ {y}}})} {{ sqrt { sum limits _ {i in I_ {xy}} (r_ {x, i} - { bar {r_ {x}}}) ^ {2}}} { sqrt { sum limits _ {i in I_ {xy}} (r_ {y, i} - { bar {r_ {y}}) }) ^ {2}}}}}}$

где я_ху набор элементов, оцененных обоими пользователями Икс и пользователь у.

Подход, основанный на косинусе, определяет подобие косинусов между двумя пользователями. Икс и у в качестве:^[4]

${ displaystyle operatorname {simil} (x, y) = cos ({ vec {x}}, { vec {y}}) = { frac {{ vec {x}} cdot { vec {y}}} {|| { vec {x}} || times || { vec {y}} ||}} = { frac { sum limits _ {i in I_ {xy} } r_ {x, i} r_ {y, i}} {{ sqrt { sum limits _ {i in I_ {x}} r_ {x, i} ^ {2}}} { sqrt { сумма пределы _ {я in I_ {y}} r_ {y, i} ^ {2}}}}}}$

Алгоритм рекомендаций по топ-N на основе пользователей использует векторную модель на основе сходства для определения k большинство пользователей, похожих на активного пользователя. После k обнаружено большинство похожих пользователей, соответствующие им матрицы элементов-пользователей агрегируются для определения набора элементов, которые следует рекомендовать. Популярным методом поиска похожих пользователей является Хеширование с учетом местоположения, который реализует механизм ближайшего соседа в линейное время.

Преимущества этого подхода включают: объяснимость результатов, что является важным аспектом рекомендательных систем; простота создания и использования; легкое внесение новых данных; независимость от содержания рекомендуемых элементов; хорошее масштабирование с предметами с одинаковым рейтингом.

У этого подхода также есть несколько недостатков. Его производительность снижается, когда данные становятся разреженными, который часто встречается с элементами, имеющими отношение к Интернету. Это мешает масштабируемость этого подхода и создает проблемы с большими наборами данных. Хотя он может эффективно обрабатывать новых пользователей, потому что полагается на структура данных, добавление новых элементов становится более сложным, поскольку это представление обычно зависит от конкретного векторное пространство. Добавление новых элементов требует включения нового элемента и повторной вставки всех элементов в структуру.

На основе модели

При таком подходе модели разрабатываются с использованием различных сбор данных, машинное обучение алгоритмы для прогнозирования оценок пользователей безрейтинговых товаров. Существует множество алгоритмов CF на основе моделей. Байесовские сети, модели кластеризации, скрытые семантические модели Такие как разложение по сингулярным числам, вероятностный латентно-семантический анализ, множественный мультипликативный коэффициент, скрытое размещение Дирихле и Марковский процесс принятия решений на основе моделей.^[5]

Благодаря такому подходу уменьшение размерности методы в основном используются в качестве дополнительных методов для повышения надежности и точности подхода, основанного на памяти. В этом смысле такие методы, как разложение по сингулярным числам, Анализ главных компонентов, известные как модели скрытых факторов, сжимают матрицу элементов-пользователей в низкоразмерное представление с точки зрения скрытых факторов. Одним из преимуществ использования этого подхода является то, что вместо того, чтобы иметь матрицу большой размерности, содержащую большое количество пропущенных значений, мы будем иметь дело с гораздо меньшей матрицей в пространстве меньшей размерности. Сокращенное представление можно использовать для алгоритмов соседства на основе пользователей или элементов, которые представлены в предыдущем разделе. У этой парадигмы есть несколько преимуществ. Он обрабатывает редкость исходной матрицы лучше, чем на памяти. Кроме того, сравнение сходства в результирующей матрице гораздо более масштабируемо, особенно при работе с большими разреженными наборами данных.^[6]

Гибридный

В ряде приложений сочетаются алгоритмы CF на основе памяти и на основе моделей. Они преодолевают ограничения собственных подходов CF и улучшают производительность прогнозирования. Важно отметить, что они преодолевают такие проблемы CF, как разреженность и потеря информации. Однако они имеют повышенную сложность и дороги в реализации.^[7] Обычно большинство коммерческих рекомендательных систем являются гибридными, например, рекомендательная система новостей Google.^[8]

Глубокое обучение

В последние годы был предложен ряд методов нейронного и глубокого обучения. Некоторые обобщают традиционные Факторизация матрицы алгоритмы с помощью нелинейной нейронной архитектуры,^[9] или использовать новые типы моделей, такие как Variational Автоэнкодеры.^[10]Хотя глубокое обучение применялось во многих различных сценариях: с учетом контекста, с учетом последовательности, социальных тегов и т. Д., Его реальная эффективность при использовании в простом сценарии совместной рекомендации была поставлена ​​под сомнение. Систематический анализ публикаций, применяющих глубокое обучение или нейронные методы для решения топ-k проблем рекомендаций, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys), показал, что в среднем менее 40% статей воспроизводимы при минимальном как 14% на некоторых конференциях. В целом исследование выявило 18 статей, только 7 из них могли быть воспроизведены, а 6 из них могли быть лучше, чем гораздо более старые и простые, правильно настроенные исходные данные. В статье также освещается ряд потенциальных проблем в современной исследовательской науке и содержится призыв к совершенствованию научной практики в этой области.^[11] Подобные проблемы были обнаружены также в рекомендательных системах, учитывающих последовательность.^[12]

Совместная фильтрация с учетом контекста

Многие рекомендательные системы просто игнорируют другую контекстную информацию, существующую вместе с рейтингом пользователя, при предоставлении рекомендаций по предметам.^[13] Однако из-за повсеместной доступности контекстной информации, такой как время, местоположение, социальная информация и тип устройства, которое использует пользователь, для успешной рекомендательной системы становится как никогда важно предоставлять контекстно-зависимые рекомендации. По словам Чару Аггравала, «контекстно-зависимые рекомендательные системы адаптируют свои рекомендации к дополнительной информации, которая определяет конкретную ситуацию, при которой рекомендации делаются. Эта дополнительная информация называется контекстом».^[6]

Принимая во внимание контекстную информацию, у нас будет дополнительное измерение к существующей матрице рейтинга пользовательских элементов. Например, предположим, что система музыкальных рекомендаций дает разные рекомендации в зависимости от времени суток. В этом случае у пользователя могут быть разные предпочтения в отношении музыки в разное время суток. Таким образом, вместо использования матрицы пользовательских элементов мы можем использовать тензор порядка 3 (или выше для рассмотрения других контекстов) для представления контекстно-зависимых предпочтений пользователей.^[14][15][16]

Чтобы воспользоваться преимуществами совместной фильтрации и, в частности, методов на основе соседства, подходы могут быть расширены от двумерной рейтинговой матрицы до тензора более высокого порядка.^{[нужна цитата ]}. Для этого нужно найти пользователей, наиболее похожих / единомышленников на целевого пользователя; можно извлечь и вычислить подобие срезов (например, матрицу элемент-время), соответствующих каждому пользователю. В отличие от контекстно-нечувствительного случая, для которого вычисляется схожесть двух рейтинговых векторов, в контекстно-зависимый подходов, подобие рейтинговых матриц, соответствующих каждому пользователю, рассчитывается с использованием Коэффициенты Пирсона.^[6] После того, как будут найдены наиболее единомышленники, их соответствующие рейтинги суммируются, чтобы определить набор элементов, рекомендуемых целевому пользователю.

Самым важным недостатком включения контекста в модель рекомендаций является возможность работать с большим набором данных, который содержит гораздо больше пропущенных значений по сравнению с матрицей рейтинга пользовательских элементов.^{[нужна цитата ]}. Следовательно, аналогично матричная факторизация методы, тензорная факторизация методы могут использоваться для уменьшения размерности исходных данных перед использованием каких-либо методов на основе соседства^{[нужна цитата ]}.

Приложение в социальной сети

В отличие от традиционной модели основных СМИ, в которой несколько редакторов устанавливают правила, в социальных сетях с совместной фильтрацией может быть очень большое количество редакторов, а контент улучшается по мере увеличения числа участников. Такие услуги, как Reddit, YouTube, и Ласт фм являются типичными примерами средств массовой информации на основе совместной фильтрации.^[17]

Один из сценариев применения совместной фильтрации - рекомендовать интересную или популярную информацию по мнению сообщества. Как типичный пример, истории появляются на первой странице Reddit поскольку они "проголосованы" (оценены положительно) сообществом. По мере того как сообщество становится больше и разнообразнее, продвигаемые истории могут лучше отражать средний интерес членов сообщества.

Другим аспектом систем совместной фильтрации является возможность генерировать более персонализированные рекомендации путем анализа информации из прошлой активности конкретного пользователя или истории других пользователей, которые, как считается, имеют схожие вкусы с данным пользователем. Эти ресурсы используются для профилирования пользователей и помогают сайту рекомендовать контент для каждого пользователя. Чем больше конкретный пользователь использует систему, тем точнее становятся рекомендации, поскольку система получает данные для улучшения своей модели этого пользователя.

Проблемы

Система совместной фильтрации не обязательно автоматически подбирает контент в соответствии с предпочтениями пользователя. Если платформа не обеспечивает необычно хорошего разнообразия и независимости мнений, одна точка зрения всегда будет доминировать над другой в конкретном сообществе. Как и в сценарии персонализированной рекомендации, введение новых пользователей или новых элементов может вызвать холодный запуск проблема, так как данных об этих новых записях будет недостаточно для корректной работы совместной фильтрации. Чтобы дать соответствующие рекомендации для нового пользователя, система должна сначала изучить предпочтения пользователя, проанализировав прошлые голосования или рейтинговые действия. Система совместной фильтрации требует, чтобы значительное количество пользователей оценили новый элемент, прежде чем его можно будет рекомендовать.

Вызовы

Редкость данных

На практике многие коммерческие рекомендательные системы основаны на больших наборах данных. В результате матрица «пользователь-элемент», используемая для совместной фильтрации, может быть чрезвычайно большой и разреженной, что затрудняет выполнение рекомендаций.

Одна типичная проблема, вызванная разреженностью данных, - это холодный запуск проблема. Поскольку методы совместной фильтрации рекомендуют элементы на основе прошлых предпочтений пользователей, новые пользователи должны будут оценить достаточное количество элементов, чтобы система могла точно уловить их предпочтения и, таким образом, предоставить надежные рекомендации.

Точно такая же проблема у новинок. Когда новые элементы добавляются в систему, они должны быть оценены значительным числом пользователей, прежде чем их можно будет рекомендовать пользователям, чьи вкусы аналогичны тем, кто их оценил. Проблема с новым предметом не влияет содержательные рекомендации, потому что рекомендация элемента основана на его дискретном наборе описательных качеств, а не на его рейтингах.

Масштабируемость

По мере роста числа пользователей и элементов традиционные алгоритмы CF будут страдать от серьезных проблем с масштабируемостью.^{[нужна цитата ]}. Например, с десятками миллионов клиентов ${ Displaystyle О (М)}$ и миллионы предметов ${ Displaystyle О (Н)}$, алгоритм CF со сложностью ${ displaystyle n}$ уже слишком большой. Кроме того, многие системы должны немедленно реагировать на онлайн-требования и давать рекомендации для всех пользователей, независимо от их покупок и истории рейтингов, что требует более высокой масштабируемости системы CF. Крупные веб-компании, такие как Twitter, используют кластеры машин для масштабирования рекомендаций для миллионов пользователей, при этом большая часть вычислений выполняется на машинах с очень большой памятью.^[18]

Синонимы

Синонимы относится к тенденции нескольких одинаковых или очень похожих предметов иметь разные имена или записи. Большинство рекомендательных систем неспособны обнаружить эту скрытую ассоциацию и поэтому по-разному относятся к этим продуктам.

Например, кажущиеся разными элементами «детский фильм» и «детский фильм» на самом деле относятся к одному и тому же элементу. Действительно, степень вариативности в использовании описательных терминов больше, чем обычно предполагалось.^{[нужна цитата ]} Преобладание синонимов снижает эффективность рекомендаций систем CF. Тематическое моделирование (например, Скрытое размещение Дирихле техники) может решить эту проблему, сгруппировав разные слова, принадлежащие к одной теме.^{[нужна цитата ]}

Серая овца

Серые овцы относятся к пользователям, мнения которых не всегда совпадают или не согласуются с какой-либо группой людей и, следовательно, не получают выгоды от совместной фильтрации. Черная овца это группа, чьи идиосинкразические вкусы делают рекомендации практически невозможными. Несмотря на то, что это сбой рекомендательной системы, неэлектронные рекомендатели также имеют большие проблемы в этих случаях, поэтому наличие паршивой овцы - приемлемый отказ.^{[оспаривается – обсуждать]}

Шиллинговые атаки

В системе рекомендаций, где каждый может давать оценки, люди могут давать много положительных оценок своим товарам и отрицательных оценок своим конкурентам. Системам совместной фильтрации часто необходимо вводить меры предосторожности, чтобы препятствовать подобным манипуляциям.

Разнообразие и длинный хвост

Ожидается, что совместные фильтры увеличат разнообразие, потому что они помогают нам открывать новые продукты. Однако некоторые алгоритмы могут непреднамеренно сделать обратное. Поскольку совместные фильтры рекомендуют продукты на основе прошлых продаж или рейтингов, они обычно не могут рекомендовать продукты с ограниченными историческими данными. Это может создать для популярных товаров эффект обогащения, похожий на положительный отзыв. Этот уклон в сторону популярности может помешать тому, что в противном случае лучше соответствовало бы потребительскому продукту. А Wharton исследование подробно описывает это явление вместе с несколькими идеями, которые могут способствовать разнообразию и "длинный хвост."^[19] Было разработано несколько алгоритмов совместной фильтрации для поощрения разнообразия и "длинный хвост "рекомендуя роман, неожиданный,^[20] и случайные предметы.^[21]

Инновации

• Новые алгоритмы были разработаны для CF в результате Приз Netflix.
• Межсистемная совместная фильтрация, при которой профили пользователей из нескольких рекомендательные системы объединены таким образом, чтобы сохранить конфиденциальность.
• Надежная совместная фильтрация, где рекомендация устойчива к усилиям манипуляции. Эта область исследований все еще активна и полностью не решена.^[22]

Вспомогательная информация

Матрица «пользователь-элемент» является базовой основой традиционных методов совместной фильтрации и страдает от проблемы разреженности данных (т. Е. холодный запуск ). Как следствие, за исключением матрицы пользовательских элементов, исследователи пытаются собрать больше вспомогательной информации, чтобы помочь повысить эффективность рекомендаций и разработать персонализированные рекомендательные системы.^[23] Как правило, существует две популярных вспомогательной информации: информация об атрибутах и ​​информация о взаимодействии. Информация об атрибутах описывает свойства пользователя или элемента. Например, атрибут пользователя может включать общий профиль (например, пол и возраст) и социальные контакты (например, подписчиков или друзей в социальные сети ); Атрибут предмета означает такие свойства, как категория, бренд или контент. Кроме того, информация о взаимодействии относится к неявным данным, показывающим, как пользователи взаимодействуют с элементом. Широко используемая информация о взаимодействии содержит теги, комментарии или обзоры, историю просмотров и т. Д. Вспомогательная информация играет важную роль во множестве аспектов. Явные социальные связи, как надежный представитель доверия или дружбы, всегда используются при вычислении сходства, чтобы найти похожих людей, которые разделяют интересы с целевым пользователем.^[24][25] Связанная с взаимодействием информация - теги - используется в качестве третьего измерения (в дополнение к пользователю и элементу) в расширенной совместной фильтрации для построения трехмерной тензорной структуры для исследования рекомендаций.^[26]

Смотрите также

Рекомендации

внешняя ссылка

• Помимо рекомендательных систем: помогать людям помогать друг другу, стр.12, 2001
• Рекомендательные системы. Прем Мелвилл и Викас Синдвани. В Энциклопедии машинного обучения, Клод Саммут и Джеффри Уэбб (редакторы), Springer, 2010.
• Рекомендательные системы в промышленных условиях - докторская диссертация (2012 г.), включая всесторонний обзор многих совместных рекомендательных систем.
• К следующему поколению рекомендательных систем: обзор современного состояния и возможных расширений^{[мертвая ссылка ]}. Адомавичюс, Г., Тужилин, А. Транзакции IEEE по разработке знаний и данных 06.2005
• Оценка рекомендательных систем для совместной фильтрации (DOI: 10.1145/963770.963772 )
• Научные статьи GroupLens.
• Совместная фильтрация с усилением содержимого для улучшения рекомендаций. Прем Мелвилл, Раймонд Дж. Муни и Рамадас Нагараджан. Материалы восемнадцатой национальной конференции по искусственному интеллекту (AAAI-2002), стр. 187–192, Эдмонтон, Канада, июль 2002 г.
• Коллекция прошлых и настоящих проектов "фильтрации информации" (включая совместную фильтрацию) в MIT Media Lab.
• Eigentaste: алгоритм совместной фильтрации с постоянным временем. Кен Голдберг, Тереза ​​Рёдер, Дхрув Гупта и Крис Перкинс. Информационный поиск, 4 (2), 133-151. Июль 2001 г.
• Обзор методов совместной фильтрации Су, Сяоюань и Хошгортаар, Таги. M
• Персонализация новостей Google: масштабируемая совместная фильтрация в Интернете Абхинандан Дас, Маюр Датар, Ашутош Гарг и Шьям Раджарам. Международная конференция по всемирной паутине, Материалы 16-й международной конференции по всемирной паутине
• Фактор соседей: масштабируемая и точная совместная фильтрация Иегуда Корен, Транзакции по обнаружению знаний из данных (TKDD) (2009)
• Прогнозирование рейтинга с использованием совместной фильтрации
• Рекомендательные системы
• Совместная фильтрация Беркли