Система фильтрации информации для прогнозирования предпочтений пользователей
Рекомендательная система или система рекомендаций (иногда заменяющая систему такими терминами, как платформа , движок или алгоритм ) — это подкласс систем фильтрации информации , которая предоставляет предложения по элементам, наиболее подходящим для конкретного пользователя. [1] [2] [3] Рекомендательные системы особенно полезны, когда человеку необходимо выбрать элемент из потенциально подавляющего числа элементов, которые может предложить сервис. [1] [4]
Обычно предложения относятся к различным процессам принятия решений , например, какой продукт купить, какую музыку послушать или какие онлайн-новости почитать. [1]
Рекомендательные системы используются в различных областях, общепризнанными примерами являются генераторы плейлистов для видео- и музыкальных сервисов, рекомендатели продуктов для интернет-магазинов или рекомендатели контента для платформ социальных сетей и рекомендатели открытого веб-контента. [5] [6] Эти системы могут работать с использованием одного типа ввода, например музыки, или нескольких вводов в пределах и между платформами, например новостей, книг и поисковых запросов. Существуют также популярные рекомендательные системы для определенных тем, например ресторанов и онлайн-знакомств . Рекомендательные системы также были разработаны для изучения исследовательских статей и экспертов, [7] соавторов, [8] и финансовых услуг. [9]
Платформа обнаружения контента — это реализованная платформа рекомендаций программного обеспечения , которая использует инструменты системы рекомендаций. Она использует метаданные пользователя для обнаружения и рекомендации соответствующего контента, одновременно снижая текущие расходы на обслуживание и разработку. Платформа обнаружения контента доставляет персонализированный контент на веб-сайты , мобильные устройства и телевизионные приставки . В настоящее время существует большой спектр платформ обнаружения контента для различных форм контента, начиная от новостных статей и статей в академических журналах [10] и заканчивая телевидением. [11] Поскольку операторы конкурируют за право стать шлюзом для домашних развлечений, персонализированное телевидение является ключевым отличием услуг. Академическое обнаружение контента недавно стало еще одной областью интересов, и было создано несколько компаний, чтобы помочь академическим исследователям быть в курсе соответствующего академического контента и случайно находить новый контент. [10]
Обзор
Рекомендательные системы обычно используют либо совместную фильтрацию , либо контентную фильтрацию (также известную как подход на основе личности), либо обе, а также другие системы, такие как системы на основе знаний . Совместные подходы фильтрации создают модель из прошлого поведения пользователя (предметы, ранее купленные или выбранные и/или числовые рейтинги, данные этим предметам), а также аналогичные решения, принятые другими пользователями. Затем эта модель используется для прогнозирования предметов (или рейтингов предметов), которые могут заинтересовать пользователя. [12] Контентные подходы фильтрации используют ряд дискретных, предварительно помеченных характеристик предмета, чтобы рекомендовать дополнительные предметы с похожими свойствами. [13]
Различия между совместной и контентной фильтрацией можно продемонстрировать, сравнив две ранние системы музыкальных рекомендаций: Last.fm и Pandora Radio .
Last.fm создает «станцию» рекомендуемых песен, наблюдая за тем, какие группы и отдельные треки пользователь слушал регулярно, и сравнивая их с поведением других пользователей. Last.fm будет воспроизводить треки, которые не появляются в библиотеке пользователя, но часто воспроизводятся другими пользователями со схожими интересами. Поскольку этот подход использует поведение пользователей, он является примером метода совместной фильтрации. [14]
Pandora использует свойства песни или исполнителя (подмножество из 400 атрибутов, предоставленных проектом Music Genome Project ), чтобы засеять «станцию», которая проигрывает музыку с похожими свойствами. Обратная связь от пользователей используется для уточнения результатов станции, принижая определенные атрибуты, когда пользователю «не нравится» конкретная песня, и подчеркивая другие атрибуты, когда пользователю «нравится» песня. Это пример подхода, основанного на контенте.
У каждого типа системы есть свои сильные и слабые стороны. В приведенном выше примере Last.fm требует большого количества информации о пользователе для предоставления точных рекомендаций. Это пример проблемы холодного старта , распространенной в системах совместной фильтрации. [15] [16] [ 17] [18] [19] [20] В то время как Pandora требуется очень мало информации для запуска, ее область применения гораздо более ограничена (например, она может предоставлять только рекомендации, похожие на исходный seed).
Рекомендательные системы являются полезной альтернативой алгоритмам поиска , поскольку они помогают пользователям находить элементы, которые они могли бы не найти в противном случае. Следует отметить, что рекомендательные системы часто реализуются с использованием поисковых систем, индексирующих нетрадиционные данные.
Рекомендательные системы стали предметом нескольких выданных патентов. [21] [22] [23] [24] [25]
История
Элейн Рич создала первую рекомендательную систему в 1979 году под названием Grundy. [26] [27] Она искала способ рекомендовать пользователям книги, которые им могут понравиться. Ее идея заключалась в создании системы, которая задает пользователям конкретные вопросы и классифицирует их по классам предпочтений, или «стереотипам», в зависимости от их ответов. В зависимости от принадлежности пользователей к стереотипам, они затем получали бы рекомендации книг, которые им могли бы понравиться.
Еще одна ранняя система рекомендаций, называемая «цифровой книжной полкой», была описана в техническом отчете 1990 года Юсси Карлгреном из Колумбийского университета [28]
и реализована в масштабе и проработана в технических отчетах и публикациях с 1994 года Юсси Карлгреном , тогда работавшим в SICS [ 29] [30]
, и исследовательскими группами под руководством Патти Мэйс из MIT [31] , Уилла Хилла из Bellcore [32] и Пола Резника , также работавшего в MIT [33] [4], чья работа с GroupLens была отмечена премией ACM Software Systems Award 2010 .
Монтанер предоставил первый обзор рекомендательных систем с точки зрения интеллектуального агента. [34] Адомавичус предоставил новый, альтернативный обзор рекомендательных систем. [35] Херлокер предоставил дополнительный обзор методов оценки для рекомендательных систем, [36] а Бил и др. обсудили проблемы офлайн-оценок. [37] Бил и др. также предоставили обзоры литературы по доступным рекомендательным системам исследовательских работ и существующим проблемам. [38] [39]
Подходы
Совместная фильтрация
Одним из подходов к проектированию рекомендательных систем, который широко используется, является совместная фильтрация . [40] Совместная фильтрация основана на предположении, что люди, которые согласились в прошлом, согласятся и в будущем, и что им понравятся похожие типы элементов, которые им нравились в прошлом. Система генерирует рекомендации, используя только информацию о профилях рейтинга для разных пользователей или элементов. Находя одноранговых пользователей/элементы с историей рейтинга, похожей на историю текущего пользователя или элемента, они генерируют рекомендации, используя это соседство. Методы совместной фильтрации классифицируются как основанные на памяти и основанные на моделях. Известным примером подходов, основанных на памяти, является алгоритм, основанный на пользователях, [41], в то время как подходом, основанным на моделях, является матричная факторизация (рекомендательные системы) . [42]
Ключевым преимуществом подхода коллаборативной фильтрации является то, что он не полагается на машинно-анализируемый контент и, следовательно, способен точно рекомендовать сложные элементы, такие как фильмы, не требуя «понимания» самого элемента. Многие алгоритмы использовались для измерения сходства пользователей или элементов в рекомендательных системах. Например, подход k-ближайшего соседа (k-NN) [43] и корреляция Пирсона , впервые реализованная Алленом. [44]
При построении модели на основе поведения пользователя часто проводится различие между явными и неявными формами сбора данных .
Примеры явного сбора данных включают следующее:
Просьба к пользователю оценить элемент по скользящей шкале.
Просьба к пользователю выполнить поиск.
Попросить пользователя ранжировать коллекцию элементов от наиболее любимых до наименее любимых.
Предъявление пользователю двух предметов и предложение выбрать лучший из них.
Попросить пользователя создать список предметов, которые ему/ей нравятся (см. классификацию Роккио или другие подобные методы).
Наблюдение за товарами, которые пользователь просматривает в интернет-магазине.
Анализ времени просмотра элемента/пользователя. [45]
Ведение учета товаров, которые пользователь приобретает онлайн.
Получение списка элементов, которые пользователь прослушал или посмотрел на своем компьютере.
Анализ социальной сети пользователя и выявление схожих симпатий и антипатий.
Подходы к совместной фильтрации часто страдают от трех проблем: холодный старт , масштабируемость и разреженность. [46]
Холодный старт : для нового пользователя или элемента недостаточно данных для точных рекомендаций. Примечание: одним из часто применяемых решений этой проблемы является алгоритм многорукого бандита . [47] [15] [16] [18] [20]
Масштабируемость : Во многих средах, в которых эти системы выдают рекомендации, есть миллионы пользователей и продуктов. Таким образом, для расчета рекомендаций часто требуется большой объем вычислительной мощности.
Разреженность : Количество товаров, продаваемых на крупных сайтах электронной коммерции, чрезвычайно велико. Наиболее активные пользователи оценивают лишь небольшую часть общей базы данных. Таким образом, даже самые популярные товары имеют очень мало оценок.
Одним из самых известных примеров совместной фильтрации является совместная фильтрация по каждому товару (люди, которые покупают x, также покупают y), алгоритм, популяризированный рекомендательной системой Amazon.com . [48]
Многие социальные сети изначально использовали совместную фильтрацию для рекомендации новых друзей, групп и других социальных связей путем изучения сети связей между пользователем и его друзьями. [1] Совместная фильтрация по-прежнему используется как часть гибридных систем.
Фильтрация на основе контента
Другим распространенным подходом при проектировании рекомендательных систем является фильтрация на основе контента . Методы фильтрации на основе контента основаны на описании элемента и профиле предпочтений пользователя. [49] [50] Эти методы лучше всего подходят для ситуаций, когда есть известные данные об элементе (название, местоположение, описание и т. д.), но не о пользователе. Рекомендатели на основе контента рассматривают рекомендацию как проблему классификации, специфичную для пользователя, и изучают классификатор для симпатий и антипатий пользователя на основе характеристик элемента.
В этой системе ключевые слова используются для описания элементов, а профиль пользователя создается для указания типа элемента, который нравится этому пользователю. Другими словами, эти алгоритмы пытаются рекомендовать элементы, похожие на те, которые пользователю понравились в прошлом или которые он изучает в настоящем. Он не полагается на механизм входа пользователя для создания этого часто временного профиля. В частности, различные элементы-кандидаты сравниваются с элементами, ранее оцененными пользователем, и рекомендуются наиболее соответствующие элементы. Этот подход имеет свои корни в исследовании поиска и фильтрации информации .
Для создания профиля пользователя система в основном ориентируется на два типа информации:
Модель предпочтений пользователя.
История взаимодействия пользователя с рекомендательной системой.
В основном эти методы используют профиль элемента (т. е. набор дискретных атрибутов и характеристик), характеризующих элемент в системе. Для абстрагирования характеристик элементов в системе применяется алгоритм представления элемента. Широко используемым алгоритмом является представление tf–idf (также называемое представлением векторного пространства). [51] Система создает основанный на контенте профиль пользователей на основе взвешенного вектора характеристик элемента. Веса обозначают важность каждой характеристики для пользователя и могут быть вычислены из индивидуально оцененных векторов контента с использованием различных методов. Простые подходы используют средние значения оцененного вектора элемента, в то время как другие сложные методы используют методы машинного обучения, такие как байесовские классификаторы , кластерный анализ , деревья решений и искусственные нейронные сети , чтобы оценить вероятность того, что пользователю понравится элемент. [52]
Ключевой проблемой фильтрации на основе контента является то, может ли система изучать предпочтения пользователя из действий пользователей относительно одного источника контента и использовать их в других типах контента. Когда система ограничена рекомендацией контента того же типа, который уже использует пользователь, ценность рекомендательной системы значительно меньше, чем когда могут быть рекомендованы другие типы контента из других сервисов. Например, рекомендация новостных статей на основе просмотра новостей полезна. Тем не менее, было бы гораздо полезнее, если бы музыка, видео, продукты, обсуждения и т. д. из разных сервисов могли быть рекомендованы на основе просмотра новостей. Чтобы преодолеть это, большинство рекомендательных систем на основе контента теперь используют некоторую форму гибридной системы.
Рекомендательные системы на основе контента также могут включать рекомендательные системы на основе мнений. В некоторых случаях пользователям разрешено оставлять текстовые обзоры или отзывы об элементах. Эти пользовательские тексты являются неявными данными для рекомендательной системы, поскольку они потенциально являются богатыми ресурсами как функций/аспектов элемента, так и оценок/отношений пользователей к элементу. Функции, извлеченные из пользовательских обзоров, являются улучшенными метаданными элементов, поскольку, поскольку они также отражают аспекты элемента, такие как метаданные, извлеченные функции широко интересуют пользователей. Настроения, извлеченные из обзоров, можно рассматривать как оценки рейтинга пользователей по соответствующим функциям. Популярные подходы к рекомендательным системам на основе мнений используют различные методы, включая интеллектуальный анализ текста , поиск информации , анализ настроений (см. также Мультимодальный анализ настроений ) и глубокое обучение . [53]
Гибридные подходы к рекомендациям
Большинство рекомендательных систем теперь используют гибридный подход, объединяя коллаборативную фильтрацию , фильтрацию на основе контента и другие подходы. Нет причин, по которым несколько различных методов одного типа не могли бы быть гибридизированы. Гибридные подходы могут быть реализованы несколькими способами: путем создания основанных на контенте и основанных на сотрудничестве прогнозов по отдельности, а затем их объединения; путем добавления основанных на контенте возможностей к основанному на сотрудничестве подходу (и наоборот); или путем объединения подходов в одну модель. [35] Несколько исследований, которые эмпирически сравнивали производительность гибрида с чистыми методами сотрудничества и контента и продемонстрировали, что гибридные методы могут предоставлять более точные рекомендации, чем чистые подходы. Эти методы также могут быть использованы для преодоления некоторых распространенных проблем в рекомендательных системах, таких как холодный запуск и проблема разреженности, а также узкое место инженерии знаний в основанных на знаниях подходах. [54]
Netflix является хорошим примером использования гибридных рекомендательных систем. [55] Сайт дает рекомендации, сравнивая привычки просмотра и поиска похожих пользователей (т. е. совместная фильтрация), а также предлагая фильмы, которые имеют общие характеристики с фильмами, которые пользователь высоко оценил (фильтрация на основе контента).
Некоторые методы гибридизации включают в себя:
Взвешенный : численное объединение оценок различных компонентов рекомендации.
Переключение : выбор среди компонентов рекомендации и применение выбранного.
Смешанный : рекомендации от разных рекомендателей представлены вместе для выдачи рекомендации.
Каскад : Рекомендателям присваивается строгий приоритет, при этом те, у кого более низкий приоритет, нарушают ничью в оценке тех, у кого более высокий приоритет.
Мета-уровень : применяется одна методика рекомендаций, которая создает своего рода модель, которая затем становится входными данными для следующей методики. [56]
Технологии
Рекомендательные системы на основе сеансов
Эти рекомендательные системы используют взаимодействия пользователя в течение сеанса [57] для генерации рекомендаций. Рекомендательные системы на основе сеанса используются на YouTube [58] и Amazon. [59] Они особенно полезны, когда история (например, прошлые клики, покупки) пользователя недоступна или нерелевантна в текущем сеансе пользователя. Домены, где рекомендации на основе сеанса особенно релевантны, включают видео, электронную коммерцию, путешествия, музыку и многое другое. Большинство примеров рекомендательных систем на основе сеанса полагаются на последовательность недавних взаимодействий в течение сеанса, не требуя никаких дополнительных сведений (исторических, демографических) о пользователе. Методы рекомендаций на основе сеанса в основном основаны на генеративных последовательных моделях, таких как рекуррентные нейронные сети , [57] [60] Transformers, [61] и других подходах, основанных на глубоком обучении. [62] [63]
Обучение с подкреплением для рекомендательных систем
Проблему рекомендаций можно рассматривать как особый случай проблемы обучения с подкреплением, в которой пользователь является средой, на которую действует агент, система рекомендаций, чтобы получить вознаграждение, например, клик или взаимодействие пользователя. [58] [64] [65] Одним из аспектов обучения с подкреплением, который особенно полезен в области рекомендательных систем, является тот факт, что модели или политики могут быть изучены путем предоставления вознаграждения агенту рекомендаций. Это контрастирует с традиционными методами обучения, которые полагаются на контролируемые подходы к обучению, которые менее гибки, методы рекомендаций обучения с подкреплением позволяют потенциально обучать модели, которые могут быть оптимизированы непосредственно на основе показателей взаимодействия и интереса пользователя. [66]
Многокритериальные рекомендательные системы
Многокритериальные рекомендательные системы (MCRS) можно определить как рекомендательные системы, которые включают информацию о предпочтениях по нескольким критериям. Вместо разработки методов рекомендаций, основанных на одном значении критерия, общем предпочтении пользователя u для элемента i, эти системы пытаются предсказать рейтинг для неисследованных элементов u, используя информацию о предпочтениях по нескольким критериям, которые влияют на это общее значение предпочтения. Некоторые исследователи рассматривают MCRS как проблему принятия многокритериальных решений (MCDM) и применяют методы и приемы MCDM для внедрения систем MCRS. [67] См. эту главу [68] для расширенного введения.
Рекомендательные системы, учитывающие риски
Большинство существующих подходов к системам рекомендаций сосредоточены на рекомендации наиболее релевантного контента пользователям с использованием контекстной информации, но не учитывают риск беспокойства пользователя нежелательными уведомлениями. Важно учитывать риск расстроить пользователя, выдвигая рекомендации в определенных обстоятельствах, например, во время профессиональной встречи, рано утром или поздно вечером. Поэтому производительность системы рекомендаций частично зависит от степени, в которой она включила риск в процесс рекомендаций. Одним из вариантов решения этой проблемы является DRARS , система, которая моделирует контекстно-зависимую рекомендацию как проблему бандита . Эта система сочетает в себе метод, основанный на контенте, и алгоритм контекстного бандита. [69]
Мобильные рекомендательные системы
Мобильные рекомендательные системы используют смартфоны с доступом в Интернет для предоставления персонализированных, контекстно-зависимых рекомендаций. Это особенно сложная область исследований, поскольку мобильные данные сложнее, чем данные, с которыми часто приходится иметь дело рекомендательным системам. Они неоднородны, шумны, требуют пространственной и временной автокорреляции и имеют проблемы проверки и общности. [70]
На мобильные рекомендательные системы и точность результатов прогнозирования могут повлиять три фактора: контекст, метод рекомендации и конфиденциальность. [71] Кроме того, мобильные рекомендательные системы страдают от проблемы трансплантации — рекомендации могут применяться не во всех регионах (например, было бы неразумно рекомендовать рецепт в районе, где могут быть недоступны все ингредиенты).
Одним из примеров мобильной рекомендательной системы являются подходы, используемые такими компаниями, как Uber и Lyft, для создания маршрутов движения для водителей такси в городе. [70] Эта система использует данные GPS о маршрутах, по которым водители такси ездят во время работы, включая местоположение (широту и долготу), временные метки и рабочий статус (с пассажирами или без них). Она использует эти данные для рекомендации списка точек посадки вдоль маршрута с целью оптимизации времени занятости и прибыли.
Премия Netflix
Одним из событий, которые активизировали исследования в области рекомендательных систем, стала премия Netflix . С 2006 по 2009 год Netflix спонсировал конкурс, предлагая главный приз в размере 1 000 000 долларов США команде, которая могла бы взять предлагаемый набор данных из более чем 100 миллионов оценок фильмов и вернуть рекомендации, которые были бы на 10% точнее тех, которые предлагала существующая рекомендательная система компании. Этот конкурс активизировал поиск новых и более точных алгоритмов. 21 сентября 2009 года главный приз в размере 1 000 000 долларов США был вручен команде BellKor's Pragmatic Chaos, использующей правила разрешения конфликтов. [72]
Самый точный алгоритм в 2007 году использовал ансамблевый метод из 107 различных алгоритмических подходов, объединенных в единый прогноз. Как заявили победители, Белл и др.: [73]
Точность прогнозирования существенно повышается при смешивании нескольких предикторов. Наш опыт показывает, что основные усилия следует сосредоточить на получении существенно различных подходов, а не на совершенствовании одной методики. Следовательно, наше решение представляет собой ансамбль многих методов.
Многие преимущества были получены в Интернете благодаря проекту Netflix. Некоторые команды взяли свою технологию и применили ее на других рынках. Некоторые члены команды, занявшей второе место, основали Gravity R&D , рекомендательный движок, который активен в сообществе RecSys . [72] [74] 4-Tell, Inc. создала решение на основе проекта Netflix для веб-сайтов электронной коммерции.
Ряд проблем с конфиденциальностью возник вокруг набора данных, предложенного Netflix для конкурса Netflix Prize. Хотя наборы данных были анонимными в целях сохранения конфиденциальности клиентов, в 2007 году два исследователя из Техасского университета смогли идентифицировать отдельных пользователей, сопоставив наборы данных с рейтингами фильмов в Internet Movie Database (IMDb) . [75] В результате в декабре 2009 года анонимный пользователь Netflix подал в суд на Netflix в деле Doe против Netflix, утверждая, что Netflix нарушил законы США о справедливой торговле и Закон о защите конфиденциальности видео, опубликовав наборы данных. [76] Это, а также опасения Федеральной торговой комиссии , привели к отмене второго конкурса Netflix Prize в 2010 году. [77]
Обычно используемые метрики — это среднеквадратическая ошибка и среднеквадратическая ошибка , последняя использовалась в Netflix Prize. Метрики поиска информации, такие как точность и отзыв или DCG, полезны для оценки качества метода рекомендации. Разнообразие, новизна и охват также считаются важными аспектами оценки. [78] Однако многие классические меры оценки подвергаются резкой критике. [79]
Оценка производительности алгоритма рекомендаций на фиксированном тестовом наборе данных всегда будет чрезвычайно сложной, поскольку невозможно точно предсказать реакцию реальных пользователей на рекомендации. Следовательно, любая метрика, которая вычисляет эффективность алгоритма в офлайн-данных, будет неточной.
Исследования пользователей довольно мелкомасштабны. Нескольким десяткам или сотням пользователей представляют рекомендации, созданные с помощью разных подходов к рекомендациям, а затем пользователи судят, какие рекомендации лучше.
В A/B-тестах рекомендации обычно показываются тысячам пользователей реального продукта, а система рекомендаций случайным образом выбирает по крайней мере два разных подхода к рекомендациям для генерации рекомендаций. Эффективность измеряется с помощью неявных показателей эффективности, таких как коэффициент конверсии или коэффициент кликабельности .
Офлайн-оценки основаны на исторических данных, например, наборе данных, содержащем информацию о том, как пользователи ранее оценивали фильмы. [80]
Эффективность подходов к рекомендациям затем измеряется на основе того, насколько хорошо подход к рекомендациям может предсказать оценки пользователей в наборе данных. Хотя рейтинг является явным выражением того, понравился ли фильм пользователю, такая информация доступна не во всех доменах. Например, в области систем рекомендаций по цитированию пользователи обычно не оценивают цитирование или рекомендуемую статью. В таких случаях офлайн-оценки могут использовать неявные меры эффективности. Например, можно предположить, что эффективна система рекомендаций, которая способна рекомендовать как можно больше статей, содержащихся в списке ссылок исследовательской статьи. Однако многие исследователи считают этот вид офлайн-оценок критическим. [81] [82] [83] [37] Например, было показано, что результаты офлайн-оценок имеют низкую корреляцию с результатами пользовательских исследований или A/B-тестов. [83] [84] Было показано, что популярный для офлайн-оценки набор данных содержит дублирующиеся данные и, таким образом, приводит к неверным выводам при оценке алгоритмов. [85] Часто результаты так называемых офлайн-оценок не коррелируют с фактически оцененной удовлетворенностью пользователя. [86] Вероятно, это происходит из-за того, что офлайн-обучение сильно смещено в сторону легкодоступных элементов, а данные офлайн-тестирования сильно зависят от результатов модуля онлайн-рекомендаций. [81] [87] Исследователи пришли к выводу, что к результатам офлайн-оценок следует относиться критически. [88]
За пределами точности
Обычно исследования рекомендательных систем направлены на поиск наиболее точных алгоритмов рекомендаций. Однако есть ряд факторов, которые также важны.
Разнообразие – пользователи, как правило, более удовлетворены рекомендациями, когда внутри списка наблюдается большее разнообразие, например, элементы от разных исполнителей. [89] [90]
Настойчивость рекомендателя – в некоторых ситуациях эффективнее повторно показывать рекомендации [91] или позволять пользователям повторно оценивать элементы [92] , чем показывать новые элементы. Для этого есть несколько причин. Пользователи могут игнорировать элементы, когда они показаны в первый раз, например, потому что у них не было времени внимательно изучить рекомендации.
Конфиденциальность – Рекомендательные системы обычно сталкиваются с проблемами конфиденциальности [93] , поскольку пользователи должны раскрывать конфиденциальную информацию. Создание профилей пользователей с использованием совместной фильтрации может быть проблематичным с точки зрения конфиденциальности. Во многих европейских странах существует сильная культура конфиденциальности данных , и каждая попытка ввести любой уровень профилирования пользователей может привести к негативной реакции клиентов. Было проведено много исследований по текущим проблемам конфиденциальности в этой области. Премия Netflix особенно примечательна подробной личной информацией, опубликованной в ее наборе данных. Рамакришнан и др. провели обширный обзор компромиссов между персонализацией и конфиденциальностью и обнаружили, что сочетание слабых связей (неожиданная связь, которая предоставляет случайные рекомендации) и других источников данных может использоваться для раскрытия личности пользователей в анонимном наборе данных. [94]
Демографические данные пользователей – Бил и др. обнаружили, что демографические данные пользователей могут влиять на то, насколько пользователи удовлетворены рекомендациями. [95] В своей статье они показывают, что пожилые пользователи, как правило, больше заинтересованы в рекомендациях, чем молодые пользователи.
Надежность – Когда пользователи могут участвовать в системе рекомендаций, необходимо решать проблему мошенничества. [96]
Serendipity – Serendipity – это мера того, «насколько неожиданны рекомендации». [97] [90] Например, рекомендательная система, которая рекомендует молоко покупателю в продуктовом магазине, может быть совершенно точной, но это не хорошая рекомендация, потому что это очевидный товар для покупателя. «[Serendipity] служит двум целям: во-первых, уменьшается вероятность того, что пользователи потеряют интерес из-за слишком однородного набора выбора. Во-вторых, эти товары необходимы алгоритмам для обучения и самосовершенствования». [98]
Доверие – Рекомендательная система не представляет большой ценности для пользователя, если пользователь не доверяет системе. [99] Рекомендательная система может завоевать доверие, объяснив, как она генерирует рекомендации и почему она рекомендует тот или иной товар.
Маркировка – Удовлетворенность пользователей рекомендациями может зависеть от маркировки рекомендаций. [100] Например, в цитируемом исследовании показатель кликабельности (CTR) для рекомендаций, помеченных как «Спонсируемые», был ниже (CTR=5,93%), чем CTR для идентичных рекомендаций, помеченных как «Органические» (CTR=8,86%). Рекомендации без метки показали лучшие результаты (CTR=9,87%) в этом исследовании.
Воспроизводимость
Рекомендательные системы, как известно, трудно оценить в офлайне, и некоторые исследователи утверждают, что это привело к кризису воспроизводимости в публикациях рекомендательных систем. Тема воспроизводимости, по-видимому, является повторяющейся проблемой в некоторых местах публикации по машинному обучению, но не имеет значительного влияния за пределами мира научных публикаций. В контексте рекомендательных систем в статье 2019 года был проведен обзор небольшого количества отобранных публикаций, применяющих глубокое обучение или нейронные методы к проблеме рекомендаций top-k, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys , IJCAI), и показано, что в среднем менее 40% статей могут быть воспроизведены авторами опроса, а на некоторых конференциях — всего 14%. В статьях рассматривается ряд потенциальных проблем в сегодняшней исследовательской науке и предлагаются улучшенные научные практики в этой области. [101] [102] [103]
Более поздняя работа по сравнительному анализу набора тех же методов пришла к качественно совершенно иным результатам [104], в результате чего нейронные методы оказались одними из самых эффективных методов. Глубокое обучение и нейронные методы для рекомендательных систем использовались в победивших решениях в нескольких недавних соревнованиях по рекомендательным системам, WSDM, [105] RecSys Challenge. [106]
Более того, нейронные и глубокое обучение широко используются в промышленности, где они тщательно тестируются. [107] [58] [59] Тема воспроизводимости не нова в рекомендательных системах. К 2011 году Экстранд, Констан и др. критиковали то, что «в настоящее время трудно воспроизводить и расширять результаты исследований рекомендательных систем», и что оценки «не обрабатываются последовательно». [108] Констан и Адомавичус приходят к выводу, что «исследовательское сообщество рекомендательных систем сталкивается с кризисом, когда значительное количество статей представляет результаты, которые мало способствуют коллективному знанию [...] часто потому, что исследованиям не хватает [...] оценки, чтобы быть должным образом оцененными и, следовательно, внести значимый вклад». [109] Как следствие, многие исследования рекомендательных систем можно считать невоспроизводимыми. [110] Таким образом, операторы рекомендательных систем находят мало указаний в текущих исследованиях для ответа на вопрос, какие подходы к рекомендациям использовать в рекомендательных системах. Саид и Беллогин провели исследование статей, опубликованных в этой области, а также сравнили некоторые из самых популярных фреймворков для рекомендаций и обнаружили большие несоответствия в результатах, даже когда использовались одни и те же алгоритмы и наборы данных. [111]Некоторые исследователи продемонстрировали, что незначительные изменения в алгоритмах рекомендаций или сценариях привели к сильным изменениям в эффективности рекомендательной системы. Они пришли к выводу, что для улучшения текущей ситуации необходимо семь действий: [110] "(1) исследовать другие области исследований и учиться у них, (2) найти общее понимание воспроизводимости, (3) определить и понять детерминанты, которые влияют на воспроизводимость, (4) проводить более комплексные эксперименты, (5) модернизировать практику публикаций, (6) способствовать разработке и использованию фреймворков рекомендаций и (7) установить руководящие принципы передовой практики для исследований рекомендательных систем".
Рекомендации по применению искусственного интеллекта
Приложения искусственного интеллекта (ИИ) в системах рекомендаций представляют собой передовые методологии, которые используют технологии ИИ для повышения производительности механизмов рекомендаций. Рекомендатель на основе ИИ может анализировать сложные наборы данных, изучая поведение пользователя, его предпочтения и взаимодействия, чтобы генерировать высокоточные и персонализированные предложения контента или продуктов. [112] Интеграция ИИ в системы рекомендаций ознаменовала собой значительную эволюцию по сравнению с традиционными методами рекомендаций. Традиционные методы часто полагались на негибкие алгоритмы, которые могли предлагать элементы на основе общих тенденций пользователя или очевидных сходств в контенте. Для сравнения, системы на основе ИИ обладают способностью обнаруживать закономерности и тонкие различия, которые могут быть упущены из виду традиционными методами. [113] Эти системы могут адаптироваться к конкретным индивидуальным предпочтениям, тем самым предлагая рекомендации, которые больше соответствуют индивидуальным потребностям пользователя. Этот подход знаменует собой переход к более персонализированным, ориентированным на пользователя предложениям.
Системы рекомендаций широко используют методы ИИ, такие как машинное обучение , глубокое обучение и обработка естественного языка . [114] Эти передовые методы расширяют возможности системы для более точного прогнозирования предпочтений пользователей и предоставления персонализированного контента. Каждый метод вносит свой уникальный вклад. В следующих разделах будут представлены конкретные модели ИИ, используемые системой рекомендаций, путем иллюстрации их теорий и функциональных возможностей. [ необходима ссылка ]
Коллаборативные фильтры на основе KNN
Коллаборативная фильтрация (CF) является одним из наиболее часто используемых алгоритмов рекомендательной системы. Она генерирует персонализированные предложения для пользователей на основе явных или неявных поведенческих моделей для формирования прогнозов. [115] В частности, она опирается на внешнюю обратную связь, такую как рейтинги звезд, история покупок и т. д., для вынесения суждений. CF делает прогнозы о предпочтениях пользователей на основе измерений сходства. По сути, основная теория такова: «если пользователь A похож на пользователя B, и если A нравится элемент C, то, вероятно, B также нравится элемент C».
Существует множество моделей для совместной фильтрации. Для совместной фильтрации с применением ИИ распространенная модель называется K-ближайшие соседи . Идеи следующие:
Представление данных : создайте n-мерное пространство, где каждая ось представляет собой характеристику пользователя (рейтинги, покупки и т. д.). Представьте пользователя как точку в этом пространстве.
Статистическое расстояние : «Расстояние» измеряет, насколько далеко друг от друга находятся пользователи в этом пространстве. См. статистическое расстояние для вычислительных деталей
Определение соседей : на основе вычисленных расстояний находим k ближайших соседей пользователя, которому мы хотим дать рекомендации.
Формирование предиктивных рекомендаций : система проанализирует схожие предпочтения k соседей. Система будет давать рекомендации на основе этого сходства
Нейронные сети
Искусственная нейронная сеть (ИНС) — это модельная структура глубокого обучения, которая призвана имитировать человеческий мозг. Они состоят из ряда нейронов, каждый из которых отвечает за прием и обработку информации, передаваемой от других взаимосвязанных нейронов. [116] Подобно человеческому мозгу, эти нейроны будут изменять состояние активации на основе входящих сигналов (входные данные обучения и выходные данные обратного распространения), позволяя системе корректировать веса активации во время фазы обучения сети. ИНС обычно разрабатываются как модель черного ящика . В отличие от обычного машинного обучения, где базовые теоретические компоненты являются формальными и жесткими, совместные эффекты нейронов не совсем ясны, но современные эксперименты показали предсказательную силу ИНС.
ANN широко используется в системах рекомендаций из-за своей способности использовать различные данные. Помимо данных обратной связи, ANN может включать данные без обратной связи, которые слишком сложны для обучения с помощью совместной фильтрации, а уникальная структура позволяет ANN идентифицировать дополнительный сигнал из данных без обратной связи, чтобы улучшить пользовательский опыт. [114] Ниже приведены некоторые примеры:
Время и сезонность : что определяет время и дату или сезон, когда пользователь взаимодействует с платформой
Модели навигации пользователя : последовательность посещенных страниц, время, проведенное на различных частях веб-сайта, движение мыши и т. д.
Внешние социальные тенденции : информация из внешних социальных сетей
Обработка естественного языка
Обработка естественного языка представляет собой ряд алгоритмов ИИ, которые делают естественный человеческий язык доступным и анализируемым машиной. [117] Это довольно современная техника, вдохновленная растущим объемом текстовой информации. Для применения в системе рекомендаций распространенным случаем является отзыв клиента Amazon. Amazon будет анализировать комментарии отзывов от каждого клиента и сообщать соответствующие данные другим клиентам для справки. В последние годы были разработаны различные модели анализа текста, включая латентный семантический анализ (LSA), разложение по сингулярным значениям (SVD), латентное распределение Дирихле (LDA) и т. д. Их использование последовательно направлено на предоставление клиентам более точных и индивидуальных рекомендаций.
Конкретные приложения
Открытие академического контента
Развивающимся рынком для платформ поиска контента является академический контент. [118] [119] Ежедневно публикуется около 6000 статей в академических журналах, что делает все более сложным для исследователей баланс между управлением временем и тем, чтобы оставаться в курсе соответствующих исследований. [10] Хотя традиционные инструменты академического поиска, такие как Google Scholar или PubMed, предоставляют легкодоступную базу данных журнальных статей, рекомендации по контенту в этих случаях выполняются «линейным» образом, когда пользователи устанавливают «сигналы тревоги» для новых публикаций на основе ключевых слов, журналов или конкретных авторов.
Google Scholar предоставляет инструмент «Обновления», который предлагает статьи, используя статистическую модель , которая принимает в качестве входных данных авторизованные статьи и цитаты исследователей. [10] Хотя эти рекомендации были отмечены как чрезвычайно хорошие, это создает проблему для начинающих исследователей, у которых может отсутствовать достаточный объем работы для выработки точных рекомендаций. [10]
Принятие решений
В отличие от ранжирования на основе вовлеченности, используемого социальными сетями и другими цифровыми платформами, ранжирование на основе мостов оптимизируется для контента, который объединяет, а не поляризует . [120] [121] Примерами служат Polis и Remesh, которые использовались по всему миру для поиска большего консенсуса по конкретным политическим вопросам. [121] Twitter также использовал этот подход для управления своими заметками сообщества , [122] которые YouTube планировал пилотировать в 2024 году. [123] [124] Авив Овадья также выступает за внедрение алгоритмов на основе мостов на основных платформах путем предоставления совещательным группам , представляющим пользователей платформы, возможности контролировать разработку и реализацию алгоритма. [125]
Телевидение
Поскольку ландшафт подключенного телевидения продолжает развиваться, поиск и рекомендации рассматриваются как имеющие еще более важную роль в обнаружении контента. [126] С помощью устройств с широкополосным подключением, как ожидается, потребители будут иметь доступ к контенту из линейных источников вещания, а также интернет-телевидения . Поэтому существует риск того, что рынок может стать фрагментированным, оставив зрителям возможность посещать различные места и находить то, что они хотят смотреть, способом, который отнимает много времени и является сложным для них. Используя поисковую и рекомендательную систему, зрителям предоставляется центральный «портал», с которого они могут находить контент из нескольких источников всего в одном месте.
^ abcd Риччи, Франческо; Рокач, Лиор; Шапира, Браха (2022). «Рекомендательные системы: методы, приложения и проблемы». В Риччи, Франческо; Рокач, Лиор; Шапира, Браха (ред.). Справочник по рекомендательным системам (3-е изд.). Нью-Йорк: Springer. стр. 1–35. doi :10.1007/978-1-0716-2197-4_1. ISBN 978-1-0716-2196-7.
↑ Лев Гроссман (27 мая 2010 г.). «Как компьютеры узнают, чего мы хотим, — до того, как мы это сделаем». TIME . Архивировано из оригинала 30 мая 2010 г. . Получено 1 июня 2015 г. .
^ Рой, Дипджоти; Дутта, Мала (2022). «Систематический обзор и исследовательская перспектива рекомендательных систем». Журнал больших данных . 9 (59). doi : 10.1186/s40537-022-00592-5 .
^ ab Резник, Пол и Хэл Р. Вариан. «Рекомендательные системы». Сообщения ACM 40, № 3 (1997): 56–58.
^ Гупта, Панкадж; Гоэль, Ашиш; Лин, Джимми; Шарма, Аниш; Ван, Донг; Заде, Реза (2013). «WTF: сервис «Кто за кем следить» в Twitter». Труды 22-й Международной конференции по всемирной паутине . Ассоциация вычислительной техники. стр. 505–514. doi :10.1145/2488388.2488433. ISBN9781450320351.
^ Баран, Ремигиуш; Дзех, Анджей; Зея, Анджей (1 июня 2018 г.). «Способная платформа обнаружения мультимедийного контента на основе визуального анализа контента и интеллектуального обогащения данных». Мультимедийные инструменты и приложения . 77 (11): 14077–14091. doi : 10.1007/s11042-017-5014-1 . ISSN 1573-7721. S2CID 36511631.
^ H. Chen, AG Ororbia II, CL Giles ExpertSeer: экспертный рекомендатель на основе ключевых фраз для цифровых библиотек, в препринте arXiv 2015 г.
^ Чэнь, Хун-Сюань; Гоу, Лян; Чжан, Сяолун; Джайлс, Клайд Ли (2011). "CollabSeer: поисковая система для поиска совместной работы" (PDF) . Труды 11-й ежегодной международной совместной конференции ACM/IEEE по цифровым библиотекам . Ассоциация вычислительной техники. стр. 231–240. doi :10.1145/1998076.1998121. ISBN9781450307444.
^ Фелферниг, Александр; Исак, Клаус; Сабо, Калман; Захар, Питер (2007). «Среда поддержки продаж финансовых услуг VITA» (PDF) . В Уильяме Читеме (ред.). Труды 19-й Национальной конференции по инновационным приложениям искусственного интеллекта, т. 2. стр. 1692–1699. ISBN9781577353232. Копия ACM.
^ abcde jobs (3 сентября 2014 г.). «Как укротить поток литературы: Nature News & Comment». Nature . 513 (7516). Nature.com: 129–130. doi : 10.1038/513129a . PMID 25186906. S2CID 4460749.
↑ Анализ (14 декабря 2011 г.). «Netflix обновляет приложение для iPad, чтобы улучшить обнаружение контента». WIRED . Получено 31 декабря 2015 г.
^ Мелвилл, Прем; Синдхвани, Викас (2010). «Рекомендательные системы» (PDF) . В Клоде Саммуте; Джеффри И. Уэббе (ред.). Энциклопедия машинного обучения . Springer. стр. 829–838. doi :10.1007/978-0-387-30164-8_705. ISBN978-0-387-30164-8.
^ RJ Mooney & L. Roy (1999). Рекомендация книг на основе содержания с использованием обучения для категоризации текста . В Workshop Recom. Sys.: Algo. and Evaluation.
↑ Хаупт, Джон (1 июня 2009 г.). «Last.fm: онлайн-радио, управляемое людьми». Music Reference Services Quarterly . 12 (1–2): 23–24. doi :10.1080/10588160902816702. ISSN 1058-8167. S2CID 161141937.
^ ab Chen, Hung-Hsuan; Chen, Pu (9 января 2019 г.). «Дифференциация весов регуляризации — простой механизм облегчения холодного запуска в рекомендательных системах». ACM Transactions on Knowledge Discovery from Data . 13 : 1–22. doi : 10.1145/3285954. S2CID 59337456.
^ ab Рубенс, Нил; Элахи, Мехди; Сугияма, Масаши; Каплан, Дейн (2016). «Активное обучение в рекомендательных системах». В Риччи, Франческо; Рокач, Лиор; Шапира, Браха (ред.). Справочник по рекомендательным системам (2-е изд.). Springer US. стр. 809–846. doi :10.1007/978-1-4899-7637-6_24. ISBN978-1-4899-7637-6.
^ Бобадилла, Х.; Ортега, Ф.; Эрнандо, А.; Алькала, Х. (2011). «Улучшение результатов и производительности рекомендательной системы совместной фильтрации с использованием генетических алгоритмов». Системы, основанные на знаниях . 24 (8): 1310–1316. doi :10.1016/j.knosys.2011.06.005.
^ ab Elahi, Mehdi; Ricci, Francesco; Rubens, Neil (2016). «Обзор активного обучения в системах рекомендаций с совместной фильтрацией». Computer Science Review . 20 : 29–50. doi :10.1016/j.cosrev.2016.05.002.
^ Эндрю И. Шейн; Александрин Попескул; Лайл Х. Унгар ; Дэвид М. Пеннок (2002). Методы и метрики для рекомендаций по холодному запуску. Труды 25-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2002). : ACM . стр. 253–260. ISBN1-58113-561-0. Получено 2 февраля 2008 г. .
^ ab Bi, Xuan; Qu, Annie; Wang, Junhui; Shen, Xiaotong (2017). «Система рекомендаций, специфичная для группы». Журнал Американской статистической ассоциации . 112 (519): 1344–1353. doi :10.1080/01621459.2016.1219261. S2CID 125187672.
^ Стэк, Чарльз. «Система и метод предоставления рекомендаций по товарам и услугам на основе зарегистрированной истории покупок». Патент США 7,222,085, выдан 22 мая 2007 г.
^ Герц, Фредерик СМ. «Индивидуализированные электронные газеты и реклама». Патент США 7,483,871, выдан 27 января 2009 г.
^
Герц, Фредерик, Лайл Унгар, Цзянь Чжан и Дэвид Вахоб. «Система и метод предоставления доступа к данным с использованием профилей клиентов». Патент США 8,056,100, выдан 8 ноября 2011 г.
^
Харбик, Эндрю В., Райан Дж. Снодграсс и Джоэл Р. Шпигель. «Обнаружение похожих цифровых работ и создателей работ на основе плейлистов». Патент США 8,468,046, выданный 18 июня 2013 г.
^
Линден, Грегори Д., Брент Рассел Смит и Нида К. Зада. «Автоматизированное обнаружение и выявление поведенческих связей между просматриваемыми элементами». Патент США 9,070,156, выдан 30 июня 2015 г.
^ BEEL, Joeran и др. Системы рекомендации статей: обзор литературы. Международный журнал цифровых библиотек, 2016, 17. Jg., № 4, С. 305–338.
^ РИЧ, Элейн. Моделирование пользователя с помощью стереотипов. Когнитивная наука, 1979, 3. Jg., Nr. 4, S. 329–354.
^ Карлгрен, Юсси. «Алгебра для рекомендаций. Архивировано 25 мая 2024 г. на Wayback Machine . Рабочий документ Syslab 179 (1990).
^ Карлгрен, Юсси. «Кластеризация новостных групп на основе поведения пользователей — алгебра рекомендаций. Архивировано 27 февраля 2021 г. на Wayback Machine ». Исследовательский отчет SICS (1994).
^ Карлгрен, Юсси (октябрь 2017 г.). «Цифровая книжная полка: оригинальная работа по рекомендательным системам» . Получено 27 октября 2017 г.
^
Шардананд, Упендра и Патти Мэйс. «Фильтрация социальной информации: алгоритмы автоматизации «сарафанного радио». В трудах конференции SIGCHI по человеческим факторам в вычислительных системах, стр. 210–217. ACM Press/Addison-Wesley Publishing Co., 1995.
^ Хилл, Уилл, Ларри Стед, Марк Розенштейн и Джордж Фурнас. «Рекомендация и оценка вариантов выбора в виртуальном сообществе использования. Архивировано 21 декабря 2018 г. в Wayback Machine ». В трудах конференции SIGCHI по человеческим факторам в вычислительных системах, стр. 194–201. ACM Press/Addison-Wesley Publishing Co., 1995.
^ Резник, Пол, Неофитос Якову, Митеш Сучак, Питер Бергстрём и Джон Ридл. «GroupLens: открытая архитектура для совместной фильтрации сетевых новостей». В трудах конференции ACM 1994 года по совместной работе с использованием компьютеров, стр. 175–186. ACM, 1994.
^ Монтанер, М.; Лопес, Б.; де ла Роса, Дж. Л. (июнь 2003 г.). «Таксономия рекомендательных агентов в Интернете». Обзор искусственного интеллекта . 19 (4): 285–330. doi :10.1023/A:1022850703159. S2CID 16544257..
^ ab Адомавичус, Г.; Тужилин, А. (июнь 2005 г.). «К следующему поколению рекомендательных систем: обзор современного состояния и возможных расширений». Труды IEEE по инжинирингу знаний и данных . 17 (6): 734–749. CiteSeerX 10.1.1.107.2790 . doi :10.1109/TKDE.2005.99. S2CID 206742345. .
^ Herlocker, JL; Konstan, JA; Terveen, LG; Riedl, JT (январь 2004 г.). «Оценка систем рекомендаций совместной фильтрации». ACM Trans. Inf. Syst . 22 (1): 5–53. CiteSeerX 10.1.1.78.8384 . doi :10.1145/963770.963772. S2CID 207731647. .
^ abc Beel, J.; Genzmehr, M.; Gipp, B. (октябрь 2013 г.). "Сравнительный анализ офлайн- и онлайн-оценок и обсуждение оценки рекомендательных систем научных работ" (PDF) . Труды Международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . стр. 7–14. doi :10.1145/2532508.2532511. ISBN978-1-4503-2465-6. S2CID 8202591. Архивировано из оригинала (PDF) 17 апреля 2016 г. . Получено 22 октября 2013 г. .
^ Beel, J.; Langer, S.; Genzmehr, M.; Gipp, B.; Breitinger, C. (октябрь 2013 г.). "Исследовательская работа по оценке рекомендательных систем: количественный обзор литературы" (PDF) . Труды Международного семинара по воспроизводимости и репликации в оценке рекомендательных систем. стр. 15–22. doi :10.1145/2532508.2532512. ISBN978-1-4503-2465-6. S2CID 4411601.
^ Beel, J.; Gipp, B.; Langer, S.; Breitinger, C. (26 июля 2015 г.). «Системы рекомендации исследовательских работ: обзор литературы». Международный журнал цифровых библиотек . 17 (4): 305–338. doi :10.1007/s00799-015-0156-0. S2CID 207035184.
^ Джон С. Бриз; Дэвид Хеккерман и Карл Кади (1998). Эмпирический анализ предсказательных алгоритмов для совместной фильтрации . В трудах четырнадцатой конференции по неопределенности в искусственном интеллекте (UAI'98). arXiv : 1301.7363 .
^ Бриз, Джон С.; Хекерман, Дэвид; Кэди, Карл (1998). Эмпирический анализ предиктивных алгоритмов для совместной фильтрации (PDF) (Отчет). Microsoft Research.
^ Корен, Йехуда; Волински, Крис (1 августа 2009 г.). «Методы факторизации матриц для рекомендательных систем». Computer . 42 (8): 30–37. CiteSeerX 10.1.1.147.8295 . doi :10.1109/MC.2009.263. S2CID 58370896.
^ Сарвар, Б.; Карипис, Г.; Констан, Дж.; Ридл, Дж. (2000). «Применение снижения размерности в рекомендательной системе. Исследование случая».,
^ Аллен, Р. Б. (1990). Модели пользователя: теория, метод, практика . Международный журнал. Исследования человека и машины.
^ Парсонс, Дж.; Ральф, П.; Галлахер, К. (июль 2004 г.). Использование времени просмотра для определения предпочтений пользователя в рекомендательных системах . Семинар AAAI по персонализации семантической сети, Сан-Хосе, Калифорния..
^ Санхак Ли, Джихун Ян и Сон-Ён Пак, Обнаружение скрытого сходства при совместной фильтрации для преодоления проблемы разреженности, Discovery Science, 2007.
^ Felício, Crícia Z.; Paixão, Klérisson VR; Barcelos, Celia AZ; Preux, Philippe (9 июля 2017 г.). «Выбор модели многорукого бандита для рекомендаций по холодному запуску пользователя». Труды 25-й конференции по моделированию, адаптации и персонализации пользователей (PDF) . UMAP '17. Братислава, Словакия: Ассоциация вычислительной техники. стр. 32–40. doi :10.1145/3079628.3079681. ISBN978-1-4503-4635-1. S2CID 653908.
^ Совместные рекомендации с использованием сопоставлений сходства элементов. Архивировано 16.03.2015 на Wayback Machine.
^ Ван, Дунхуэй; Лян, Яньчунь; Сюй, Донг; Фэн, Сяоюэ; Гуан, Ренчу (2018). «Система рекомендаций на основе контента для публикаций по информатике». Системы, основанные на знаниях . 157 : 1–9. дои : 10.1016/j.knosys.2018.05.001 .
^ Бланда, Стефани (25 мая 2015 г.). «Системы рекомендаций онлайн – как веб-сайт узнает, чего я хочу?». Американское математическое общество . Получено 31 октября 2016 г.
^ XY Feng, H. Zhang, YJ Ren, PH Shang, Y. Zhu, YC Liang, RC Guan, D. Xu, (2019), «Система рекомендаций на основе глубокого обучения «Pubmender» для выбора места публикации биомедицинской литературы: исследование разработки и проверки», Журнал медицинских интернет-исследований , 21 (5): e12957
^ Гомес-Урибе, Карлос А.; Хант, Нил (28 декабря 2015 г.). «Система рекомендаций Netflix». Труды ACM по системам управленческой информации . 6 (4): 1–19. doi : 10.1145/2843948 .
^ Робин Берк, Гибридные веб-рекомендательные системы. Архивировано 12 сентября 2014 г. в Wayback Machine , стр. 377–408, Адаптивная сеть, Питер Брусиловски, Альфред Кобса, Вольфганг Нейдль (ред.), Конспект лекций по информатике, Springer-Verlag, Берлин, Германия, Конспект лекций по информатике, том 4321, май 2007 г., 978-3-540-72078-2.
^ ab Хидаси, Балаж; Карацоглу, Александрос; Балтрунас, Линас; Тикк, Домонкос (29 марта 2016 г.). «Рекомендации на основе сеансов с рекуррентными нейронными сетями». arXiv : 1511.06939 [cs.LG].
^ abc Чен, Минмин; Бейтель, Алекс; Ковингтон, Пол; Джейн, Сагар; Беллетти, Франсуа; Чи, Эд (2018). «Коррекция Top-K вне политики для рекомендательной системы REINFORCE». arXiv : 1812.02353 [cs.LG].
^ ab Yifei, Ma; Narayanaswamy, Balakrishnan; Haibin, Lin; Hao, Ding (2020). «Временно-контекстная рекомендация в реальном времени». Труды 26-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . Ассоциация вычислительной техники. стр. 2291–2299. doi : 10.1145/3394486.3403278 . ISBN978-1-4503-7998-4. S2CID 221191348.
^ Хидаси, Балаж; Карацоглу, Александрос (17 октября 2018 г.). «Рекуррентные нейронные сети с коэффициентом усиления Top-k для рекомендаций на основе сеансов». Труды 27-й Международной конференции ACM по управлению информацией и знаниями . CIKM '18. Турин, Италия: Ассоциация вычислительной техники. стр. 843–852. arXiv : 1706.03847 . doi :10.1145/3269206.3271761. ISBN978-1-4503-6014-2. S2CID 1159769.
^ Ли, Цзин; Жэнь, Пэнцзе; Чэнь, Чжуминь; Жэнь, Чжаочунь; Лянь, Тао; Ма, Цзюнь (6 ноября 2017 г.). «Рекомендация по нейронным сеансам внимания». Труды ACM 2017 г. по конференции по управлению информацией и знаниями . CIKM '17. Сингапур, Сингапур: Ассоциация вычислительной техники. стр. 1419–1428. arXiv : 1711.04725 . doi :10.1145/3132847.3132926. ISBN978-1-4503-4918-5. S2CID 21066930.
^ Лю, Цяо; Цзэн, Ифу; Мохоси, Рефуое; Чжан, Хайбинь (19 июля 2018 г.). "STAMP". Труды 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . KDD '18. Лондон, Соединенное Королевство: Ассоциация вычислительной техники. стр. 1831–1839. doi :10.1145/3219819.3219950. ISBN978-1-4503-5552-0. S2CID 50775765.
^ Синь, Синь; Карацоглу, Александрос; Арапакис, Иоаннис; Хосе, Джоемон (2020). «Самоконтролируемое обучение с подкреплением для рекомендательных систем». arXiv : 2006.05779 [cs.LG].
^ И, Юджин; Джейн, Вихан; Нарвекар, Санмит; Агарвал, Ритеш; Ву, Руи; Ченг, Хенг-Цзе; Чандра, Тушар; Бутилье, Крейг (2019). «SlateQ: легкодоступная декомпозиция для обучения с подкреплением с наборами рекомендаций». Труды Двадцать восьмой Международной совместной конференции по искусственному интеллекту (IJCAI-19) : 2592–2599.
^ Zou, Lixin; Xia, Long; Ding, Zhuoye; Song, Jiaxing; Liu, Weidong; Yin, Dawei (2019). «Обучение с подкреплением для оптимизации долгосрочного взаимодействия пользователей в рекомендательных системах». Труды 25-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных . KDD '19. стр. 2810–2818. arXiv : 1902.05570 . doi :10.1145/3292500.3330668. ISBN978-1-4503-6201-6. S2CID 62903207.
^ Лакиотаки, К.; Мацацинис; Цукиас, А. (март 2011 г.). «Многокритериальное моделирование пользователей в рекомендательных системах». IEEE Intelligent Systems . 26 (2): 64–76. CiteSeerX 10.1.1.476.6726 . doi :10.1109/mis.2011.33. S2CID 16752808.
^ Гедиминас Адомавичус; Никос Мануселис; ЁнОк Квон. «Многокритериальные рекомендательные системы» (PDF) . Архивировано из оригинала (PDF) 30 июня 2014 г.
^ Бунефуф, Джалель (2013), DRARS, Динамическая рекомендательная система с учетом рисков (доктор философии), Национальный институт телекоммуникаций
^ ab Yong Ge; Hui Xiong; Alexander Tuzhilin; Keli Xiao; Marco Gruteser; Michael J. Pazzani (2010). Энергоэффективная мобильная рекомендательная система (PDF) . Труды 16-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных. Нью-Йорк, Нью-Йорк : ACM . стр. 899–908 . Получено 17 ноября 2011 г. .
^ Пименидис, Элиас; Полатидис, Николаос; Муратидис, Хараламбос (3 августа 2018 г.). «Мобильные рекомендательные системы: определение основных концепций». Журнал информационной науки . 45 (3): 387–397. arXiv : 1805.02276 . doi : 10.1177/0165551518792213. S2CID 19209845.
^ ab Lohr, Steve (22 сентября 2009 г.). «Исследовательская сделка стоимостью в 1 миллион долларов для Netflix и, возможно, модель для других». The New York Times .
^ R. Bell; Y. Koren; C. Volinsky (2007). "Решение BellKor для Netflix Prize" (PDF) . Архивировано из оригинала (PDF) 4 марта 2012 г. . Получено 30 апреля 2009 г. .
↑ Бодоки, Томас (6 августа 2009 г.). «Матричная факторизация на миллион долларов». Индекс .
↑ Восстание хакеров Netflix. Архивировано 24 января 2012 г. на Wayback Machine.
^ «Netflix раскрыл ваш секрет о Горбатой горе, утверждается в иске». WIRED . 17 декабря 2009 г. Получено 1 июня 2015 г.
^ "Netflix Prize Update". Форум Netflix Prize. 12 марта 2010 г. Архивировано из оригинала 27 ноября 2011 г. Получено 14 декабря 2011 г.
^ Lathia, N., Hailes, S., Capra, L., Amatriain, X.: Временное разнообразие в рекомендательных системах [ мертвая ссылка ] . В: Труды 33-й Международной конференции ACMSIGIR по исследованиям и разработкам в области информационного поиска, SIGIR 2010, стр. 210–217. ACM, Нью-Йорк
^ Терпин, Эндрю Х.; Херш, Уильям (2001). «Почему пакетные и пользовательские оценки не дают одинаковых результатов». Труды 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . С. 225–231.
^ «Набор данных MovieLens» . 6 сентября 2013 г.
^ ab Chen, Hung-Hsuan; Chung, Chu-An; Huang, Hsin-Chien; Tsui, Wen (1 сентября 2017 г.). «Распространенные ошибки в обучении и оценке рекомендательных систем». ACM SIGKDD Explorations Newsletter . 19 : 37–45. doi :10.1145/3137597.3137601. S2CID 10651930.
^ Jannach, Dietmar; Lerche, Lukas; Gedikli, Fatih; Bonnin, Geoffray (10 июня 2013 г.). «Что рекомендуют рекомендатели — анализ точности, популярности и эффектов разнообразия продаж». В Carberry, Sandra; Weibelzahl, Stephan; Micarelli, Alessandro; Semeraro, Giovanni (ред.). Моделирование пользователей, адаптация и персонализация . Конспект лекций по информатике. Том 7899. Springer Berlin Heidelberg. стр. 25–37. CiteSeerX 10.1.1.465.96 . doi :10.1007/978-3-642-38844-6_3. ISBN978-3-642-38843-9.
^ ab Turpin, Andrew H.; Hersh, William (1 января 2001 г.). «Почему пакетные и пользовательские оценки не дают одинаковых результатов». Труды 24-й ежегодной международной конференции ACM SIGIR по исследованиям и разработкам в области информационного поиска . SIGIR '01. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 225–231. CiteSeerX 10.1.1.165.5800 . doi :10.1145/383952.383992. ISBN978-1-58113-331-8. S2CID 18903114.
^ Langer, Stefan (14 сентября 2015 г.). «Сравнение офлайн-оценок, онлайн-оценок и пользовательских исследований в контексте систем рекомендаций исследовательских работ». В Kapidakis, Sarantos; Mazurek, Cezary; Werla, Marcin (ред.). Исследования и передовые технологии для цифровых библиотек . Конспект лекций по информатике. Том 9316. Springer International Publishing. стр. 153–168. doi :10.1007/978-3-319-24592-8_12. ISBN978-3-319-24591-1.
^ Басаран, Даниэль; Нтуци, Эйрини; Зимек, Артур (2017). Труды Международной конференции SIAM 2017 года по интеллектуальному анализу данных . С. 390–398. doi :10.1137/1.9781611974973.44. ISBN978-1-61197-497-3.
^ Beel, Joeran; Genzmehr, Marcel; Langer, Stefan; Nürnberger, Andreas; Gipp, Bela (1 января 2013 г.). «Сравнительный анализ офлайн- и онлайн-оценок и обсуждение оценки рекомендательных систем научных работ». Труды Международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . RepSys '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 7–14. CiteSeerX 10.1.1.1031.973 . doi :10.1145/2532508.2532511. ISBN978-1-4503-2465-6. S2CID 8202591.
^ Каньямарес, Росио; Кастельс, Пабло (июль 2018 г.). Должен ли я следовать за толпой? Вероятностный анализ эффективности популярности в рекомендательных системах (PDF) . 41-я ежегодная международная конференция ACM SIGIR по исследованиям и разработкам в области информационного поиска (SIGIR 2018). Энн-Арбор, Мичиган, США: ACM. стр. 415–424. doi :10.1145/3209978.3210014. Архивировано из оригинала (PDF) 14 апреля 2021 г. . Получено 5 марта 2021 г. .
^ Каньямарес, Росио; Кастельс, Пабло; Моффат, Алистер (март 2020 г.). «Офлайн-опции оценки для рекомендательных систем» (PDF) . Информационный поиск . 23 (4). Springer: 387–410. doi :10.1007/s10791-020-09371-3. S2CID 213169978.
^ Ziegler CN, McNee SM, Konstan JA, Lausen G (2005). «Улучшение списков рекомендаций посредством диверсификации тем». Труды 14-й международной конференции по Всемирной паутине . С. 22–32.
^ ab Кастельс, Пабло; Херли, Нил Дж.; Варгас, Сауль (2015). «Новаторство и разнообразие в рекомендательных системах». В Риччи, Франческо; Рокач, Лиор; Шапира, Браха (ред.). Справочник рекомендательных систем (2-е изд.). Springer US. стр. 881–918. doi :10.1007/978-1-4899-7637-6_26. ISBN978-1-4899-7637-6.
^ Джоран Бил; Стефан Лангер; Марсель Генцмер; Андреас Нюрнбергер (сентябрь 2013 г.). «Постоянство в рекомендательных системах: предоставление одних и тех же рекомендаций одним и тем же пользователям несколько раз» (PDF) . В Тронд Аалберг; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Труды 17-й Международной конференции по теории и практике цифровых библиотек (TPDL 2013) . Конспект лекций по информатике (LNCS). Том 8092. Springer. стр. 390–394 . Получено 1 ноября 2013 г.
^ Косли, Д.; Лэм, СК; Альберт, И.; Констан, ДЖ.А.; Ридл, Дж. (2003). «Видеть — значит верить?: как интерфейсы рекомендательных систем влияют на мнения пользователей» (PDF) . Труды конференции SIGCHI по человеческим факторам в вычислительных системах . стр. 585–592. S2CID 8307833.
^ Pu, P.; Chen, L.; Hu, R. (2012). «Оценка рекомендательных систем с точки зрения пользователя: обзор современного состояния дел» (PDF) . Моделирование пользователей и взаимодействие, адаптированное к пользователям : 1–39.
^ Нарен Рамакришнан; Бенджамин Дж. Келлер; Батул Дж. Мирза; Анант Й. Грама; Джордж Карипис (2001). «Риски конфиденциальности в рекомендательных системах». IEEE Internet Computing . 5 (6). Пискатауэй, Нью-Джерси: Отдел образовательной деятельности IEEE: 54–62. CiteSeerX 10.1.1.2.2932 . doi : 10.1109/4236.968832. ISBN978-1-58113-561-9. S2CID 1977107.
^ Джоран Бил; Стефан Лангер; Андреас Нюрнбергер; Марсель Генцмер (сентябрь 2013 г.). «Влияние демографических данных (возраст и пол) и других характеристик пользователей на оценку рекомендательных систем» (PDF) . В Тронд Аалберг; Милена Добрева; Христос Папатеодору; Яннис Цаконас; Чарльз Фарруджа (ред.). Труды 17-й Международной конференции по теории и практике цифровых библиотек (TPDL 2013) . Springer. стр. 400–404 . Получено 1 ноября 2013 г.
^ Konstan JA, Riedl J (2012). «Рекомендательные системы: от алгоритмов к пользовательскому опыту» (PDF) . Моделирование пользователей и адаптированное для пользователей взаимодействие . 22 (1–2): 1–23. doi : 10.1007/s11257-011-9112-x . S2CID 8996665.
^ Риччи Ф., Рокач Л., Шапира Б., Кантор Б. П. (2011). Справочник по рекомендательным системам . С. 1–35. Bibcode :2011rsh..book.....R.
^ Мёллер, Джудит; Триллинг, Дамиан; Хелбергер, Натали; ван Эс, Брам (3 июля 2018 г.). «Не вините алгоритм: эмпирическая оценка множественных рекомендательных систем и их влияние на разнообразие контента». Информация, коммуникация и общество . 21 (7): 959–977. doi : 10.1080/1369118X.2018.1444076. hdl : 11245.1/4242e2e0-3beb-40a0-a6cb-d8947a13efb4 . ISSN 1369-118X. S2CID 149344712.
^ Монтанер, Микель; Лопес, Беатрис; де ла Роса, Хосеп Луис (2002). «Развитие доверия к рекомендательным агентам». Материалы первой международной совместной конференции «Автономные агенты и мультиагентные системы: часть 1» . стр. 304–305.
^ Beel, Joeran, Langer, Stefan, Genzmehr, Marcel (сентябрь 2013 г.). «Рекомендации по спонсируемым и органическим (исследовательская работа) публикациям и влияние маркировки» (PDF) . В Trond Aalberg, Milena Dobreva, Christos Papatheodorou, Giannis Tsakonas, Charles Farrugia (ред.). Труды 17-й Международной конференции по теории и практике цифровых библиотек (TPDL 2013) . стр. 395–399 . Получено 2 декабря 2013 г.
^ Феррари Дакрема, Маурицио; Больо, Симоне; Кремонези, Паоло; Яннах, Дитмар (8 января 2021 г.). «Тревожный анализ воспроизводимости и прогресса в исследовании рекомендательных систем». ACM Transactions on Information Systems . 39 (2): 1–49. arXiv : 1911.07698 . doi : 10.1145/3434185. hdl : 11311/1164333. S2CID 208138060.
^ Феррари Дакрема, Маурицио; Кремонези, Паоло; Яннах, Дитмар (2019). «Действительно ли мы добиваемся большого прогресса? Тревожный анализ последних подходов к нейронным рекомендациям». Труды 13-й конференции ACM по рекомендательным системам . RecSys '19. ACM. стр. 101–109. arXiv : 1907.06902 . doi : 10.1145/3298689.3347058. hdl : 11311/1108996. ISBN978-1-4503-6243-6. S2CID 196831663 . Получено 16 октября 2019 г. .
^ Рендл, Штеффен; Кричене, Валид; Чжан, Ли; Андерсон, Джон (22 сентября 2020 г.). «Нейронная коллаборативная фильтрация против матричной факторизации: новый взгляд». Четырнадцатая конференция ACM по рекомендательным системам . стр. 240–248. arXiv : 2005.09683 . doi : 10.1145/3383313.3412488 . ISBN978-1-4503-7583-2.
^ Сунь, Чжу; Ю, Ди; Фанг, Хуэй; Ян, Цзе; Цюй, Синхуа; Чжан, Цзе; Гэн, Конг (2020). «Проводим ли мы строгую оценку? Рекомендации по сравнительному анализу для воспроизводимой оценки и справедливого сравнения». Четырнадцатая конференция ACM по рекомендательным системам . АКМ. стр. 23–32. дои : 10.1145/3383313.3412489. ISBN978-1-4503-7583-2. S2CID 221785064.
^ Шифферер, Бенедикт; Деотте, Крис; Пьюже, Жан-Франсуа; де Соуза Перейра, Габриэль; Титериц, Жилберто; Лю, Цзивэй; Ак, Ронай. «Использование глубокого обучения для победы в конкурсе Booking.com WSDM WebTour21 по последовательным рекомендациям» (PDF) . WSDM '21: Конференция ACM по веб-поиску и интеллектуальному анализу данных . ACM. Архивировано из оригинала (PDF) 25 марта 2021 г. . Получено 3 апреля 2021 г. .
^ Волковс, Максимс; Рай, Химаньшу; Чэн, Чжаоюэ; У, Га; Лу, Ичао; Саннер, Скотт (2018). «Двухступенчатая модель для автоматического продолжения плейлиста в масштабе». Труды ACM Recommender Systems Challenge 2018. ACM. стр. 1–6. doi :10.1145/3267471.3267480. ISBN978-1-4503-6586-4. S2CID 52942462.
^ Ив Раймонд, Джастин Базилико Глубокое обучение для рекомендательных систем, Deep Learning Re-Work SF Summit 2018
^ Экстранд, Майкл Д.; Людвиг, Майкл; Констан, Джозеф А.; Ридл, Джон Т. (1 января 2011 г.). «Переосмысление экосистемы рекомендательных исследований». Труды пятой конференции ACM по рекомендательным системам . RecSys '11. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 133–140. doi :10.1145/2043932.2043958. ISBN978-1-4503-0683-6. S2CID 2215419.
^ Konstan, Joseph A.; Adomavicius, Gediminas (1 января 2013 г.). «К определению и принятию лучших практик в исследовании алгоритмических рекомендательных систем». Труды Международного семинара по воспроизводимости и репликации в оценке рекомендательных систем . RepSys '13. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 23–28. doi :10.1145/2532508.2532513. ISBN978-1-4503-2465-6. S2CID 333956.
^ ab Breitinger, Corinna; Langer, Stefan; Lommatzsch, Andreas; Gipp, Bela (12 марта 2016 г.). «К воспроизводимости в исследовании рекомендательных систем». Моделирование пользователей и адаптированное для пользователей взаимодействие . 26 (1): 69–101. doi :10.1007/s11257-016-9174-x. ISSN 0924-1868. S2CID 388764.
^ Саид, Алан; Беллогин, Алехандро (1 октября 2014 г.). «Сравнительная оценка рекомендательных систем». Труды 8-й конференции ACM по рекомендательным системам . RecSys '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 129–136. doi :10.1145/2645710.2645746. hdl :10486/665450. ISBN978-1-4503-2668-1. S2CID 15665277.
^ Верма, П.; Шарма, С. (2020). «Система рекомендаций на основе искусственного интеллекта». 2-я Международная конференция по достижениям в области вычислительной техники, управления связью и сетей (ICACCCN) 2020 г. С. 669–673. doi :10.1109/ICACCCN51052.2020.9362962. ISBN978-1-7281-8337-4. S2CID 232150789.
^ Ханал, СС (июль 2020 г.). «Систематический обзор: системы рекомендаций на основе машинного обучения для электронного обучения». Educ Inf Technol . 25 (4): 2635–2664. doi :10.1007/s10639-019-10063-9. S2CID 254475908.
^ ab Zhang, Q. (февраль 2021 г.). «Искусственный интеллект в рекомендательных системах». Complex and Intelligent Systems . 7 : 439–457. doi : 10.1007/s40747-020-00212-w .
^ Wu, L. (май 2023 г.). «Обзор рекомендаций нейронных сетей, ориентированных на точность: от совместной фильтрации к рекомендациям с большим объемом информации». Труды IEEE по инжинирингу знаний и данных . 35 (5): 4425–4445. arXiv : 2104.13030 . doi : 10.1109/TKDE.2022.3145690.
^ Самек, В. (март 2021 г.). «Объяснение глубоких нейронных сетей и не только: обзор методов и приложений». Труды IEEE . 109 (3): 247–278. arXiv : 2003.07631 . doi : 10.1109/JPROC.2021.3060483 .
^ Эйзенштейн, Дж. (октябрь 2019 г.). Введение в обработку естественного языка . Пресс-центр МТИ. ISBN9780262042840.
^ Миркин, Сима (4 июня 2014 г.). ""Расширение и настройка обнаружения контента для юридических академических сообщений" Симы Миркин". Статьи в юридических обзорах и других академических журналах . Digital Commons @ Американский университет, Вашингтонский колледж права . Получено 31 декабря 2015 г.
^ "Mendeley, Elsevier и важность обнаружения контента для академических издателей". Архивировано из оригинала 17 ноября 2014 г. Получено 8 декабря 2014 г.
^ Торберн, Люк; Овадья, Авив (31 октября 2023 г.). «Алгоритмы социальных сетей можно перепроектировать, чтобы преодолеть разногласия — вот как». Nieman Lab . Получено 17 июля 2024 г.
^ ab Ovadya, Aviv (17 мая 2022 г.). «Bridging-Based Ranking». Belfer Center at Harvard University . pp. 1, 14–28 . Получено 17 июля 2024 г.
^ Smalley, Alex Mahadevan, Seth (8 ноября 2022 г.). «Elon Musk сохраняет Birdwatch живым — под новым именем». Poynter . Получено 17 июля 2024 г. .{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Шанклин, Уилл (17 июня 2024 г.). «Функция заметок сообщества YouTube вырывает страницу из пьесы X». Engadget . Получено 17 июля 2024 г.
^ Новак, Мэтт (17 июня 2024 г.). «YouTube добавляет экспериментальную функцию заметок сообщества для борьбы с дезинформацией». Gizmodo . Получено 17 июля 2024 г.
^ Овадья, Авив (17 мая 2022 г.). «Рейтинг на основе мостов». Центр науки и международных отношений Белфера при Гарвардском университете . С. 21–23 . Получено 17 июля 2024 г.
^ Новое лицо телевидения
Дальнейшее чтение
Книги
Ким Фальк (ум. 2019), Практические рекомендательные системы, Manning Publications, ISBN 9781617292705
Бхарат Бхаскер; К. Шрикумар (2010). Рекомендательные системы в электронной коммерции. ЧАШКА. ISBN 978-0-07-068067-8. Архивировано из оригинала 1 сентября 2010 года.
Яннах, Дитмар; Маркус Занкер; Александр Фельферниг; Герхард Фридрих (2010). Рекомендательные системы: Введение. ЧАШКА. ISBN 978-0-521-49336-9. Архивировано из оригинала 31 августа 2015 года.
Сивер, Ник (2022). Вычислительный вкус: алгоритмы и рекомендации создателей музыки . Издательство Чикагского университета.
Научные статьи
Роберт М. Белл; Джим Беннетт; Йехуда Корен и Крис Волински (май 2009 г.). «Премия за программирование на миллион долларов». IEEE Spectrum . Архивировано из оригинала 11 мая 2009 г. Получено 10 декабря 2018 г.
Прем Мелвилл, Рэймонд Дж. Муни и Рамадасс Нагараджан. (2002) Контентно-усиленная коллаборативная фильтрация для улучшения рекомендаций. Труды Восемнадцатой национальной конференции по искусственному интеллекту (AAAI-2002), стр. 187–192, Эдмонтон, Канада, июль 2002 г.