stringtranslate.com

Распределенная поисковая система

Распределенная поисковая система — это поисковая система , в которой нет центрального сервера. В отличие от традиционных централизованных поисковых систем, работа, такая как сканирование , добыча данных , индексация и обработка запросов , распределена между несколькими участниками децентрализованным образом, где нет единой точки контроля.

История

Предварительный поиск

Presearch, запущенный в 2017 году, представляет собой поисковую систему на базе ERC20 (PRE), работающую на основе распределенной сети узлов, управляемых сообществом, которые агрегируют результаты из различных источников. Это обеспечивает поиск на presearch.com/ Планируется, что это будет предшественником, где каждый узел будет сотрудничать в глобальном децентрализованном индексе. [1] Presearch в среднем выполняет 5 миллионов поисков в день и имеет 2,2 миллиона зарегистрированных пользователей. 1 сентября 2021 года Presearch был добавлен в качестве опции по умолчанию в список поисковых систем на Android для ЕС. [2] 27 мая 2022 года Presearch официально перешел из своей тестовой сети в основную сеть. Это означает, что весь поисковый трафик через сервис теперь проходит через децентрализованную сеть узлов Presearch, управляемых добровольцами. [3]

ЯСи

15 декабря 2003 года Майкл Кристен объявил на интернет-форуме Heise о разработке поисковой системы на основе P2P , которая в конечном итоге получила название YaCy . [4] [5]

Ищет

Seeks был открытым исходным кодом веб-поискового прокси и совместного распределенного инструмента для веб-поиска. Он перестал иметь пригодный для использования релиз в 2016 году.

ИнфраПоиск

В апреле 2000 года несколько программистов (включая Джина Кана и Стива Уотерхауса) создали прототип поисковой системы P2P на основе Gnutella под названием InfraSearch . Позже технология была приобретена Sun Microsystems и включена в проект JXTA . [6] Она должна была работать внутри баз данных участвующих веб-сайтов, создавая сеть P2P , к которой можно было получить доступ через веб-сайт InfraSearch. [7] [8] [9]

Опенкола

31 мая 2000 года Steelbridge Inc. объявила о разработке OpenCOLA — совместной дистрибутивной поисковой системы с открытым исходным кодом. [10] Она работает на компьютере пользователя и сканирует веб-страницы и ссылки, которые пользователь помещает в свою папку opencola, и делится полученным индексом через свою сеть P2P . [11]

Фару

В феврале 2001 года Вольф Гарбе опубликовал идею одноранговой поисковой системы, [12] начал прототип Faroo в 2004 году, [13] и выпустил его в 2005 году. [14] [15]

Цели

Цели создания распределенной поисковой системы включают в себя:

1. создать независимую поисковую систему, работающую на средства сообщества;

2. сделать операцию поиска открытой и прозрачной, используя программное обеспечение с открытым исходным кодом;

3. распределять доходы от рекламы среди владельцев узлов, что может помочь создать более надежную веб-инфраструктуру;

4. предоставить исследователям возможность внести свой вклад в разработку алгоритмов ранжирования с открытым исходным кодом, поддерживаемых общественностью, а также контролировать обучение параметров алгоритма.

Вызовы

1. Объем данных, которые необходимо обработать, огромен. Размер видимой паутины оценивается в 5 ПБ, распределенных по 10 миллиардам страниц.

2. Задержка распределенной операции должна быть конкурентоспособной с задержкой коммерческих поисковых систем.

3. Необходимо разработать механизм, который не позволит злоумышленникам повредить распределенные структуры данных или ранг.

Смотрите также

Ссылки

  1. ^ «Presearch — децентрализованная поисковая система».
  2. ^ 297shares; 4.3kreads (2021-09-01). "Google добавляет предварительный поиск как опцию по умолчанию на устройствах Android в ЕС". Search Engine Journal . Получено 2021-11-10 .{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка )
  3. ^ Кан, Майкл (2022-05-26). «Следующий Google? Децентрализованная поисковая система 'Presearch' выходит из фазы тестирования». PC Magazine .
  4. ^ "YaCy: News". Архивировано из оригинала 2005-11-24.
  5. ^ Майкл Кристен. «Я запутался в своей P2P-базе такой машины. Wer macht mit?». Хайз онлайн .
  6. ^ Джастин Хиббард. «Может ли одноранговый рост?». Red Herring .[ постоянная мертвая ссылка ‍ ]
  7. ^ Саймон Фауст. «Подвинься, Yahoo, здесь идет инфрапоиск». Dmusic . Архивировано из оригинала 2000-10-13.
  8. ^ Шон М. Дуган. «Пир-ту-пир сетевое взаимодействие готово снова произвести революцию в Интернете». InfoWorld . Архивировано из оригинала 2000-10-18.
  9. ^ Джон Борланд. «Технология, подобная Napster, выводит веб-поиск на новый уровень». Cnet .
  10. ^ Дэвид Акин . «Программное обеспечение запущено с небольшим щелчком». Financial Post .[ мертвая ссылка ‍ ]
  11. ^ Пол Хельцель. «OpenCola — код и улыбка». Обзор технологий .
  12. ^ Вольф Гарб. «BINGOOO - Die Transformation des World Wide Web zur kindellen Datenbank» (на немецком языке). Wirtschaftinformatik. Архивировано из оригинала 2 февраля 2014 г. Проверено 21 декабря 2010 г. ... Wir setzen dem das Konzept einer verteilten Peer-to-Peer-Suchmaschine entgegen [Мы возражаем против концепции распределенной одноранговой поисковой системы] ...
  13. ^ Бернард Ланн. «Технические вопросы и ответы с основателем FAROO». ReadWriteWeb . Архивировано из оригинала 2011-02-14. ... Когда я начал работать над первым прототипом в 2004 году ...
  14. ^ "FAROO: История". Архивировано из оригинала 2008-03-22.
  15. ^ «Повторное рассмотрение: Определение точек начала работы сканера на основе посещённых страниц путём мониторинга HTTP-трафика». Faroo.