Usenet ( / ˈ j uː z n ɛ t / ), USENET , [1] или «полностью», User's Network , [1] — всемирная распределенная дискуссионная система, доступная на компьютерах. Он был разработан на основе архитектуры коммутируемого доступа Unix-to-Unix Copy (UUCP) . Том Траскотт и Джим Эллис придумали эту идею в 1979 году, а она была основана в 1980 году. [2] Пользователи читают и публикуют сообщения (называемые статьями или сообщениями , а вместе они называются новостями ) в одной или нескольких тематических категориях, известных как группы новостей . Usenet во многих отношениях напоминает систему досок объявлений (BBS) и является предшественником интернет-форумов , которые стали широко использоваться. Обсуждения ведутся по цепочкам , как на веб-форумах и BBS, хотя сообщения хранятся на сервере последовательно. [3] [4]
Основное различие между BBS или веб-доской объявлений и Usenet заключается в отсутствии центрального сервера и выделенного администратора или хостинг-провайдера. Usenet распределен среди большого, постоянно меняющегося набора новостных серверов , которые хранят и пересылают сообщения друг другу через «ленты новостей». Отдельные пользователи могут читать сообщения и публиковать сообщения на локальном (или просто предпочитаемом) сервере новостей, которым может управлять кто угодно, и эти сообщения будут автоматически пересылаться на любые другие серверы новостей, соединенные с локальным, в то время как локальный сервер будет получать любые новости, которые есть у его коллег, которых ему сейчас не хватает. Это приводит к автоматическому распространению контента, опубликованного любым пользователем на любом сервере, среди любого другого пользователя, подписанного на те же группы новостей на других серверах.
Как и в случае с BBS и досками объявлений, отдельные новостные серверы или поставщики услуг не обязаны передавать какой-либо конкретный контент и могут отказаться делать это по многим причинам: сервер новостей может попытаться контролировать распространение спама, отказываясь принимать или пересылать спам. любые сообщения, которые активируют спам-фильтры , или сервер без хранилища данных большой емкости могут отказаться поддерживать любые группы новостей, используемые в основном для обмена файлами , ограничиваясь группами, ориентированными на обсуждения. Однако, в отличие от BBS и веб-форумов, рассредоточенный характер Usenet обычно позволяет пользователям, заинтересованным в получении определенного контента, получить к нему доступ, просто выбрав подключение к серверам новостей, которые передают нужные им каналы.
Usenet имеет культурное и историческое значение в сетевом мире, поскольку он породил или популяризировал множество широко известных концепций и терминов, таких как « FAQ », « флейм », « sockpuppet » и « спам ». [5] В начале 1990-х годов, незадолго до того, как доступ к Интернету стал общедоступным, соединения Usenet через коммутируемые сети BBS Fidonet сделали широко распространенными международные или всемирные дискуссии и другие виды связи, не требующие сервера, а только (локальные) телефонная служба. [6]
Название Usenet происходит от термина «сеть пользователей». [3] Первой группой Usenet была NET.general , которая быстро стала net.general . [7] Первый коммерческий спам в Usenet был отправлен иммиграционными адвокатами Кантером и Сигелом, рекламирующими услуги грин-карты. [7]
В Интернете Usenet передается через протокол передачи сетевых новостей (NNTP) через порт TCP 119 для стандартных незащищенных соединений и через порт TCP 563 для соединений с шифрованием SSL .
Usenet был задуман в 1979 году и публично создан в 1980 году в Университете Северной Каролины в Чапел-Хилл и Университете Дьюка , [8] [2] более чем за десять лет до того, как Всемирная паутина вышла в Интернет (и, следовательно, до того, как широкая общественность получила доступ к Интернет ), что делает его одной из старейших компьютерных сетевых систем связи , которые до сих пор широко используются. Первоначально он был построен на основе « ARPANET для бедных », используя UUCP в качестве транспортного протокола для передачи почты и файлов, а также объявлений через недавно разработанное новостное программное обеспечение, такое как A News . Название «Usenet» подчеркивает надежду его создателей на то, что организация USENIX примет активное участие в его работе. [9]
Статьи, которые пользователи публикуют в Usenet, организованы в тематические категории, известные как группы новостей , которые сами по себе логически организованы в иерархии тем. Например, sci.math и sci.физика находятся в иерархии sci.* . Или talk.origins и talk.atheism находятся в иерархии talk.* . Когда пользователь подписывается на группу новостей, программное обеспечение клиента новостей отслеживает, какие статьи он прочитал. [10]
В большинстве телеконференций большинство статей являются ответами на другие статьи. Набор статей, которые можно отследить до одной статьи, на которую нет ответа, называется потоком . Большинство современных программ чтения новостей отображают статьи, разбитые на темы и подтемы. Например, в группе новостей о виноделии Rec.crafts.winemaking кто-то может создать тему под названием; «Какие дрожжи самые лучшие?» и эта ветка или разговор могут перерасти в десятки ответов, возможно, от шести или восьми разных авторов. В течение нескольких дней разговор о различных винных дрожжах может разветвиться на несколько подтем в древовидной форме.
Когда пользователь публикует статью, она изначально доступна только на сервере новостей этого пользователя. Каждый сервер новостей общается с одним или несколькими другими серверами (своими «каналами новостей») и обменивается с ними статьями. Таким образом, статья копируется с сервера на сервер и в конечном итоге должна достичь каждого сервера в сети. Более поздние одноранговые сети работают по аналогичному принципу, но в Usenet обычно передачу инициирует отправитель, а не получатель. Usenet был разработан в условиях, когда сети были намного медленнее и не всегда доступны. Многие сайты в исходной сети Usenet подключались только один или два раза в день для пакетной передачи сообщений. [11] Во многом это связано с тем, что сеть POTS обычно использовалась для переводов, а стоимость телефонной связи в ночное время была ниже.
Формат и передача статей Usenet аналогичны форматам сообщений электронной почты в Интернете . Разница между ними заключается в том, что статьи Usenet могут быть прочитаны любым пользователем, чей сервер новостей содержит группу, в которой было опубликовано сообщение, в отличие от сообщений электронной почты, у которых есть один или несколько конкретных получателей. [12]
Сегодня значение Usenet уменьшилось по сравнению с интернет-форумами , блогами , списками рассылки и социальными сетями . Usenet отличается от таких средств массовой информации по нескольким причинам: Usenet не требует личной регистрации в соответствующей группе; информацию не нужно хранить на удаленном сервере; архивы всегда доступны; а для чтения сообщений нужен не почтовый или веб-клиент, а новостной клиент. Однако теперь можно читать и участвовать в группах новостей Usenet в значительной степени с помощью обычных веб-браузеров , поскольку большинство групп новостей теперь копируются на несколько веб-сайтов. [13] Группы в alt.binaries до сих пор широко используются для передачи данных.
Многие интернет-провайдеры и многие другие интернет-сайты имеют серверы новостей , к которым имеют доступ их пользователи. Интернет-провайдеры, которые не управляют собственными серверами напрямую, часто предлагают своим пользователям учетную запись от другого провайдера, который специально управляет новостными лентами. В ранних реализациях новостей сервер и программа чтения новостей представляли собой единый программный пакет, работавший в одной системе. Сегодня используется отдельное клиентское программное обеспечение для чтения новостей, программа, которая напоминает клиент электронной почты, но вместо этого обращается к серверам Usenet. [14]
Не все интернет-провайдеры имеют серверы новостей. Сервер новостей — одна из самых сложных в администрировании интернет-служб из-за большого объема задействованных данных, небольшой клиентской базы (по сравнению с обычными интернет-службами) и непропорционально большого количества обращений в службу поддержки клиентов (часто жалующихся на отсутствие новостных статей). . Некоторые интернет-провайдеры передают новостные операции специализированным сайтам, которые обычно кажутся пользователю такими, как если бы сервер управлял самим интернет-провайдером. Многие из этих сайтов имеют ограниченную ленту новостей с ограниченным количеством групп новостей. В такую ленту новостей обычно не включаются новостные группы на иностранных языках и иерархия alt.binaries , которая в основном содержит программное обеспечение, музыку, видео и изображения и на которую приходится более 99 процентов данных статей.
Существуют также провайдеры Usenet, которые предлагают полный неограниченный сервис пользователям, чьи интернет-провайдеры не передают новости или предоставляют ограниченные каналы.
Доступ к группам новостей обычно осуществляется с помощью программ чтения новостей : приложений, которые позволяют пользователям читать сообщения в группах новостей и отвечать на них. Эти приложения действуют как клиенты одного или нескольких серверов новостей. Исторически Usenet ассоциировался с операционной системой Unix , разработанной в AT&T , но вскоре программы чтения новостей стали доступны для всех основных операционных систем. [15] Клиентские программы электронной почты и интернет-пакеты конца 1990-х и 2000-х годов часто включали встроенную программу чтения новостей. Энтузиасты телеконференций часто критиковали их за то, что они уступают автономным программам чтения новостей, которые правильно используют протоколы, стандарты и соглашения Usenet. [16]
С появлением Всемирной паутины (WWW) веб-интерфейсы (web2news) стали более распространенными. Веб-интерфейсы снизили технические требования к входному барьеру до уровня одного приложения и отсутствия учетной записи сервера Usenet NNTP. В настоящее время существует множество веб-сайтов, предлагающих веб-шлюзы для групп Usenet, хотя некоторые люди по той или иной причине начали фильтровать сообщения, созданные некоторыми веб-интерфейсами. [17] [18] Группы Google [19] являются одним из таких веб-интерфейсов, и некоторые веб-браузеры могут получить доступ к группам Google через новости: прямые ссылки на протоколы. [20]
Меньшая часть групп новостей модерируется, а это означает, что сообщения, отправленные читателями, не распространяются непосредственно в Usenet, а вместо этого отправляются по электронной почте модераторам группы новостей для утверждения. Модератор должен получать отправленные статьи, просматривать их и добавлять одобренные статьи, чтобы их можно было правильно распространить по всему миру. Статьи, одобренные модератором, должны содержать строку заголовка «Одобрено:». Модераторы следят за тем, чтобы сообщения, которые читатели видят в группе новостей, соответствовали уставу группы новостей, хотя они не обязаны следовать каким-либо таким правилам или рекомендациям. [21] Обычно модераторы назначаются по предложению группы новостей, и смена модераторов осуществляется в соответствии с планом преемственности. [22]
Исторически сложилось так, что иерархия mod.* существовала до реорганизации Usenet. [23] Теперь модерируемые группы новостей могут появляться в любой иерархии, обычно с .moderated
добавлением имени группы.
Группы новостей Usenet в иерархии «Большой восьмерки» создаются на основе предложений, называемых «Запрос на обсуждение» или RFD. RFD должен содержать следующую информацию: имя группы новостей, запись файла контрольной группы и модерируемый или немодерируемый статус. Если группа будет модерироваться, необходимо указать хотя бы одного модератора с действующим адресом электронной почты. Другая информация, которая полезна, но не обязательна, включает в себя: устав, обоснование и политику модерации, если группа должна модерироваться. [24] Далее следует обсуждение предложения новой группы новостей, которое завершается тем, что члены Правления Большой Восьмерки принимают решение путем голосования либо одобрить, либо не одобрить новую группу новостей.
Немодерируемые группы новостей составляют большинство групп новостей Usenet, и сообщения, отправленные читателями в немодерируемые группы новостей, немедленно распространяются на всеобщее обозрение. Минимальная фильтрация редакционного контента и скорость распространения — вот одна из ключевых особенностей сообщества Usenet. Одним из немногих упоминаемых способов защиты от распространения является отмена распространяемого сообщения, но немногие пользователи Usenet используют эту команду, а некоторые программы для чтения новостей не предлагают команды отмены , отчасти потому, что срок хранения статей в любом случае истекает относительно быстро. Почти все немодерируемые группы Usenet, как правило, получают большое количество спама . [25] [26] [27]
Usenet — это набор протоколов для создания, хранения и получения новостных «статей» (которые напоминают почтовые сообщения Интернета) и для обмена ими среди читателей, которые потенциально широко распределены. Эти протоколы чаще всего используют алгоритм лавинной рассылки , который распространяет копии по сети участвующих серверов. Всякий раз, когда сообщение достигает сервера, этот сервер пересылает его всем своим соседям по сети, которые еще не видели статью. На каждом сервере хранится только одна копия сообщения, и каждый сервер предоставляет ее по требованию читателям (обычно локальным), имеющим доступ к этому серверу. Таким образом, совокупность серверов Usenet имеет определенный одноранговый характер, поскольку они совместно используют ресурсы путем их обмена, однако степень детализации обмена находится в другом масштабе, чем в современной одноранговой системе, и эта характеристика исключает реальных пользователей. системы, которые подключаются к серверам новостей с помощью типичного клиент-серверного приложения, очень похожего на программу чтения электронной почты.
RFC 850 был первой официальной спецификацией сообщений, которыми обмениваются серверы Usenet. Он был заменен RFC 1036, а затем RFC 5536 и RFC 5537.
В случаях публикации неподходящего контента Usenet поддерживает автоматическое удаление публикации из всей сети путем создания сообщения об отмене, хотя из-за отсутствия аутентификации и, как следствие, злоупотреблений, эта возможность часто отключается. Владельцы авторских прав по-прежнему могут запросить ручное удаление материалов, нарушающих авторские права, в соответствии с положениями соглашений Всемирной организации интеллектуальной собственности , таких как Закон США об ограничении ответственности за нарушение авторских прав в Интернете , но для этого потребуется уведомить каждого отдельного администратора сервера новостей.
В Интернете Usenet передается через протокол передачи сетевых новостей (NNTP) через порт TCP 119 для стандартных незащищенных соединений и через порт TCP 563 для соединений с шифрованием SSL .
Основной набор всемирных групп новостей содержится в девяти иерархиях, восемь из которых действуют в соответствии с согласованными правилами, регулирующими их администрирование и наименование. Текущая большая восьмерка :
См. также Великое переименование .
Иерархия alt.* не подчиняется процедурам, контролирующим группы «Большой восьмерки», и в результате она менее организована . Группы в иерархии alt.* имеют тенденцию быть более специализированными или конкретными — например, в рамках «Большой восьмерки» может быть группа новостей, содержащая обсуждения детских книг, но группа в иерархии alt может быть посвящена одному конкретному автору детских книг. книги. Двоичные файлы размещаются в alt.binaries.* , что делает его самой большой из всех иерархий.
Наряду с ними распространяются многие другие иерархии групп новостей. Региональные и языковые иерархии, такие как japan.* , Malta.* и ne.*, обслуживают определенные страны и регионы, такие как Япония , Мальта и Новая Англия . Компании и проекты администрируют свои собственные иерархии для обсуждения своих продуктов и предлагают техническую поддержку сообществу, например, историческую иерархию gnu.* от Free Software Foundation . Microsoft закрыла свой сервер новостей в июне 2010 года, теперь обеспечивая поддержку своих продуктов через форумы. [28] Некоторые пользователи предпочитают использовать термин «Usenet» для обозначения только иерархий «Большой восьмерки»; другие также включают alt.* . Более общий термин «сетевые новости» включает в себя всю среду, включая системы новостей частных организаций.
Также существуют неформальные соглашения подиерархии. *.ответы обычно представляют собой модерируемые группы перекрестных сообщений для часто задаваемых вопросов. Часто задаваемые вопросы будут публиковаться в одной группе, а перекрестная публикация в группе *.ответы во главе иерархии рассматривается некоторыми как уточнение информации в этой группе новостей. Некоторые подгруппы рекурсивны — вплоть до некоторой глупости в alt.* [ нужна цитата ] .
Usenet изначально был создан для распространения текстового контента, закодированного в 7- битном наборе символов ASCII . С помощью программ, кодирующих 8-битные значения в ASCII, стало практичным распространять двоичные файлы в качестве контента. Бинарные сообщения из-за их размера и зачастую сомнительного статуса авторских прав были временно ограничены определенными группами новостей, что упрощало администраторам разрешение или запрет трафика.
Самый старый широко используемый метод кодирования двоичного содержимого — uuencode из пакета Unix UUCP. В конце 1980-х годов статьи Usenet часто ограничивались 60 000 символов, а сегодня существуют более жесткие ограничения. Поэтому файлы обычно разбиваются на разделы, которые требуют повторной сборки читателем.
Благодаря расширениям заголовков и кодировкам MIME Base64 и Quoted-Printable появилось новое поколение двоичного транспорта. На практике MIME получил все большее распространение в текстовых сообщениях, но его избегают для большинства двоичных вложений. Некоторые операционные системы с прикрепленными к файлам метаданными используют специализированные форматы кодирования. Для Mac OS используются как BinHex , так и специальные типы MIME. Другими менее известными системами кодирования, которые, возможно, использовались когда-то, были кодирование BTOA , XX , BOO и USR.
В попытке сократить время передачи файлов в 2001 году была введена неофициальная кодировка файлов, известная как yEnc . Она позволяет сократить объем передаваемых данных примерно на 30%, предполагая, что большинство 8-битных символов можно безопасно передавать по сети без предварительного кодирования в 7-битное пространство ASCII. Самый распространенный метод загрузки больших двоичных сообщений в Usenet — конвертировать файлы в архивы RAR и создавать для них файлы Parchive . Файлы четности используются для воссоздания недостающих данных, когда не каждая часть файлов достигает сервера.
Двоичные группы новостей можно использовать для распространения файлов, и по состоянию на 2022 год некоторые из них остаются популярными в качестве альтернативы BitTorrent для обмена и загрузки файлов. [29]
Каждый сервер новостей выделяет определенный объем места для хранения контента в каждой группе новостей. Когда это хранилище заполнено, каждый раз, когда поступает новое сообщение, старые сообщения удаляются, чтобы освободить место для нового контента. Если полоса пропускания сети, доступная серверу, высока, но выделение памяти мало, огромный поток входящего контента может переполнить выделение и вытолкнуть все, что было в группе до этого. Средний период времени, в течение которого сообщения могут оставаться на сервере до удаления, обычно называют временем хранения .
Бинарные группы новостей могут надежно функционировать только в том случае, если выделено достаточно места для обработки количества добавляемых статей. Без достаточного времени хранения читатель не сможет загрузить все части двоичного файла до того, как он будет удален из хранилища группы. Когда-то именно так противодействовали публикации нежелательного контента; группа новостей будет переполнена случайными сообщениями с мусорными данными, в достаточном количестве, чтобы вытолкнуть весь контент, который нужно подавить. Это компенсируется тем, что поставщики услуг выделяют достаточно места для хранения всей публикуемой информации каждый день, включая потоки спама, ничего не удаляя.
Современные новостные серверы Usenet имеют достаточную мощность для архивирования многолетнего двоичного контента, даже когда он переполнен новыми данными на максимально доступной ежедневной скорости.
Отчасти из-за такого длительного времени хранения, а также растущей скорости загрузки в Интернет , Usenet также используется отдельными пользователями для хранения резервных данных. [31] Хотя коммерческие провайдеры предлагают более простые в использовании услуги онлайн-резервного копирования , хранение данных в Usenet является бесплатным (хотя доступ к самому Usenet может и не предоставляться). Этот метод требует, чтобы загрузчик уступил контроль над распространением данных; файлы автоматически распространяются среди всех провайдеров Usenet, обменивающихся данными для группы новостей, в которой они публикуются. Как правило, пользователь должен вручную выбрать, подготовить и загрузить данные . Данные обычно зашифрованы , поскольку каждый может загрузить файлы резервных копий. После загрузки файлов размещение нескольких копий в разных географических регионах мира на разных серверах новостей снижает вероятность потери данных.
Основные поставщики услуг Usenet имеют срок хранения более 12 лет. [32] В результате получается более 60 петабайт (60 000 терабайт ) хранилища (см. изображение). При использовании Usenet для хранения данных предпочтение отдается поставщикам, предлагающим более длительный срок хранения, чтобы гарантировать сохранение данных в течение более длительных периодов времени по сравнению с услугами с более низким временем хранения.
В то время как бинарные группы новостей могут использоваться для распространения полностью легальных произведений, созданных пользователями, бесплатного программного обеспечения и материалов, являющихся общественным достоянием, некоторые бинарные группы используются для незаконного распространения несвободного программного обеспечения , носителей, защищенных авторским правом, и порнографических материалов.
Серверы Usenet, управляемые интернет-провайдером, часто блокируют доступ ко всем группам alt.binaries.*, чтобы уменьшить сетевой трафик и избежать связанных с этим юридических проблем. Коммерческие поставщики услуг Usenet заявляют, что действуют как телекоммуникационные службы, и утверждают, что они не несут ответственности за публикуемый пользователями двоичный контент, передаваемый через их оборудование. В США провайдеры Usenet могут претендовать на защиту в соответствии с правилами DMCA Safe Harbor при условии, что они создадут механизм для соблюдения и реагирования на уведомления об удалении от правообладателей. [33]
Удаление контента, защищенного авторским правом, из всей сети Usenet является практически невыполнимой задачей из-за быстрого распространения между серверами и сохранения, выполняемого каждым сервером. Подача петиции об удалении провайдера Usenet удаляет его только из кэша хранения этого одного сервера, но не других. Возможно распространение специального сообщения об отмене поста для его удаления со всех серверов, но многие провайдеры игнорируют сообщения об отмене в соответствии со стандартной политикой, поскольку их может легко подделать и отправить кто угодно. [34] [35] Чтобы ходатайство об удалении было наиболее эффективным во всей сети, оно должно быть отправлено на исходный сервер, на котором был размещен контент, прежде чем оно будет распространено на другие серверы. Удаление контента на этой ранней стадии предотвратит дальнейшее распространение, но благодаря современным высокоскоростным каналам контент может распространяться так же быстро, как он поступает, не оставляя времени для проверки контента и удаления его правообладателями. [36]
Установить личность человека, публикующего незаконный контент, не менее сложно из-за структуры сети, основанной на доверии. Как и электронная почта SMTP , серверы обычно предполагают, что информация о заголовке и источнике сообщения верна и точна. Однако, как и в электронной почте SMTP, заголовки сообщений Usenet легко подделать, чтобы скрыть истинную личность и местоположение источника сообщения. [37] Таким образом, Usenet существенно отличается от современных P2P-сервисов; большинство пользователей P2P, распространяющих контент, обычно сразу идентифицируются всеми другими пользователями по их сетевому адресу , но информация об источнике публикации в Usenet может быть полностью скрыта и недоступна после того, как она распространится за пределы исходного сервера. [38]
Кроме того, в отличие от современных P2P-сервисов, личность загрузчика скрыта от глаз. В службах P2P загрузчик идентифицируется всеми остальными по сетевому адресу. В Usenet загрузчик подключается напрямую к серверу, и только сервер знает адрес того, кто к нему подключается. Некоторые провайдеры Usenet ведут журналы использования, но не все делают эту зарегистрированную информацию доступной для сторонних сторон, таких как Американская ассоциация звукозаписывающей индустрии . [39] [40] [41] Существование анонимных шлюзов в USENET также усложняет отслеживание истинного происхождения сообщений.
Эксперименты с группами новостей впервые были проведены в 1979 году. Том Траскотт и Джим Эллис из Университета Дьюка придумали эту идею в качестве замены местной программы объявлений и установили связь с близлежащим Университетом Северной Каролины , используя сценарии оболочки Bourne , написанные Стивом Белловином . Публичный выпуск новостей осуществлялся в виде обычного скомпилированного программного обеспечения , написанного Стивом Дэниелом и Траскоттом. [8] [43] В 1980 году Usenet был подключен к ARPANET через Калифорнийский университет в Беркли , который имел соединения как с Usenet, так и с ARPANET. Марк Хортон , аспирант, устанавливавший соединение, начал «передавать списки рассылки из ARPANET в Usenet» с идентификатором «fa» («Из ARPANET» [44] ). [45] За первый год своего существования Usenet приобрела 50 членов-сайтов, включая Рид-колледж , Университет Оклахомы и Bell Labs , [8] и число людей, использующих сеть, резко возросло; однако прошло еще некоторое время, прежде чем пользователи Usenet смогли внести свой вклад в ARPANET. [46]
Сети UUCP быстро распространяются благодаря более низким затратам и возможности использовать существующие выделенные линии, каналы X.25 или даже соединения ARPANET . К 1983 году в нем приняли участие тысячи людей с более чем 500 хостов, в основном университетов и сайтов Bell Labs, а также растущего числа компаний, связанных с Unix; число хостов почти удвоилось до 940 в 1984 году. Существовало более 100 групп новостей, более 20 посвящено Unix и другим темам, связанным с компьютерами, и по крайней мере треть - отдыху. [47] [8] Поскольку сеть хостов UUCP быстро расширялась, стало желательно отличать подмножество Usenet от общей сети. На конференции USENIX 1982 года было проведено голосование по выбору нового названия. Название Usenet было сохранено, но было установлено, что оно применимо только к новостям. [48] Имя UUCPNET стало общим названием для всей сети.
Помимо UUCP, ранний трафик Usenet также обменивался с Fidonet и другими сетями BBS с коммутируемым доступом . К середине 1990-х годов действовало почти 40 000 систем FidoNet, и можно было общаться с миллионами пользователей по всему миру, используя только местную телефонную связь. Широкому использованию Usenet сообществом BBS способствовало введение каналов UUCP, ставших возможными благодаря реализациям UUCP в MS-DOS, таким как UFGATE (UUCP to FidoNet Gateway), FSUUCP и UUPC. В 1986 году RFC 977 предоставил спецификацию протокола передачи сетевых новостей (NNTP) для распространения статей Usenet через TCP/IP как более гибкую альтернативу неформальной передаче через Интернет трафика UUCP. После интернет-бума 1990-х годов почти все распространение Usenet осуществляется через NNTP. [49]
Ранние версии Usenet использовали программное обеспечение Duke's A News , рассчитанное на одну или две статьи в день. Мэтт Гликман и Хортон из Беркли выпустили улучшенную версию под названием B News , которая могла справиться с растущим трафиком (около 50 статей в день по состоянию на конец 1983 года). [8] Благодаря формату сообщений, обеспечивающему совместимость с почтой Интернета и улучшенную производительность, он стал доминирующим серверным программным обеспечением. C News , разработанный Джеффом Коллайером и Генри Спенсером из Университета Торонто , был сравним с B News по функциям, но предлагал значительно более быструю обработку. В начале 1990-х годов Рич Зальц разработал InterNetNews , чтобы воспользоваться преимуществами непрерывного потока сообщений, ставшего возможным благодаря NNTP, по сравнению с пакетным дизайном с промежуточным хранением UUCP. С тех пор разработка INN продолжалась, а также разрабатывалось другое программное обеспечение для серверов новостей. [50]
Usenet был первым Интернет-сообществом и местом многих наиболее важных общественных событий в докоммерческом Интернете. Это было место, где Тим Бернерс-Ли объявил о запуске Всемирной паутины , [51] где Линус Торвальдс анонсировал проект Linux , [52] и где Марк Андриссен объявил о создании браузера Mosaic и введении тега изображения. , [53] которые произвели революцию во Всемирной паутине, превратив ее в графическую среду. Активистка Эми Гудло использовала платформу для ведения списка адресов электронной почты для ЛГБТ-активизма .
Многие жаргонные термины, которые сейчас широко используются в Интернете, возникли или были популяризированы в Usenet. [54] Аналогичным образом, многие конфликты, которые позже распространились на остальную часть Интернета, такие как продолжающиеся трудности со спамом , начались в Usenet. [55]
«Usenet похож на стадо выступающих слонов с диареей. Огромный, трудно перенаправить, внушающий трепет, развлекательный и источник ошеломляющего количества экскрементов, когда вы меньше всего этого ожидаете».
— Джин Спаффорд , 1992 г.
Саша Сеган из журнала PC Magazine сказал в 2008 году, что «Usenet умирает уже много лет». [56] Сеган сказал, что некоторые люди указали на « Вечный сентябрь» 1993 года как на начало упадка Usenet, когда AOL начала предлагать доступ к Usenet. Он утверждает, что, когда к концу 1990-х годов пользователи начали размещать большие (нетекстовые) файлы в Usenet, дисковое пространство и трафик Usenet соответственно увеличились. Интернет-провайдеры задаются вопросом, зачем им нужно размещать на хостинге двоичные статьи.
AOL прекратила доступ к Usenet в 2005 году. В мае 2010 года Университет Дьюка , реализация которого запустила Usenet более 30 лет назад, вывел из эксплуатации свой сервер Usenet, сославшись на низкий уровень использования и рост затрат. [57] [58] 4 февраля 2011 года ссылка на службу новостей Usenet в Университете Северной Каролины в Чапел-Хилл (news.unc.edu) была закрыта спустя 32 года. [ нужна цитата ]
В ответ Джон Биггс из TechCrunch сказал: «Пока есть люди, которые считают, что командная строка лучше мыши, оригинальная текстовая социальная сеть будет жить». [59] Хотя в Usenet все еще существуют активные текстовые группы новостей, система теперь в основном используется для обмена большими файлами между пользователями, а базовая технология Usenet остается неизменной. [60]
Со временем объем трафика Usenet неуклонно увеличивался. По состоянию на 2010 год [update]количество всех текстовых сообщений, сделанных во всех группах новостей «большой восьмерки», составляло в среднем 1800 новых сообщений в час, в среднем 25 000 сообщений в день. [61] Однако эти средние значения ничтожны по сравнению с трафиком в бинарных группах. [62] Большая часть этого увеличения трафика отражает не увеличение количества отдельных пользователей или дискуссий в группах новостей, а сочетание массовой автоматической рассылки спама и увеличения использования групп новостей .binaries [61] , в которых большие файлы часто публикуются публично. Ниже приведена небольшая выборка изменений (измеренная в размере корма в день):
В 2008 году Verizon Communications , Time Warner Cable и Sprint Nextel подписали соглашение с генеральным прокурором Нью-Йорка Эндрю Куомо о закрытии доступа к источникам детской порнографии . [64] Time Warner Cable прекратила предоставлять доступ к Usenet. Verizon сократил свой доступ к иерархии «Большой восьмерки». Sprint остановил доступ к иерархии alt.* . AT&T прекратила доступ к иерархии alt.binaries.* . Куомо никогда конкретно не упоминал Usenet в своей кампании против детской порнографии. Дэвид ДеЖан из PC World сказал, что некоторые обеспокоены тем, что интернет-провайдеры использовали кампанию Куомо как предлог для прекращения доступа к Usenet, поскольку это дорого обходится провайдерам интернет-услуг и не пользуется большим спросом у клиентов. В 2008 году AOL , которая больше не предлагала доступ к Usenet, и четыре провайдера, отреагировавшие на кампанию Куомо, были пятью крупнейшими провайдерами интернет-услуг в США; у них было более 50% доли рынка интернет-провайдеров в США. [65] 8 июня 2009 г. компания AT&T объявила, что с 15 июля 2009 г. она больше не будет предоставлять доступ к услуге Usenet. [66]
AOL объявила, что прекратит работу своего интегрированного сервиса Usenet в начале 2005 года, сославшись на растущую популярность блогов, чат-форумов и онлайн-конференций. [67] Сообщество AOL сыграло огромную роль в популяризации Usenet примерно 11 лет назад. [68]
В августе 2009 года Verizon объявила, что прекратит доступ к Usenet 30 сентября 2009 года. [69] [70] JANET объявила, что прекратит работу службы Usenet с 31 июля 2010 года, сославшись на группы Google в качестве альтернативы. [71] Microsoft объявила, что прекратит поддержку своих общедоступных групп новостей (msnews.microsoft.com) с 1 июня 2010 года, предложив в качестве альтернативы веб-форумы. [72]
Основные причины прекращения обслуживания Usenet обычными интернет-провайдерами включают снижение количества реальных читателей из-за конкуренции со стороны блогов , а также проблемы стоимости и ответственности, связанные с увеличением доли трафика, предназначенного для обмена файлами и спама в неиспользуемых или прекращенных группах. [73] [74]
Некоторые интернет-провайдеры не назвали давление со стороны кампании Куомо против детской порнографии одной из причин отказа от каналов Usenet как части своих услуг. [75] Интернет-провайдеры Cox и Atlantic Communications сопротивлялись тенденции 2008 года, но оба в конечном итоге отказались от своих соответствующих каналов Usenet в 2010 году. [76] [77] [78]
Публичные архивы статей Usenet существовали с первых дней существования Usenet, например, система, созданная Кеннетом Алмквистом в конце 1982 года. [79] [80] Распределенное архивирование сообщений Usenet было предложено в ноябре 1982 года Скоттом Оршаном, который предложил, чтобы « Каждый сайт должен хранить все опубликованные статьи навсегда». [81] Также в ноябре того же года Рик Адамс ответил на сообщение с вопросом: «Кто-нибудь архивировал сетевые новости или кто-нибудь планирует это сделать?» [82] , заявив, что он «боится признать это, но с 18 сентября я начал архивировать самые «полезные» группы новостей». [83] В июне 1982 года Грегори Г. Вудбери предложил систему «автоматического доступа к архивам», которая заключалась в «автоматическом ответе на сообщения фиксированного формата специальному получателю почты на определенных машинах». [84]
В 1985 году в Интернете были размещены две системы архивирования новостей и одна RFC . Первая система, названная Keepnews, разработанная Марком М. Свенсоном из Университета Аризоны , была описана как «программа, которая пытается обеспечить разумный способ извлечения и хранения информации, поступающей через Usenet». Основным преимуществом этой системы было то, что пользователи могли отмечать статьи как достойные сохранения. [85] Вторая система, YA News Archiver от Chuq Von Rospach, была похожа на Keepnews, но была «предназначена для работы с гораздо большими архивами, где замечательная функция Unix с квадратичным временем поиска... становится настоящей проблемой». [86] Фон Роспах в начале 1985 года опубликовал подробный RFC для «архивирования и доступа к статьям Usenet с поиском по ключевым словам ». В этом RFC описывается программа, которая может «создавать и поддерживать архив статей Usenet и позволять осуществлять поиск статей по идентификатору статьи, теме или ключевым словам, взятым из самой статьи». Также был включен код C для внутренней структуры данных системы. [87]
Желание иметь индекс полнотекстового поиска по архивным новостным статьям также не ново: один из таких запросов был сделан в апреле 1991 года Алексом Мартелли , который стремился «создать своего рода индекс ключевых слов для [архива новостей]». [88] В начале мая Мартелли опубликовал резюме своих ответов на Usenet, отметив, что «награда за самое популярное предложение обязательно должна достаться пакету lq-text Лиама Куина, недавно опубликованному в alt.sources». [89]
Сайт Alt Sex Stories Text Repository (ASSTR) архивирует и индексирует эротические и порнографические истории, размещенные в группе Usenet alt.sex.stories . [90]
Архивирование Usenet привело к опасениям потери конфиденциальности. [91] Архив упрощает составление профилей людей. Частично этому можно противодействовать введением заголовка X-No-Archive: Yes , который сам по себе является спорным. [92]
Архивирование сообщений Usenet через Интернет началось в марте 1995 года в Deja News с очень большой базой данных с возможностью поиска. В феврале 2001 года эта база данных была приобретена Google ; [93] Google начал архивировать сообщения Usenet для себя, начиная со второй недели августа 2000 года.
В группах Google хранится архив сообщений Usenet, начиная с мая 1981 года. Самые ранние сообщения, датированные периодом с мая 1981 года по июнь 1991 года, были переданы Google в дар Университетом Западного Онтарио с помощью Дэвида Уайзмана и других, [94] и первоначально были заархивированы Генри Спенсером на факультете зоологии Университета Торонто. [95] Архивы за конец 1991 – начало 1995 года были предоставлены Кентом Лэндфилдом из серии компакт-дисков NetNews [96] и Юргеном Кристоффелем из GMD . [97]
Google подвергся критике со стороны сотрудников Vice и Wired , а также бывших сотрудников за управление архивом и нарушение функций поиска. [98] [99] [100]
По состоянию на январь 2024 года в группах Google есть заголовок, в котором говорится:
С 22 февраля 2024 года группы Google больше не будут поддерживать новый контент Usenet. Публикация и подписка будут запрещены, а новый контент от узлов Usenet не будет появляться. Просмотр и поиск исторических данных по-прежнему будет поддерживаться, как и сегодня.
На пояснительной странице добавлено: [101]
Кроме того, сервер протокола передачи сетевых новостей Google (NNTP) и связанный с ним пиринг больше не будут доступны, а это означает, что Google не будет поддерживать обслуживание нового контента Usenet или обмен контентом с другими серверами NNTP.
Это изменение не повлияет на какой-либо контент, не относящийся к Usenet, в группах Google, включая все группы, созданные пользователями и организациями.
У Usenet были администраторы на уровне каждого сервера, а не в целом. Несколько известных администраторов:
Сегодня Usenet все еще существует, но это нелюдимое болото спама, порнографии и пиратского программного обеспечения.
Группы заполнялись спамом, шли массовые бои со спамерами и за то, что со спамом делать. Люди перестали использовать свои адреса электронной почты в сообщениях, чтобы избежать сбора данных. Люди покинули сеть.
...многие группы новостей с тех пор переполнены нежелательными сообщениями.
...Пока аутентифицированные отмены не станут популярными, не будет возможности избежать поддельных отмен и разрешить неподдельные...
Удвоение глагола: удвоение глагола может изменить его семантику, Звукоподобный сленг: каламбурный жаргон, Соглашение -P: способ формирования вопросов в LISPy, Чрезмерное обобщение: стандартные злоупотребления грамматикой, Разговорные нечленораздельные выражения: вздохи и <*вздохи*>, Антропоморфизация: онлайн-компоненты назывались «гомункулы», «демоны» и т. д., а также были «запутанные» программы. Сравнительные сравнения: стандартные сравнительные оценки качества дизайна.
идентификатор сообщения: bnews.spanky.138
{{cite book}}
: CS1 maint: multiple names: authors list (link){{cite journal}}
: CS1 maint: multiple names: authors list (link){{cite web}}
: CS1 maint: unfit URL (link){{cite web}}
: CS1 maint: unfit URL (link)