Конференции Usenet. Чтение конференций. Поиск в конференциях Unenet. Конференции Usenet. Чтение конференций. Поиск в конференциях Unenet.

  1. Конференции Usenet. Принципы работы в конференциях Usenet. Механизм создания учетной записи пользователя конференции Usenet.
  2. fido7, relcom, Google Groups - система для чтения news конференций
  3. Поиск информации в системе телеконференций Usenet:
    1. Gopher, Wais, Archie
    2. TELA - поиск информации в конференциях RELCOM
    3. CORVIS - поиск информации в конференциях RELCOM и FIDO
    4. Dej News Gate - русскоязычный интерфейс к поисковой системе Deja News
  4. Протокол NNTP (Network News Transmission Protocol). Работа с сервером новостей
  5. Литература
  1. Конференции Usenet. Принципы работы в конференциях Usenet. Механизм создания учетной записи пользователя конференции Usenet.
    Usenet — компьютерная сеть, используемая для общения и обмена файлами. Usenet состоит из ньюсгрупп, в которые пользователи могут посылать сообщения. Сообщения хранятся на большом количестве серверов, которые обмениваются ими друг с другом. Usenet оказал большое влияние на развитие Интернет-культуры, дав начало таким широко известным понятиям, как смайлы, FAQ и спам.
    Группа новостей (англ. newsgroup) или ньюсгруппа, ньюзгруппа — виртуальное вместилище сообщений в технологии NNTP, аналог канала в IRC. Иногда вместо термина группа новостей не вполне грамотно используется конференция. Группы обозначаются названиями, состоящими из слов, разделённых точками (.).
    Термин группа новостей является сугубо техническим и ничего не говорит о принадлежности, назначении или правилах управления новостным ресурсом. Большинство существующих групп новостей принадлежитUsenet, однако т.к. NNTP-технологию используют не только в Usenet, то существуют группы новостей, не имеющие к Usenet никакого отношения, частные, управляемые по своим правилам.
    Usenet — одна из старейших сетей, широко используемых до сих пор. Она появилась в 1980 году — задолго до того, как широкая публика получила доступ ко Всемирной паутине. Система была разработана в Duke University. В настоящее время практически весь Usenet-трафик передаётся по Интернету, а формат сообщений и способ их передачи очень похож на электронную почту. Однако, если электронная почта используется прежде всего для общения «один на один», то Usenet действует по принципу «один для всех». Сообщения, которые пользователь публикует (англ. posts) в Usenet, организуются в тематические категории, называемые новостными группами (англ. newsgroups) или конференциями, которые в свою очередь организуются в собственную иерархию, подобную структуре доменных имён. Например, группы sci.math и sci.physics находятся внутри иерархии sci (сокращение от англ. science — наука). С помощью приложений для работы с Usenet пользователь может «подписаться» на определённые конференции.
    Когда пользователь отправляет сообщение, вначале оно становится доступно только на его сервере. Но каждый сервер news обменивается сообщениями с несколькими другими соседними серверами, и таким образом сообщение должно оказаться на каждом сервере в сети. Пиринговые сети используют подобный принцип, однако в Usenet отправка сообщения инициируется отправителем, а не получателем.

    Провайдеры и новостные серверы
    Многие Интернет-провайдеры в числе прочих услуг предоставляют своим пользователям бесплатный доступ к собственным новостным серверам. Однако, далеко не каждый из них способен предложить своим пользователям доступ ко всем новостным группам и/или их содержимому. Объемы публикуемой информации в Usenet колоссальны. Их хранение и пересылка предполагают большие расходы. Именно поэтому доступ к большей части информации предоставляется за плату отдельными, специализированными новостными серверами. Объемы информации, сроки ее хранения и скорость передачи, главным образом, влияют на стоимость их услуг. Основной объем трафика приходится на группы класса alt.binaries. Именно они предназначены для публикации файлов, именно в них пользователи делятся фотографиями, музыкой, фильмами, играми и программами. Именно их содержание частично или полностью оказывается недоступным пользователям бесплатных сервисов.
    Однако, несмотря на явные недостатки (платный доступ, короткий срок жизни публикаций и пр.), Usenet даже в эру пиринговых сетей остается популярным способом обмена файлов. Многие релизы начинают свое шествие по глобальной сети именно из новостных групп, а многие из-за своих внушительных объемов не выходят за их пределы. Высокая скорость доступа, отсутствие необходимости передавать данные после загрузки далее по цепи другим пользователям, это то что Usenet может противопоставить P2P.

    Организация
    Основные иерархии Usenet составляют «Большую Восьмерку»:
    comp.*: обсуждение тем, связанных с компьютерами (comp.software, comp.sys.amiga);
    misc.*: разнообразные темы (misc.education, misc.forsale, misc.kids);
    news.*: новости Usenet-a (news.groups, news.admin);
    rec.*: развлечения и отдых (rec.music, rec.arts.movies);
    sci.*: научные дискуссии (sci.psychology, sci.research);
    soc.*: социальные темы (soc.college.org, soc.culture.african);
    talk.*: разговоры, в том числе на «горячие» темы (talk.religion, talk.politics);
    humanities.*: искусство, литература, философия (humanities.classics, humanities.design.misc).
    Иерархия alt.* не подвластна процедурам, контролирующим ньюсгруппы Большой Восьмерки, и, как результат, менее организована. Группы в этой иерархии гораздо более специализированы: например, в Большой Восьмерке может быть группа, посвящённая детской литературе, а в alt-иерархии может быть группа об одном определённом авторе. Бинарные файлы публикуются в alt.binaries.*, что делает alt самой большой иерархией.
    Существуют также иерархии предназначенные для определённого региона (japan.*), или для обсуждения продуктов определённой компании (microsoft.*).
    Иерархия fido7.ru.* включает в себя эхоконференци сети Фидонет на русском языке.

    Обмен файлами в Usenet
    Сервера Usenet дублируют (частично или полностью) информацию хранящуюся друг у друга для того чтобы их пользователи могли общаться между собой. Однако, работают они не синхронно. Каждый из них имеет свои ограничения на объем загружаемой ежедневно информации с других серверов или, по крайней мере, сроки ее хранения (англ. retention rate). Причем администрация сервера определяет сама, какие группы следует синхронизировать, в каком объеме и сколько в той или иной группе должна храниться информация. Каждый сервис в силу собственных возможностей стремится предоставить максимум своим пользователям. Многие платные серверы негласно приветствуют практически любой контент, даже пиратский, отказывясь вести логи (протоколировать действия своих пользователей).
    Среди прочих ограничений осложняющих файлообмен в Usenet, с которыми невольно сталкнется каждый пользователь есть и ограничение на объем одной публикации (кол-во строк / мегабайт). На каждом сервере администрация устанавливается свой лимит. На одних он может составлять 15 мегабайт, на других 50 и более. Для публикации больших файлов их предварительно приходится разбивать на множество частей. Здесь на помощь может придти WinRAR с возможностью создания многотомных архивов заданной величины.

  2. fido7, relcom, Google Groups - система для чтения news конференций

    Иерархия fido7 представляет собой эхоконференции Fidonet® ( Fidonet - это международная любительская компьютерная сеть), преобразованные в формат Usenet. Она не является "обычной" иерархией Usenet, потому что составляющие ее группы создаются не в результате голосования, а являются "отражениями" соответствующих эхоконференций Fidonet.
    Концепции "сетевого этикета" в Fidonet существенно отличаются от таковых в Usenet. В то время как технология Fidonet не позволяет создавать модерируемых конференций (т.е. премодерируемых как в Usenet), большинство конференций являются постмодерируемыми. Это означает, что при появлении неподходящих сообщений ответственный за их появление узел несет наказание, и может быть технически отключен от эхоконференции или даже от всех конференций.
    В Fidonet также предполагается, что оператор узла (так называемый "Sysop") предоставляет своим пользователям доступ к конференциям только после того, как расскажет им, какое поведение считается подходящим, а какое нет. В дальнейшем, если пользователь нарушает правила, его Sysop несет за это ответственность.
    Такой подход серьезно осложняет работу шлюзов Fidonet - Usenet. В Fidonet, все подписчики из Usenet выглядят как пользователи одного узла Fidonet, того, который функционирует в качестве шлюза. А если группы немодерируемы, то у Sysop-а нет средств проинформировать подписчиков о правилах и традициях до того, как они отправят свою статью.
    В силу этих причин, принципы работы иерархии fido7 были изменены в начале 1997 г. с целью большего соответствия практике Fidonet. Все группы иерархии были сделаны модерируемыми. На точке модерирования была установлена специальная программа, действующая следующим образом:
    Из входящей статьи извлекается адрес "From:" и ищется в локальной базе данных. Если такого адреса нет (т.е. это новичок), по этому адресу посылается документ, описывающий, что представляют собой группы fido7 и что там можно, а что нельзя. Вместе с этим документом, высылается копия исходной статьи (чтобы автор мог позже послать ее снова), а также уникальный "регистрационный ключ". Адрес "From:" записывается в базу с пометкой "еще не зарегистрирован".
    Если такой адрес уже есть в базе, но он помечен как "еще не зарегистрирован" (т.е. это незарегистрированный пользователь), ему отсылается сообщение с "регистрационный ключом" и инструкций по регистрации. (Это происходит до пяти раз).
    Если такой адрес есть в базе и помечен как "зарегистрированный", в статье ставится признак "approved" и она отправляется в ньюзгруппу и через шлюз в Fidonet.
    Также заводится специальный адрес e-mail для приема запросов на регистрацию содержащих регистрационный ключ. По получении такого запроса, соответствующий адрес в базе помечается как "зарегистрированный". Некоторые могут подумать, что это фашистская схема, но смотритель шлюза хотел бы Вас уверить, что она действительно необходима, не потому, что он фашист, а потому, что модераторы и читатели из Fidonet бывают очень недовольны неподходящими статьями, и двусторонее шлюзование стало практически невозможным без подобных мер. Модераторы начали просто отключать узел со шлюзом от своих эхоконференций.

    Relcom сильно напоминает Internet в масштабах России. Основная задача Relcom - обеспечить не столько доступ к компьютерным ресурсам, сколько возможность взаимодействия различных профессиональных групп, рассредоточенных на большой территории. Такая направленность сети мотивируется тем, что Relcom появился в период распада сверхцентрализованного государства, когда альтернативные структуры еще только формировались. В условиях нестабильных экономических структур и быстро меняющегося законодательства создание специализированных сетей и последующее их объединение (как это происходило на Западе) было просто невозможно.
    В настоящее время сеть является скорее средством общения разработчиков новых решений, чем частью устойчивых общественных структур.
    Relcom обеспечивает передачу электронной почты внутри страны и за рубеж абонентам сетей Internet, напрямую в сети EUnet, BITNET, MCI-mail, CompuServe и др. Это позволяет включиться в мировую систему коммуникаций. Сегодня для многих компаний мира электронная почта стала еще одним, а для отечественных организаций, как правило, единственным коммуникационным средством общения на мировом рынке. Имеется возможность передачи телексных и телетайпных сообщений.
    Использование крупнейшей в мире системы телеконференций USENET News позволяет участвовать в международных дискуссиях по более чем тысяче самых разных тем и направлений. Существует множество телеконференций внутри самой сети Relcom, особенно их много по различным коммерческим тематикам.
    По соглашению с информационными агентствами пользователь сети Relcom может получать аналитические материалы по коммерческой деятельности, политические и экономические новости, обзоры материалов популярных изданий; некоторые виды изданий доступны только по электронной почте , как, например, оперативный перевод американского электронного бюллетеня Field Computing Source Letter (The Teleputing Hotline).
    Осуществляется переход на протоколы более высокого уровня, предоставляется уже такой вид услуг, как выделенный доступ по соответствующей линии. При таком доступе имеется возможность работы с протоколами ftp, telnet и т.д. и соответствующим прикладным и системным программным обеспечением.
    Для дальнейшего развития услуг сети планируется расширить число информационных источников, организовать специализированные экспертные услуги, обеспечить возможность доставки ``электронных'' писем с использованием факсимильной связи. Техническое развитие сети прежде всего связывается с повышением пропускной способности каналов связи, широким переходом на протоколы более высокого уровня, и, как следствие, расширение сервиса, предоставляемого пользователю.

    Google Groups (Группы Google) — веб-сервис компании Google.
    Google Groups предоставляет архивы групп новостей Usenet, начиная с 11 мая 1981 г., и даёт возможность поиска по этим архивам. В частности, Google Groups включает архив эхоконференций Фидонет, полученный через гейты Usenet—Fido. Это единственный архив Фидо с возможностью поиска.
    Кроме того, пользователи Google Groups могут помещать сообщения в группы новостей Usenet, используя тем самым Google Groups как гейт Usenet—WWW.
    Google Groups позволяет пользователям создавать собственные группы обсуждений с более широкими возможностями, чем обычные Usenet-группы; одной из таких возможностей является расставление пользователями рейтинга сообщениям.
    Google Groups является расширением сервиса Deja.com, приобретённого Google в феврале 2001 г. Все Usenet-сообщения, бывшие в архиве Deja.com, включены в состав архива Google Groups.

  3. Поиск информации в системе телеконференций Usenet:
    1. Gopher, Wais, Archie

      GOPHER (RFC-1436) (В настоящее время утилита устарела и не используется) представляет собой систему для поиска и доставки документов, хранящихся в распределенных хранилищах-депозитариях. Система разработана в университете штата Миннесота (на гербе этого штата изображен хомяк, по-английски gopher). Программа Gopher предлагает пользователю последовательность меню, из которых он может выбрать интересующую его тему или статью. Объектом поиска может быть текст или двоичный файл (во многих депозитариях даже текстовые файлы хранятся в архивированном, а следовательно, двоичном виде), графический или звуковой образ. Gopher кроме того предлагает шлюзы в другие поисковые системы WWW, Wais, Archie, Whois, а также в сетевые утилиты типа telnet или FTP. Gopher может предложить больше удобств для работы с оглавлением файлов (directory), чем FTP. Для доступа в глобальную сеть Gopher использует модель клиент-сервер. Система Gopher в настоящее время устарела, многие ее серверы интегрированы в сеть WEB. Но gopher явился прототипом современных интерфейсов WWW и именно делает его интересным.
      Для реализации доступа пользователь должен работать в рамках протоколов TCP/IP и иметь на своей машине программу-клиент одной из версий gopher.

      WAIS (Wide Area Information Server) распределенная система поиска информации (В настоящее время утилита устарела и не используется. Статья сохранена для понимания эволюции Интернет). Поиск производится по базам данных, содержащим текстовые документы (но допустимы также графические, звуковые или видео документы). Тематика баз данных и поиска произвольны. Базы данных могут иметь любую структуру, но пользователю не нужно знать языка управления этими базами. WAIS использует естественный управляющий язык. WAIS доступен в Интернет. Для пользователей, имеющих доступ только к электронной почте, предназначен интерфейс, размещенный по адресу waismail@quake.think.com. В сети Интернет существует много серверов WAIS. Список депозитариев серверов достаточно широк, начать можно с анонимного FTP по адресу Think.com секция /wais, файл wais-sources.tar.Z (файл архивирован и пересылка должна осуществляться в режиме BINARY). В настоящее время многие WAIS-сервера интегрированы в сети WEB.

      ARCHIE (В настоящее время утилита устарела и не используется) - информационная система с наиболее эффективной системой поиска. Система разработана Аланом Эмтейджем, Питером Дойчем и Билом Хееланом из университетского вычислительного центра McGill, Канада. ARCHIE осуществляет поиск по более чем 1000 депозитариям мира допускающим анонимный доступ и содержащим более 2100000 файлов. ARCHIE работает под Windows, MS-DOS, Macintosh, Unix в рамках сети INTERNET.

    2. TELA - поиск информации в конференциях RELCOM

      TELA [http://tela.dux.ru/] – полнотекстовой поиск информации в конференциях RELCOM, RELCOM.COMMERCE, FIDO7, MEDLUX. Кроме того позволяет производить поиск по ключевым словам русскоязычных страничек, а также на англоязычных страничках на российских серверах. Учитывает морфологию русского языка.
      Процесс сбора информации весьма затруднен разнообразием в кодировках, отсутствием системы в задании URL и организации серверов. Поэтому индексируются далеко не все русскоязычные странички.
      Поисковая часть сервера сделана на базе известной системы поиска freeways-sf с использованием русской версии системы поддержки морфологии языка ILIAS, которая позволяет задавать ключевые слова в произвольной естественной форме – любой из возможных словоформ русского языка, в т.ч. и неправильных. Допускает применение логических операторов И\ИЛИ, использование символа *.
      Поиск с помощью TELA осуществляется следующим образом - в окошке под текстом "Введите ключевые слова для поиска" задаются, разделенные пробелом слова, которые, должны содержаться в искомых документах. TELA может искать документы, содержащие все слова запроса (по умолчанию) или любое из слов запроса. Для установки этих режимов на панели поиска есть одноименные кнопки.
      Система поддержки русского языка, с которой работает TELA , допускает задание ключевых слов в естественной форме - любой из возможных словоформ русского языка, в том числе и неправильных.
      Допускается использование метасимвола "*" в конце любого слова, где * означает любое количество любых символов (до пробела). В этом случае поиск будет подходящими будут считаться все слова, начинающиеся с заданного образца и имеющие произвольное окончание. В то же время использование метасимвола, хотя частично и решает проблему, но нередко дает совершенно неприемлемый результат.
      В меню "Число возвращаемых документов" указывается максимальное число ссылок на найденные документы, которые будут содержаться на странице, возвращаемой в результате поиска. Чем меньше выбранное число - тем более быстро будет получен результат.
      Для начала поиска следует нажать кнопку "Поиск". Если при вводе ключевых слов произошла ошибка, то исправить ее можно с помощью кнопки "Сброс" и ввести текст заново.
      В появившейся страницу "Результаты поиска по ключевым словам" будут собраны ссылки на найденные документы в виде: заголовок, фрагмент текста, адрес страницы и статистические данные.
      При поиске учитывается:
      количество слов из запроса найденных в документе; частота встречаемости слов запроса в языке (редкие слова считаются более значимыми, более характерными); отношение найденных слов к общему количеству слов в документе. В соответствии с этими критериями найденные документы сортируются в выборке по убыванию степени соответствия запросу (графа "Очко" в результате) от 1000 - максимальное соответствие, до 0 - несоответствие. В начале выборки находятся наиболее соответствующие запросу документы.
      Интересной особенностью данной ПС является возможность просмотра содержания найденного документа (без картинок) прямо со страницы ПС.

    3. CORVIS - поиск информации в конференциях RELCOM и FIDO">CORVIS - поиск информации в конференциях RELCOM и FIDO">CORVIS - поиск информации в конференциях RELCOM и FIDO

      Первый в России специализированный поисковый сервер по русскому USENET. На сервере содержится архив групп relcom.* и fido7.* за последние 4-5 месяцев (около 500 000 статей, ~2 GB). Возможность поиска по содержанию статьи, времени ее появления и иерархии newsgroups. Очень полезная утилита для тематического поиска - например, чтобы узнать мнение людей о каком-нибудь программном продукте.
    4. CORVIS - поиск информации в конференциях RELCOM и FIDO">Dej News Gate - русскоязычный интерфейс к поисковой системе Deja News

      DejaNews Считается наиболее мощным средством поиска в группах новостей Usenet. Поиск может выполнять по дате, автору, теме или группе.

  4. Протокол NNTP (Network News Transmission Protocol). Работа с сервером новостей

    NNTP (Network News Transport Protocol) — сетевой протокол, используемый для обмена сообщениями в группах новостей.
    NNTP — основной и единственный протокол, по которому пользователи могут подключаться к news-серверам и участвовать в дискуссиях. По строению этот протокол сходен с протоколами приема и передачи электронной почты. News-сервер представляет собой постоянно подключенный к сети компьютер, на котором хранятся сообщения дискуссии.
    Основные отличия технологии NNTP от E-mail:
    Отсылаемые сообщения общедоступны. Сообщения сгруппированы по темам обсуждения. Возможно отозвать посланное сообщение. Фактически, решения на технологии NNTP очень похожи на веб-форумы за исключением того, что копия базы данных сообщений хранится на компьютере пользователя (или хотя бы список тем сообщений, на усмотрение пользователя).
    За NNTP закреплен TCP-порт 119. При подключении к NNTP-серверу по SSL (т. н. NNTPS) используется порт 563
    В разговорной речи принято употреблять вместо «NNTP-клиент» «клиент групп новостей».

    NETNEWS (или Usenet, RFC-1036) - всемирная система обмена сообщениями, использующая для этого единый формат. Сообщения рассортированы по темам, которые носят названия newsgroups (группы новостей). Эти сообщения имеют огромный суммарный объем и передаются от ЭВМ к ЭВМ. Они могут содержать текстовую или кодированную двоичную информацию. Сообщение имеет несколько строк заголовка, которые определяют, откуда пришло сообщение, через какие узлы поступило и т.д.
    Основные группы новостей, рассылаемые по всему миру, это: alt, comp, misc, news, rec, sci, soc и talk. Существует много других базовых категорий новостей, например, bionet, biz, vmsnet, которые рассылаются также повсеместно или в рамках какого-то региона или организации (например, ieee), а также коммерческие (например, clari). Последние категории рассылаются только ограниченно. Сообщения многих Bitnet LISTSERV серверов также рассылаются в виде новостей и относятся к категории bit.
    Базовые категории разбиваются на более чем 1200 групп новостей по различным вопросам и темам (от образования для инвалидов до Star Trek и от науки об окружающей среде до политики в странах бывшего Советского Союза). Качество дискуссий в этой среде не гарантируется. Некоторые группы имеют посредников, которые просматривают сообщения перед рассылкой. Usenet была разработана в 1979 году для системы UNIX. В настоящее время в сети новостей работает несколько тысяч узлов, охватывающих практически весь земной шар.
    Новости доступны как через локальный сервер, так и через телефонные коммутируемые сети. Программы для поддержки локального сервера новостей доступны в Интернет, UUCP, EARN/Bitnet и Fidonet. Если вам доступна только электронная почта, тогда для вас Usenet не доступна. Однако, многие группы новостей подключены к спискам почтовой рассылки и вы можете подписаться на них.
    Существует поддержка Usenet в самых разных операционных системах: Unix, VMS, MS-DOS, OS/2, Macintosh, MVS, а также в различных средах: MS-Windows, X-Windows, Windows-NT, Emacs. Имеются интерфейсы для системы USENET и для электронной почты. Многие, реально почти все, программные продукты обеспечивают следующие возможности:

    • Подписка на группы новостей. Это означает, что именно новости данной группы будут немедленно доступны и вы сможете их просмотреть, когда пожелаете.
    • <Аннулирование подписки на группы новостей. Группа удаляется из вашего списка.
    • Чтение оглавления групп новостей. Ваш локальный сервер выдает вам оглавление новостей и отслеживает, какие из них вы уже читали.
    • Нить дискуссии. Вы можете отслеживать оглавления групп новостей, имеющих отношение к одной и той же теме или предмету.
    • Посылка сообщения в группу новостей. Вы можете участвовать в дискуссии, ваш сервер новостей знает, куда послать ваше сообщение.
    • Отклик на сообщение. Вы можете послать отклик на любое сообщение (это часто называется follow-up [отклик]) или обратиться к автору сообщения (это обычно называется replay [ответ]).

  5. Литература
    1. History of Usenet
    2. Иерархия usenet fido7
    3. FidoNet Online: конференции Fido на WWW
    4. Электронные конференции // OpenNET
    5. Семенов Ю.А Протокол новостей NNTP / Протоколы Интернет
    6. Семенов Ю.А. Gopher / Протоколы Интернет
    7. Семенов Ю.А. WAIS / Протоколы Интернет
    8. Семенов Ю.А. Система поиска файлов Archie / Протоколы Интернет
Hosted by uCoz

Hosted by uCoz