"Подлинная прозрачность и никакой анонимности"
Показательным является то, что многие пользователи Интернета не понимают сути анонимности и приватности, что по большому счету является следствием их понимания свобод вообще и личной свободы в частности. Понятия "нельзя", "не положено", "запрещено, "не разрешено", "аморально"" "не соответствует" и так далее прочно вошли в лексикон многих граждан, совершенно вытеснив такие казалось бы естественные понятия как "я", "мое право", "мое желание", "я так хочу", "мне так нравится", то есть все то основополагающее, что делает человека человеком, и что выделяет его из стада обезьян в огороженном стальной сеткой вольере зоопарка. Нужно помнить, что человек имеет и темную сторону своей личности, которая состоит из наших инстинктов, тайных влечений и страстей. И коль уж существует цензура в интернете, то в противовес ей будет существовать и Даркнет, темный Интернет, бесцензурный интернет, куда постепенно перемещается все то, что изгоняется и вытесняется из интернета обычного.
На анонимных хостингах в анонимных сетях люди делают такие веб-сайты, тематика которых не вписывается в правила и ограничения обычного интернета. Поэтому лицам с искаженной пуританской моралью в таких сетях делать нечего. Если некто считает, что анонимность предоставляется человеку исключительно для того, чтобы размещать фотографии бабочек или дискутировать с такими же анонимами по поводу прошедшего футбольного матча, то этот некто просто неадекватно воспринимает окружающий его мир. К великому сожалению, многие темы, направления или даже сферы человеческой жизнедеятельности, искусства, литературы в настоящее время обьявляются запретными, на основании лишь того, что они привлекают внимание громадного количества людей и не вписываются при этом в навязываемые обществу догматы поведения и морали. Все эти темы постепенно переходят в даркнет, в анонимные сети, и процесс этот только-только начинается и находится в стадии своего подьема.
Вы можете возразить или даже гневно запротестовать - дескать так недолго и до создания явно антисоциальных и общественно опасных веб-ресурсов. Иными словами, если разрешить человеку подглядывать в щелочку, то завтра он уже может сотворить бог весть что, и даже покуситься на самое государственные устои. Сегодня он смотрит эротику, завтра его потянет на порнографию, послезавтра он выйдет на улицу с кастетом, ну а после-послезавтра он взорвет атомную бомбу или на худой конец отравит городской водопровод. Такого рода разговоры можно часто слышать на телевизионных шоу, и такого рода статьи часто публикуются на информационных сайтах. Тем не менее в большинстве своем люди оказываются мудрее вещающих апокалипсис параноиков. Онион-сеть существует уже несколько лет, и за это время здесь не замечено наличие сайтов явно экстремистской тематики, разного рода ксенофобских ресурсов, и это несмотря на то, что тема ксенофобии и экстремизма активно раздувается и муссируется средствами массовой информации. Нет здесь веб-сайтов террористических организаций, отсутствуют блоги, в которых бы граждане нецензурно высказывались в адрес государственных чиновников, вы не найдете здесь рецептов изгтовления наркотиков и взрывчатки - то есть всего того, чем навязчиво и каждодневно пугают обывателя в обычных средствах массовой информации.
Почему же здесь всего этого нет? Ответ очевидно, заключается в том, что обычным людям все перечисленные выше темы просто неинтересны. Если вы внимательно просмотрите ресурсы обычного интернета, то вы обнаружите, что какой нибудь веб-сайт, посвященный музыке или же новинкам видео, привлекает внимание тысяч посетителей в день, и является гораздо более притягательным, нежели информационный ресурс "горячих" политических новостей или же находящиеся под запретом сайты типа "реальных фактов войны в горячих точках планеты". Людей гораздо более интересует то, какие трусики предпочитает носить та или иная кинозвезда, и с кем переспала сегодня популярная фотомодель или же ведущая телевизионного шоу. Люди хотят бесплатно обмениваться друг с другом аудио-видео продукцией и бесплатно скачивать все это из сети. Миллионы людей являются пользователями социальных сетей, потому что там можно виртуально уединиться и поболтать друг с другом на какие нибудь темы интимного характера. Личное общение, культурные ценности, интим и секс - вот что всегда интересовало, интересует и будет интересовать человечество, и это вне зависимости от того, понимают ли это ханжи, пуритане и злобствующие политики, или же не понимают. А все остальное не является притягательным для простого человека, и представляет лишь сиюминутный интерес для очень ограниченного круга маргинально настроенных личностей.
Просматривая онион-ресурсы необходимо помнить и понимать несколько простых вещей. Нужно осознать, что если вам не нравится нечто, то это вовсе не означает, что оно не нравится остальным. Если вам неприятно делать нечто, то это вовсе не означает, что это неприятно делать и другим. Если вы считаете нечто плохим, то это вовсе не означает, что данного явления не существует в природе и что к нему все остальные относятся так же как и вы. Подлинная свобода и демократия означает вашу лояльность и терпимость к мнению других людей, и это даже несмотря на то, что вы категорически с ним не согласны. Мы точно так же, как и вы неприемлем и несогласны с многим из того, что существует в онион-сети. Но мы признаем право свободных граждан высказывать свое мнение, каким бы оно ни было. Ибо в этом и заключается подлинная свобода личности.

> вы не найдете здесь рецептов изгтовления наркотиков и взрывчатки

Взрывчатки нет, а вещества найти легко. Как и 1,5 сайта ксенофобской направленности.

поговорил с пастой

>>7869
Да этого добра (взрывчатка, вещества, etc) и в обычном интернете навалом. Поваренная_книга_анархиста.pdf яркий тому пример. Мне суть онион-сетей видится немножко в другом: они позволяют спрятаться от лишних глаз, осознавать, что никто за тобой не следит хотя может и следят, но вероятность этого КРАЙНЕ МАЛА и нет никакого всевидящего ока за твоей спиной. Правительство вводит цензуру и контроль обычного интернета? Мы заводим тракторы и переезжаем в даркнет. Когда/если они доберутся и дотуда - мы закопаемся ещё глубже, и в этом не будет ничего постыдного. Желание иметь небольшой уютный угол, где тебя никто не потревожит и не сможет следить за тобой - это вполне естественно, а наполнение этого угла уходит на второй план, главное, что он просто есть.

>>7875

> мы закопаемся ещё глубже

А потом правительство просто будет сажать за хранение дома устройств, с которых в принципе возможно выйти в Интернет. Ибо нехуй.

>>7877
но ведь этот сраный Совок совсем недавно развалился,
ни ужели никто не помнит?
этого ужаса
когда даже радио BBC на коротких волнах приходилось слушать под рёв Советских
глушилок?

>>7879

> но ведь этот сраный Совок совсем недавно развалился
> Совок совсем недавно развалился
> Совок
> развалился

Нет, его переименовали в Россию. Совок и за полторы сотни лет не изведешь, а ты говоришь: развалился.

>>7879
Он не развалился, просто личинка трансформировалась во взрослую особь.

4chan - это эпицентр нового поколения хакеров, которые взламывают экономику внимания и показывают, как просто манипулировать потоками информации.
За минувший год 4chan http://www.4chan.org/ выбрался из полной безвестности и был признан мейнстримной прессой важным явлением. Возможно, дело в появлении "мута" (Кристофер Пул по прозвищу moot - создатель 4chan) на первом месте в списке самых влиятельных людей мира, публикуемом в журнале Time. Ещё вероятнее, что всё завертелось после того, как "мут" выступил на конференции TED с докладом об анонимности.
На TED "мут" продемонстрировал более "разумную" сторону андеграундного сайта, который посторонним обычно кажется выгребной ямой интернета, и тем самым заявил о себе как об одном из самых интересных, вдумчивых и понимающих лидеров сообществ в интернете. Короче, он оказался тем, кого серьёзные люди готовы принять, даже если его сайт пугает их до чёртиков.
Вот тут-то 4chan и "выстрелил". Журналисты и учёные наперебой обсуждают и анализируют 4chan. Поначалу все дискутировали о том, считать ли это сообщество, состоящее из 9,5 миллионов (в основном) молодых людей (в основном) мужского пола, ужасным или прекрасным. Затем шумиха поднялась вокруг анонимности - судя по всему, под влиянием выступления Криса на TED.На TED "мут" продемонстрировал более "разумную" сторону андеграундного сайта, который посторонним обычно кажется выгребной ямой интернета, и тем самым заявил о себе как об одном из самых интересных, вдумчивых и понимающих лидеров сообществ в интернете. Короче, он оказался тем, кого серьёзные люди готовы принять, даже если его сайт пугает их до чёртиков.
Вот тут-то 4chan и "выстрелил". Журналисты и учёные наперебой обсуждают и анализируют 4chan. Поначалу все дискутировали о том, считать ли это сообщество, состоящее из 9,5 миллионов (в основном) молодых людей (в основном) мужского пола, ужасным или прекрасным. Затем шумиха поднялась вокруг анонимности - судя по всему, под влиянием выступления Криса на TED.
Обе темы определённо интересны. С одной стороны, 4chan породил большую часть любимых интернетом мемов. С другой стороны, "битарды" (участники самого популярного форума 4chan) принадлежат к числу самых мерзких и вредных троллей в Сети. И анонимность - очень сложная тема, которую нельзя свести к вопросу об ответственности за свои поступки в свете того, видится ли анонимный комментатор собеседнику "хорошим" или "плохим".
Я могла бы написать длинную статью о противоречии между анонимностью, которую люди рассчитывают найти в интернете, и простотой идентификации людей в Сети по сравнению с оффлайном, но речь сейчас не об этом. Речь о другом: я полагаю, что 4chan - это, на самом деле, новое поколение хакерской культуры. И именно с этой позиции его стоит оценивать (или поносить).
Я выросла в сообществе хакеров на закате эры взломщиков защищённых систем. Многие мои друзья в старших классах гордились своими умениями в области фрикинга или взлома сложных систем безопасности. Некоторые были действительно одарёнными технарями, кое-кто - взломщиками, повёрнутыми на злонамеренном уничтожении систем, большинству же просто хотелось испытать свои возможности. Само по себе хакерство, как правило, было совершенно безынтересным, основанным на обращении в свою пользу человеческой глупости - например, использования логина и пароля admin/admin. Конечно, не обходилось без последствий. Одному из моих знакомых запретили пользоваться интернетом на весь срок обучения в старших классах, а другому вместо всего остального пришлось заниматься системами безопасности военного флота. Я не была связана с ключевыми фигурами хакерского сообщества тех времён, но понимала достаточно, чтобы уважать их техническую смекалку (и через несколько лет хотеть быть Анджелиной Джоли).
В зависимости от точки зрения, хакеров поносят или превозносят. Как сообщество, они были андеграундом восьмидесятых и девяностых годов. Теперь же некоторые бывшие хакеры стали одними из самых влиятельных людей ИТ-индустрии. Часть хакеров имела вредоносные намерения, действия других лучше всего описываются известной фочановской формулой "ради лулзов". Их просто забавляло глядеть, что выходит. И хотя в действиях большинства из тех, кто занимался этим "ради лулзов", не было политической подоплёки, в конечном счёте их деяния стали расцениваться как глубоко политические акты и значительно повлияли на развитие техники.
4chan - это эпицентр нового поколения хакеров, которые взламывают экономику внимания. В отличие от взломщиков компьютерной защиты, которые атаковали экономику безопасности в центре силы и власти довебовых времён, эти хакеры внимания показывают, как просто манипулировать потоками информации. Они демонстрируют, что любой рейтинг можно накрутить, а совершенно некоммерческий развлекательный контент способен достичь массовой популярности (безотносительно к тому, решит или нет кто-нибудь коммерциализировать его затем).
Их выходки заставляют людей задуматься о статусе и власти и посмеяться над всеми, кто воспринимает себя чересчур серьёзно. В Сети, где победителями оказываются торговцы, есть что-то по-бунтарски забавное в том, чтобы сделать ставку на анархическую субкультуру. Её образ мышления кажется мне очень знакомым, и меня совсем не удивляет, что старые хакеры испытывают те же тёплые чувства при мысли о 4chan, даже если тролли их безумно раздражают. Хакеры старой закваски вовсе не были рады, когда обнаружили, что превращение сетевой культуры в мейнстрим означает доминирование мейнстрима над сетевой культурой. Для нас, для гиков, фриков и чудаков, которые считали интернет своим спасителем, пришествие масскульта означало повторную утрату силы.
Как и взломщики прошлого, хакеры внимания, появляющиеся сейчас, представляют собой весьма пёстрое общество. Легко любить общий дух сообщества, представленного 4chan, но с презрением относиться к некоторым его представителям или их действиям. Я вовсе не собираюсь оправдывать некоторые действительно отвратительные вещи, которые делали выходцы с 4chan, но это не значит, что я перестану смеяться над глупостью или буду игнорировать юмор в фочановских затеях. Жаль, правда, что прошло уже двадцать лет, а в хакерской культуре по-прежнему преобладают белые мужчины, но наблюдать зарождение нового андеграундного сообщества всё равно крайне интересно.
Конечно, вряд ли оно останется андеграундным надолго... Я не могу сказать, что буду безумно рада, если каждые мама, папа и среднестатистический подросток узнают о 4chan. И всё же, по-моему, со взломом экономики внимания связано что-то важное. Кроме того, люди, которые напомнят, что интернеты не стоит воспринимать слишком серьёзно, никогда не помешают

В международных организациях нет понятия демократия. Демократия — форма государственного устройства. США и большинство других цивилизованных стран отказались подписывать договор, который противоречит их основополагающим принципам и интересам граждан этих стран.

   Лично меня результаты голосования не удивляют. Арифметическое большинство в международных организацях принадлежит суверенным демократиям Африки и Азии. Если бы какой-нибудь Алжир вынес на голосование резолюцию, что «земля плоская», то такая резолюция прошла бы большинством голосов. А если бы Иран добавил к этой резолюции, что «земля плоская, потому что ее сплющили США и Израиль», то такая резолюция была бы принята абсолютным, подавляющим большинством.

Из обсуждения на Хабре очередной попытки рейдерского захвата интернета - http://habrahabr.ru/post/162647/

>>7877

> правительство просто будет сажать за хранение дома устройств, с которых в принципе возможно выйти в Интернет

Сейчас в интернет можно чуть ли не с холодильника выходить, так что не аргумент. Вряд ли они со своими айпадами пойдут на тотальный даунгрейд всей электроники страны.
Лочить соединение на уровне прошивки устройства? Ждём недельку-другую когда её взломают и ставим "пофиксенную" версию от хакеров это как с установкой на смартфон приложений, не подписанных сертификатом, встречал множество гайдов на эту тему
Выгонят полицаев проверять устройства на предмет изменений в прошивке? Да это же глупо, полицаев тупо на всех не хватит да и наверняка от них можно будет тупо откупиться, это ж рашка
Алсо право на доступ в интернеты уже стало базовым правом человека http://www.rg.ru/2011/06/07/oon-site-anons.html так что такой вариант развития событий маловероятен. Ибо нехуй перечить ООН.

>>7888

> Рашка
> нехуй перечить ООН

Ты серьёзно?

>>7888

> Лочить соединение на уровне прошивки устройства?

Nope, настроить все провайдерские шлюзы на заворачивание зарубежного трафика.

Дорогие любители свободы информации! Ценители права получать на халяву то, за что другие платят деньги! Уважаемые люди, твердящие, что выкладывание журнала в электронной форме не влияет на объём продаж! Обладатели авторитетного мнения, что труд автора, переводчика, редактора не должен оплачиваться, потому что создаваемая ими информация должна быть всеобщим достоянием! Борцы за новое общество без оплаты потребляемого! Просто пираты, раздающие кое-как распознанные сканы журналов!

В декабре две тысячи двенадцатого года вышел последний номер журнала «Если». Журнала, не одно десятилетие публиковавшего фантастические рассказы. Журнала, выпуски которого за последние пятнадцать лет заняли почётное место на моих полках. Журнал, открывший для меня не один десяток имён хороших фантастов и не одну сотню рассказов, изредка по ассоциациям всплывающих в голове, прекращает существование.

Он утратил рентабельность. Раскупаемый тираж за последние два года упал в несколько раз. Его не съели конкуренты — у него таких просто не было. От него не отвернулся читатель — просто поверьте, аудитория не может так быстро отвернуться от единственного жанрового журнала. Его погубили пираты и жадность. Люди, которым жалко отдать сто рублей в месяц за то, что они хотят читать каждый же месяц. И другие люди, по каким-то причинам первым потакающие.

Вышеперечисленные, будьте прокляты!

>>7903
Этот "Если" скатывался в говно и маразм с каждым годом. Прекратил его выписывать в две тысячи девятом, ибо он стал просто архиунылым, на 90% состоящим из "русской фантастики" уровня Лукьяненко, быть может даже ниже. Рад, что его больше нет.
Мимопоговорил с пастой.

>>7904
Скорее, дело в том, что сама форма подобных журналов неизбежно устаревает.

>>7905
Это как, брат? Какая форма? Если что выписываю православный журнал (да-да, на полном серьёзе, хотя беспартийный)

>>7909
Православный в смысле того, что деньги от его продажи пойдут патриарху Кириллу из русской расовой православной РПЦ-церкви на BMW следующей серии? Или просто хороший, годный журнал?

>>7909
Форма печатного периодического издания. Издательство получает деньги за то, что подбирает и распространяет информацию. Интернет способен делать то же самое, но дешевле (если есть уже готовая система, то практически бесплатно), и удобнее для пользователей. Неудивительно, что традиционные издательства вымирают.

>>7910
Православный журнал, который порекомендовали на православном телеканале Союз-ТВ. Единственный канал, между прочим, который я смотрю. В полночь у меня вместо прона теперь ТАКИЕ-ТО беседы между бородатыми иегуменами. Один другого троллирует, но так тонко, что я ощущаю эйфорию. И без грубости, но с чёткой критикой - всё как на Доброчане. Вообщем мне по нраву. По Москве в 8 начинается, видать чтобы всех застать. Но у меня уже ночь.
>>7911
Если есть определенная цель или условия, то не страшен интернет. Вот как я выписываю журнал, чтобы почитать без интернетов. Ведь почитать журнал интереснее и приятнее, чем смотреть в монитор. И так по два часа в день за ним провожу, блджад. А ещё в Японии вроде бы весьма популярны журналы, несмотря на широкое распространение сферы услуг и компьютеров.

>>7920
inb4: Я не православный, просто доставляет удовольствие смотреть на благодать, на дискуссии священников, да и там очень спокойно всё снимают, камера не бегает туда сюда каждую секунду, а дикторы так няшно говорят, что чувствуешь себя успешным человеком сразу.

>>7921
Онлайн поглядеть возможно твои беседы, няша? А то ящика нема.

>>7922
Можно, смотри.

>>7927
Спасибо.

>>7921
То же самое, только я обычно смотрю богослужения, на Пасху, Рождество и т.д.

>>7961
>>7921
Вы используете православие более правильно, чем подавляющее большинство воннаби-православных. Добра вам!

Государственный контроль
Как известно, у нас в стране активно используется «Система оперативно-
розыскных мероприятий» (сокращенно — СОРМ и СОРМ-2) — специализирован-
ный программно-технический комплекс, устанавливаемый у провайдеров и пере-
хватывающий во всем потоке трафика сообщения и материалы, могущие представ-
лять интерес для органов, осуществляющих оперативно-розыскную деятельность.
Действующее законодательство об оперативно-розыскной деятельности пре-
дусматривает в числе оперативно-розыскных мероприятий — контроль почтовых
отправлений, телеграфных и иных сообщений, прослушивание телефонных перего-
воров, снятие информации с технических каналов связи. В соответствии со ст. 6
федерального Закона «Об оперативно-розыскной деятельности», при осуществле-
нии оперативно-розыскных мероприятий, связанных с контролем почтовых отправ-
лений, телеграфных и иных сообщений, прослушиванием телефонных переговоров
с подключением к станционной аппаратуре предприятий, учреждений и организа-
ций независимо от форм собственности, физических и юридических лиц, предос-
тавляющих услуги и средства связи, со снятием информации с технических каналов
связи, они проводятся с использованием оперативно-технических сил и средств ор-
ганов федеральной службы безопасности, органов внутренних дел и, в пределах
своих полномочий, федеральных органов налоговой полиции в порядке, определяе-
мом межведомственными нормативными актами или соглашениями между органа-
ми, осуществляющими оперативно-розыскную деятельность. Для осуществления
таких мероприятий могут использоваться технические средства.
В соответствии со ст. 8 указанного Закона, проведение оперативно-
розыскных мероприятий, которые ограничивают конституционные права человека
и гражданина на тайну переписки, телефонных переговоров, почтовых, телеграф-
ных и иных сообщений, передаваемых по сетям электрической и почтовой связи, а
также право на неприкосновенность жилища, допускается на основании судебного
решения и при наличии информации:
209
А. Г. Серго. Интернет и право
1) о признаках подготавливаемого, совершаемого или совершенного проти-
воправного деяния, по которому производство предварительного следствия обяза-
тельно;
2) о лицах, подготавливающих, совершающих или совершивших противо-
правное деяние, по которому производство предварительного следствия обяза-
тельно;
3) о событиях или действиях, создающих угрозу государственной, военной
экономической или экологической безопасности Российской Федерации.
Кроме того, в случаях, не терпящих отлагательства и могущих привести к со-
вершению тяжкого преступления, а также при наличии данных о событиях и дейст-
виях, создающих угрозу государственной, военной, экономической или экологиче-
ской безопасности Российской Федерации, на основании мотивированного поста-
новления одного из руководителей органа, осуществляющего оперативно-
розыскную деятельность, допускается проведение данных оперативно-розыскных
мероприятий с обязательным уведомлением суда (судьи) в течение 24 часов. В те-
чение 48 часов с начала проведения оперативно-розыскного мероприятия орган, его
осуществляющий, обязан получить судебное решение о проведении такого опера-
тивно-розыскного мероприятия либо прекратить его проведение.
Такова правовая база использования СОРМ, правовая база установки осно-
вывается на федеральном Законе «Об органах федеральной службы безопасности в
Российской Федерации». Он предусматривает, что физические и юридические лица
в Российской Федерации, предоставляющие услуги почтовой связи, электросвязи
всех видов, в том числе систем телекодовой, конфиденциальной, спутниковой свя-
зи, обязаны по требованию органов федеральной службы безопасности включать в
состав аппаратных средств дополнительные оборудование и программные средства,
а также создавать другие условия, необходимые для проведения оперативно-
технических мероприятий органами федеральной службы безопасности.
Законодательство об оперативно-розыскной деятельности предусматривает,
что оперативно-розыскные мероприятия, связанные с ограничением права личности
на тайну переписки, телефонных переговоров, почтовых, телеграфных и иных со-
общений, передаваемых по сетям электрической и почтовой связи, а также права на
неприкосновенность жилища, осуществляются по конкретному решению в отноше-
нии конкретного лица в течение определенного в решении срока. Причем решение
о проведении таких мероприятий принимает суд. Однако установленный порядок
осуществления СОРМ идет вразрез с этими положениями и дает органам, осущест-
вляющим оперативно-розыскную деятельность, возможность постоянно контроли-
ровать информацию, передающуюся по телекоммуникационным сетям.
Подобные системы функционируют и в других странах. Например, амери-
канский «Эшелон» координирует действия нескольких спецслужб: британской
Government Communications Headquarters (GCHQ), канадской Communications
Security Establishment (CSE), австралийской Defense Signals Directorate (DSD) и но-
возеландской Government Communications Security Bureau (GCSB). Причем полу-
210
ченная информация используется не только для ловли преступников, но и для про-
мышленного шпионажа. По имеющейся информации, именно так был расстроен в
1994 году дорогой контракт на закупку Саудовской Аравией французских самоле-
тов, доставшийся американскому конкуренту. Французы уверены, что узнать засек-
реченные условия сделки американцы смогли с помощью «Эшелона». Подобный
случай не единственный.
В конце прошлого века, помимо глобальной системы «Эшелон» в США была
запущена в эксплуатацию внутригосударственная система слежения за пользовате-
лями Сети — Carnivore (DCS-1000). Официальное признание подобной системы
вызвало бурю эмоций в демократическом государстве. Общественные организации
выступили с требованием опубликовать исходный код программы и другие техни-
ческие детали, а также юридическое обоснование использования такой системы.
Более мягким было требование предоставить экспертам доступ к коду программы,
чтобы выяснить, действительно ли программа отслеживает действия лишь подозре-
ваемого или всех пользователей. Однако ФБР отказалось открыть код программы,
мотивируя это возможностью взлома программы, а также нарушением авторских
прав создателей.
Как видно, существование подобных систем вызывает справедливые нарека-
ния и возмущение общественности, но, несмотря на явно незаконный характер та-
кой деятельности, она осуществляется как в тоталитарных, так и в ведущих демо-
кратических государствах.

>>7976
Тупые вопросы, который я обожаю задавать, когда где-то всплывает тема тотального контроля кстати, на хабре первым блоком я сорвал -155 рейтинга примерно, а потом меня за них тупо банили. Прошу обратить внимания, тут даже прослушка не упоминается, чисто трафф.
1. Сколько предполагаемая мощность железа, которое собирает ВЕСЬ траффик с России в одном месте?
2. Сколько предполагаемое дисковое пространство под аккумулируемый контент?
3. Как производится анализ контента?
3а. Боты - какие хотя бы примерно алгоритмы фильтрации?
3б. Люди - какой предполагаемый лимит обработки на человеко-час, бит информации?
3в. Смешанные алгоритмы - как при всех вышеупомянутых, производится делегирование полномочий человек <-> Машина?
4. Как и в течении какого срока осуществляется хранение информации?
5. Какое значение имеет такая информация? Согласно УПК, прослушивание допускается только если дело УЖЕ возбуждено по ряду "тяжелых" статей, и информация, собранная вне дела, не может быть доказательством и вообще рассмотрена судом.

Обычно этого хватает, чтобы очередной параноик-правдоруб съебался в норку. Рекомендую для поиска вкусняшек по форумчикам жопоголиков, кстати, я так не раз сотни ядовитой злобы собирал. Сявочки очень не любят, когда им указывают их место - ну то есть, что их тявканье похуй и Государству на них срать.

>>7978

> а потом меня за них тупо банили.
> Сявочки очень не любят, когда им указывают их место
> их тявканье похуй и Государству на них срать.

Возможно, дело не в вопросах. БТВ, весь трафик превентивно собирать и фильтровать тупо,а вот после объявления на местном форуме типа "продам ртуть" вполне можно.

>>7980
Кстати, я тут наткнулся на п.3 ст. 140 УПК РФ. Юрист-куны могут прояснить?

Статья 140. Поводы и основание для возбуждения уголовного дела
1. Поводами для возбуждения уголовного дела служат:
3) сообщение о совершенном или готовящемся преступлении, полученное из иных источников.

> > из иных источников

Перерыл нехилый кусок рунета, но вменяемых комментариев трактовки не нашел. Кто что подскажет? Это же по идее, любого анонимуса посадить можно, а информация с борд или от аг-ва ОБС является поводом для возбуждения со всеми вытекающими???

>>7978
Твой пост успокоил меня. Спасибо, бро.
Параноик-кун

>>7981
Является. Помнишь то дело про ЖЖ, ну, там ещё в рассказе было что-то про патроны, которые как маслята? Вот. Ложное сообщение о готовящемся террористическом акте.

> Статья 140. Поводы и основание для возбуждения уголовного дела

Э, што? Ты из Украшки? У меня это "Отказ в предоставлении гражданину информации", особенная часть. А подобная статья - это восьмая, общая часть. "Основанием уголовной ответственности является совершение деяния, содержащего все признаки состава преступления, предусмотренного настоящим Кодексом". Покажи, где я её пропустил.

В первых числах августа глава корпорации Google Эрик Шмидт сделал довольно любопытный доклад на конференции Techonomy (т.е. "технологии + экономика"). С трибуны этого форума, проходившего в одном из фешенебельных отелей горно-лесного курорта на озере Тахо, Шмидт примерно такими словами обрисовал недалекое будущее пользователей интернета: "Подлинная прозрачность и никакой анонимности".
По имеющимся у докладчика данным, "за весь период развития цивилизации - от её начала и до 2003 года - было создано пять экзабайт (квинтиллионов байт или миллионов терабайт) информации". Однако ныне примерно такой же объём информации порождается каждые два дня, а темп данного процесса продолжает нарастать... Причём основная масса этой информации, уточнил Шмидт, образуется ныне в форме данных, генерируемых пользователями. Любое цифровое взаимодействие порождает информацию, подчеркнул докладчик, а все эти гигабайты можно использовать для подробного анализа и предсказания человеческого поведения.
Далее последовали доступные и наглядные иллюстрации того, что это, собственно, означает на деле. Если, к примеру, посмотреть на достаточное количество ваших сообщений и сведений о вашем местоположении, а затем применить кое-какой искусственный интеллект, то мы можем предсказывать, куда вы собираетесь отправиться, поведал Шмидт. Или, другой пример, если показать нам 14 ваших фотографий, то мы сможем идентифицировать, кто вы есть. Если же кто-то полагает, что в интернете не наберется полтора десятка их фотографий, то, скорее всего, это заблуждение. Потому что на сайтах социальных сетей типа Facebook в фотоальбомах множества ваших знакомых такие фотоснимки обычно без проблем отыскиваются.
По мнению Шмидта, нынешняя доступность персональной информации увеличивает удобства, а также позволяет обществу более эффективно противостоять антисоциальному и криминальному поведению. Развивая эту же мысль чуть дальше, он поведал, что логика борьбы с такими явлениями, как кража личности, например, требует от общества всё больше прозрачности и отказа от анонимности: "В мире асинхронных угроз становится слишком опасным, когда нет какого-нибудь надёжного способа для вашей идентификации. Нам всем требуется служба верификации имён людей. И этого же требуют правительства.
На подобные сильные заявления из уст высшего руководителя столь гигантской и влиятельной в нынешнем мире корпорации, как Google, да ещё сделанные в контексте "требований правительства", определенно имеет смысл обратить внимание - причём сразу по нескольким причинам.
Во-первых, потому что с технической стороны Шмидт определенно знает, о чем говорит. По забавному совпадению, кстати, фактически в те же дни, когда делался доклад Эрика Шмидта, в Лас-Вегасе на хакерской конференции Black Hat некий исследователь Сэми Камкар (Samy Kamkar) продемонстрировал технологию, которая на основе WiFi-данных от общедоступного сервиса Google Street View позволяет дистанционно устанавливать местоположение интересующего человека с точностью до девяти метров.
Во-вторых, никак нельзя проигнорировать очевидную параллель между нынешним выступлением главы Google и очень похожим по смыслу, но только десятилетней примерно давности, заявлением Скотта Макнили, создателя и бессменного руководителя знаменитой некогда корпорации Sun Microsystems. В тот период компания Sun была активно вовлечена в дела американских спецслужб, а Макнили, соответственно, получил возможность из первых рук познакомиться с техническими достижениями современной разведки. И вот, явно находясь под большим впечатлением от увиденного у шпионов, Макнили с трибуны одного из ИТ-форумов выдал тогда неосторожную фразу, которая затем преследовала его на протяжении многих лет: "Да нет у вас уже никакой тайны личной жизни - привыкайте!".
Ну, а в-третьих, благодаря аналитическому исследованию журналиста Ноя Шехтмена (Noah Shachtman), на сайте Wired.com ведущего известный блог Danger Room о новостях военно-разведывательного комплекса США, в общих чертах примерно известно, откуда Эрик Шмидт почерпнул примеры и темы для своего выступления на озере Тахо.
Предметом интереса Шехтмена стала молодая ИТ-компания Recorded Future ("Записанное будущее"), которая без ложной скромности заявляет о том, что занимается новой фазой в делах сбора и анализа разведывательной информации. В реальном времени программные средства этой фирмы отслеживают десятки и сотни тысяч веб-сайтов, блогов и Twitter-страниц. Цель анализа - выявление паттернов, событий и взаимосвязей между людьми, что в совокупности дает возможность предсказывать будущее. Если пояснять чуть подробнее, то Recorded Future прочесывает соответствующие страницы интернета для сбора текущей информации о том, кто-что-когда-где и по какой причине делает, устанавливая скрытые связи между никак внешне не связанными друг с другом людьми и событиями недалекого будущего.
Самое же, наверное, тут интересное, что щедрыми инвесторами Recorded Future, как установил Шехтмен, одновременно являются Google и ЦРУ. Точнее, инвестиционное подразделение Google Ventures и созданная на деньги ЦРУ инвестиционная компания In-Q-Tel, вкладывающая деньги в перспективные для разведсообщества США технологические фирмы. Такие вложения не только обеспечивают разведслужбе некоторую прибыль, но и - самое главное - позволяют оперативно внедрять наиболее передовые технологии в работу разведки.
Хотя одновременное финансирование компании отмечено впервые, вообще говоря, это далеко не первое пересечение интересов Google и разведсообщества США. Ещё в начале десятилетия, к примеру, In-Q-Tel сделала вложения в компанию под названием Keyhole, специализирующуюся на аэрокосмических съёмках земной поверхности с высоким разрешением - до 30 сантиметров. В 2003 году глава этой компании Джон Хэнке (John Hanke) особо подчеркивал, что "стратегические отношения Keyhole с In-Q-Tel означают, что разведывательное сообщество [США] может получать все преимущества от массивно-масштабируемых и высокопроизводительных возможностей нашего продукта". Ещё через год, в 2004, фирму Keyhole купила корпорация Google, сделав её основой для своего нового, ныне чрезвычайно популярного сервиса Google Earth. А попутно, к середине 2005, директор по технологическим приобретениям In-Q-Tel Роб Пэйнтер (Rob Painter) перешел на работу в Google, где стал отвечать за работу по заказам правительства США.
За прошедшие с той поры годы корпорация Google неоднократно поставляла свое серверное программное обеспечение для структур федерального правительства, включая, ясное дело, ЦРУ, АНБ и прочие спецслужбы. Известно, в частности, что программные средства Google (наряду с движком wiki) были положены в основу известной инфосистемы Intellipedia, закрытой базы знаний разведсообщества США, создаваемой силами самих сотрудников разведки по примеру "Википедии". И рассуждая абстрактно, нет да и не может быть ничего предосудительного в том, что ИТ-корпорация продает свои разработки всевозможным государственным ведомствам, затачивая их под конкретные интересы заказчиков.
Однако конкретно для случая Google близкие отношения корпорации с американскими спецслужбами вскоре породили и специфические побочные эффекты. Так, популярные общедоступные сервисы Google в интернете стали давать характерные сбои, больше всего похожие на искусственные манипуляции по ограничению доступа к "неудобной" для властей информации. Один из самых ярких тому примеров на раннем этапе предоставил сервис Google Video (если кто уже забыл, так назывался первоначальный ответ Google на YouTube, пока не было решено, что проще купить сам этот видеосервис, нежели раскручивать альтернативу). Осенью 2006 года выяснилось, что администрация Google принудительно обнуляет счетчики, учитывающие на Google Video количество просмотров видеофильма Terrorstorm ? документального журналистского расследования, сфокусированного на большой и колоритной истории о том, как международный терроризм пестовался и финансировался разведслужбами. Когда факты обнуления счетчика стали известны, это было объявлено "технической ошибкой", которую в Google публично признали и пообещали быстро исправить. Однако счетчики обнулялись и впоследствии, упорно не пропуская Terrorstorm в список сетевых хитов, и соответственно, существенно сокращая потенциальную аудиторию картины.
Самой же недавней по времени "технической ошибкой" Google из того же ряда, т.е. когда в нештатной работе программ вполне отчетливо просматривается замешанность спецслужб, стала скандальная история с крупномасштабным WiFi-шпионажем, который осуществляли автомашины сервиса Google Street View.
На протяжении примерно трех последних лет было принято считать, что приметные автомобили Google, оснащенные фотокамерами на штативе, просто делают в разных городах и странах фотографии видов местности для очень удобного развития сервисов Google Earth и Google Map. Теперь при навигации на местности вдобавок к подробным картам и аэроснимкам стало возможным получать ещё и фотографии непосредственно улиц с домами. Затем неожиданно стало известно, что те же самые автомобили помимо фотографирования ландшафтов ещё и по-тихому собирали информацию обо всех открытых WiFi-сетях в данном регионе. Ну а после этого, начиная с мая нынешнего года, разразился большой международный скандал, поскольку компетентные органы Германии поинтересовались лог-файлами Гугл-автомобилей, снующих по их стране, и установили, что те не только собирали имена WiFi-сетей (SSID) и MAC-адреса подключенных к ним устройств, но также попутно перехватывали и записывали передаваемую в этих сетях информацию.
Такого рода перехватываемые данные легко могут включать в себя письма или фрагменты электронной почты, логины и пароли доступа пользователей к своим эккаунтам и прочую чувствительную информацию. Все это, естественно, сильно встревожило политиков и правозащитников в Германии, Франции и Испании, потребовавших тщательного разбирательства со столь очевидным фактом крупномасштабного шпионажа. Но что интересно, данная история практически никак не взволновала федеральные власти США, обычно весьма ревниво относящиеся к самостоятельным инициативам коммерческих компаний на поприще шпионажа.
Тем временем, в конце июля влиятельная газета Washington Post опубликовала результаты большого двухлетнего расследования своих журналистов, посвященного гигантски разросшемуся за последнее десятилетие разведсообществу США. Среди изобилия собранных репортерами материалов, в частности, есть информация и о том, что Google занимается поставками специализированных программных средств картографирования и поиска информации для военных и разведслужб США. Причём целому ряду сотрудников Google для работы с правительством предоставлены серьёзные допуски к госсекретам уровня Top Secret. В сочетании со скандалом по тайному сбору информации на территории США и других стран, это породило естественные вопросы: что именно за информацию собирает Google и с какой целью?
Несмотря на неоднократные призывы общественных групп, никаких разбирательств в американском Конгрессе конкретно по данному поводу не устраивалось и не планируется. Ощутимое давление пока что ощущается лишь от местных властей американских штатов. В частности, группа из 38 генеральных прокуроров штатов, возглавляемая генпрокурором Коннектикута Ричардом Блюменталем, официально запросила у Google подробную информацию о том, что именно за данные компания собирала, каким образом программы сбора тестировались (если верить корпорации, перехват трафика и его накопление осуществлялись "непреднамеренно" в течение трёх лет), и кто именно в компании отвечал за WiFi-шпионаж. Кроме того, генпрокуроры штатов направили запрос в Комитет по энергетике и коммерции на проведение слушаний по данному вопросу и предупредили, что могут предпринять судебные шаги, если не получат ответов на свои вопросы?
Роберт Стили (Robert David Steele), некогда бывший сотрудник ЦРУ из подразделения по тайным операциям, а ныне один из самых известных апологетов "чистой разведки" на основе анализа открытых источников, в свое врем первым, похоже, запустил в обиход выражение "Google в постели с ЦРУ". В 2006 году, когда его прежние коллеги по спецслужбе подтвердили тайное сотрудничество поискового гиганта с американскими разведслужбами, Стили высказался примерно так: "Я думаю, что Google совершил очень важную стратегическую ошибку, затеяв дела с секретными структурами в правительстве США. Это гигантская ошибка, и я надеюсь, что они найдут способ как-то из этого выбраться, например, разорвав такие отношения"...

Оказывается в Глобальной паутине информации куда больше, чем это можно себе представить. Чаще всего пользователь находит на необходимые ему новые источники в Сети через информационно-поисковые системы, такие как Google, Yahoo! или "Яндекс", которые для многих стали "де-факто" стандартными. Однако кроме видимой для поисковых систем части WWW-пространства существует огромное количество страниц, которые ими не охватываются. При этом доступ пользователя к таким ресурсам в принципе возможен (хотя иногда "слегка прикрыт" паролями). Как правило, эти WWW- страницы доступны в Интернет, однако выйти на них трудно, а порой невозможно, если не знать точного адреса. Эти ресурсы уже десять лет как имеют собственное название - "скрытый" (deep) WWW, которое ввел Джилл Иллсворт (Jill Ellsworth) в 1994 году, обозначив им источники, недоступные для обычных поисковых систем. Сегодня такие ресурсы называют также невидимым (invisible) WWW. Они чаще всего охватывают динамически формируемые WWW-страницы, содержание которых хранится в базах данных и доступно лишь по запросам пользователей.

В 2000 году американская компания BrightPlanet (www.brightplanet.com) опубликовала сенсационный доклад, в котором утверждается, что в WWW-пространстве в сотни раз больше страниц, чем их удалось проиндексировать самыми популярными поисковыми системами. Эта же компания разработала программу LexiBot, которая позволяет сканировать некоторые динамические WWW-станицы, формируемые из баз данных, и запустив ее, получила неожиданные данные. Выяснилось, что для традиционных поисковых систем огромная часть Сети попросту невидима. Топология паутины - "галстук-бабочка"

В отличие от данных из обычного хранилища информации, документы из WWW-пространства характеризуется большим количеством неявно включенных в них экспертных оценок, реализованных в виде взаимных гипертекстовых ссылок. Именно гиперссылки оказались в свое время основой для построения модели WWW-пространства (или, попросту, веба). И именно их остутствие порождает скрытые области в этом пространстве.

В ноябре 1999, Андрей Брёдер (Andrei Bröder) и его соавторы из компаний AltaVista, IBM и Compaq совершили прорыв, математически описав "карту" ресурсов и гиперсвязей веба. Исследования опровергли расхожее мнение, будто Интернет - это единое густое пространство. Проследив с помощью поискового механизма AltaVista свыше 200 млн. веб-страниц и несколько млрд. ссылок, размещенных на этих страницах, ученые пришли к следующим выводам о структуре веб-пространства, котороая соответствует, по их мнению, ориентированному графу с топологией "галстука-бабочки" (Bow Tie), в котором вершины соответствуют страницам, а ребра - соединяющим страницы гиперссылкам. В рамках этой модели задача анализа структуры связей между отдельными веб-страницами было обнаружено наличие:

- центральное ядро (28% веб-страниц) - компоненты сильной связности (SCC) или узел галстука, составляют веб-страницы, взаимосвязанные так тесно, что,следуя гиперссылкам, из любой из них в конечном счете можно попасть на любую другую.

- 22% веб-страниц - это "отправные веб-страницы" (IN). Они содержат гиперссылки, которые в конечном счете ведут к ядру, но из ядра к ним попасть нельзя.

- столько же - 22% - "оконечных веб-страниц" (OUT), к которым можно прийти по ссылкам из ядра, но нельзя вернуться назад.

- 22% веб-страниц - отростки - полностью изолированы от центрального ядра: это либо "мысы", связанные гиперссылками со страницами любой другой категории, либо "перешейки", соединяющие две веб-страницы, не входящие в ядро.

Четыре основных множества - более 90% исследуемых веб-страниц, топологически относящихся к одной компоненте связности - обусловили название модели - "галстук- бабочка" (Bow tie).

Существующие "острова" вообще не пересекаются с остальными ресурсами Сети. Единственный способ обнаружить ресурсы этой группы - знать их адрес. Поисковые машины в принципе не находят этих островов, если они в прошлом каким-то образом не соединялись с другими частями Интернет. Это и объяснило недостаток модели Брёдера - он исследовал в основном страницы открытого (поверхностного) веба, очевидно он отбирал их не совсем случайно. Поэтому, если процентное соотношение первых четырех составляющих "поверхностного" веба можно признать верным, то "острова" в реальности оказались более объемными, чем в модели. Согласно исследованиям компании BrightPlanet, число "скрытых" (но не секретных) веб-страниц во много раз превышает количество видимых. Доступные сегодня благодаря традиционным информационно-поисковым системам 10 млрд. веб-страниц - это лишь видимая крупица. Непознанных, скрытых ресурсов Сети в сотни (!) раз больше. Это прежде всего динамически генерируемые страницы, файлы неопознаваемых поисковыми системами форматов, информация из многочисленных баз данных. В результате исследований также выявилось немало интересных особенностей "скрытого" веба, так, например, известно, что средняя его страница на 27% компактней средней страницы из поверхностной части веб-пространства.

Типы скрытых ресурсов

Для того, чтобы определить, какие из ресурсов невидимы для поисковых систем, следует рассмотреть принцип работы типового индексатора - робота таких систем. Эти программы, как правило, посещают веб-страницы по известным заранее адресам, анализируют их содержание и выделяют гиперссылки, идущие от них. Обычно, обработав текущую страницу, выделив ключевые слова и некоторые поля, робот переходит по адресам, найденным на ней, сканирует последующие страницы, выделяет новые адреса и. т.д. Обычно, как только робот определяет, что он обращается к динамической странице, он останавливает свою работу, так как чаще всего для получения осмысленного ответа из баз данных требуется осмысленный запрос, а большинству из роботов чужды элементы интеллекта, даже искусственного. Т.е. "скрытый" веб охватывает в первую очередь содержимое онлайновых баз данных. Динамической является и быстро обновляемая информация - новости, конференции, онлайновые журналы.

Конечно, есть и явные "острова" по Брёдеру, на которые не ведут никакие гиперссылки, и от которого гиперссылки не исходят. Защищенные паролями коммерческие веб-сайты также попадают в категорию "скрытого" веба - о материалах этих сайтов большинство пользователей никогда не узнают с помощью поисковых систем. Однако относительное количество таких сайтов невелико. Например, среди крупнейших сайтов "скрытого" веба, платными являются только 10% ресурсов, хотя именно они включают важнейшие издательства и базы данных.

Основатель BrightPlanet Майкл Бергман (Michael K. Bergman) выделил 12 разновидностей "скрытых" веб-ресурсов (см. www.leidenuniv.nl/ub/biv/specials.htm), относящихся к классу онлайновых баз данных. В списке оказались как традиционные базы данных (патенты, медицина и финансы), так и публичные ресурсы - объявления о поиске работы, чаты, библиотеки, справочники. Бергман причислил к "скрытым" ресурсам и специализированные поисковые системы, которые обслуживают определенные отрасли или рынки, базы данных которых не включаются в глобальные каталоги традиционных поисковых служб.

К "скрытому" веб также относятся многочисленные системы интерактивного взаимодействия с пользователями - помощи, консультирования, обучения, требующие участия людей для формирования динамических ответов от серверов. К ним также можно отнести и закрытую (полностью или частично) информацию, доступную, пользователям Сети только с определенных адресов, групп адресов, иногда городов или стран. К "скрытой" части Сети многие причисляют и веб-страницы, зарегистрированные на бесплатных серверах, которые индексируются, в лучшем случае, лишь частично - поисковые системы во избежание рекламного спама не стремятся обходить их в полном объеме.

Недавно появилась категория так называемых "серых" сайтов, функционирующих на основе динамических систем управления контентом (Dynamic Content Management Systems). В поисковых системах обычно ограничивается глубина индексирования таких сайтов во избежание возможного циклического просмотра одних и тех же страниц.

И конечно же, "скрытыми" оказываются веб-сайты, создатели которых не оповещают кого-либо о создании этих ресурсов.

Безусловно, основной формат данных, с которым работают традиционные поисковые системы в Интернет - это HTML, причем статическая его часть. С другими форматами у многих поисковых систем имеются различные проблемы. К примеру, различные версии формата PDF (Adobe Portable Document Format), а также особенности хранения инкапсулированных графических изображений, заставляют считать сетевые ресурсы, представленные в этом формате, "скрытыми". Тем не менее, некоторые современные поисковые системы уже вполне сносно индексируют документы в этом формате. К "скрытым" форматам принято относить также и Flash, широко использующийся для обеспечения визуальных эффектов на веб-сайтах.

Кроме того, например, для нашего пользователя, наверняка "скрытой" можно признать большую часть гигантского китайского сегмента Интернет. Например, малопопулярный в Европе и Америке китайский поисковый портал Baidu (www.baidu.com) в 2004 году опередил Google по объему трафика стал четвертым в мире веб-ресурсом по этому показателю. Другая китайская поисковая система 3721.com заняла седьмое место. Эти данные по ранжированию привела исследовательская компания Alexa, речь о которой пойдет ниже. Портал Baidu.com стал крупнейшей в мире поисковой системой на китайском языке и охватывает более 95% китайских пользователей сети.

Базы данных "скрытой" Сети

Пожалуй, самыми большими из известных ресурсов "скрытого" веба являются базы данных служб Dialog и LexisNexis.

Одной из крупнейших мировых служб информационного поиска является американская компания Dialog (www.dialog.com), созданная при поддержке NASA и до 1988 года принадлежавшая аэрокосмической фирме Lockheed. Сегодня Dialog принадлежит корпорации Thomson (США) - одному из всемирных лидеров в области предоставления интегрированных информационных решений. Корпорация Thomson имеет свыше 20 миллионов пользователей в 130 странах мира. Сервисом компании Dialog также пользуются в более чем 100 странах мира. Образованная в 1965 г. как первая в мире онлайновая информационно-поисковая служба, Dialog фактически определила современные стандарты управления информацией.На сегодняшний день Dialog включает такие продукты и сервисы, как Dialog®, Dialog Profound®, Dialog DataStar, Dialog NewsEdge® and Dialog IntelliscopeSM, которые обеспечивают доступ к более 1,4 млрд. документов через Интернет или сети intranet. При этом в компании Dialog определяют свои ресурсы как часть "скрытого" веба (Deep Web), заявляя, что содержат полезной, не дублирующейся информации в 500 (!) раз больше, чем доступно с помощью традиционных информационно-поисковых систем. Коллекция баз данных службы Dialog содержит 900 баз данных, доступных 700,000 пользователей, которые только за 1 час прочитывают свыше 17 миллионов документов из этих баз данных.

Основанная в 1973 году крупнейшая в мире онлайновая служба LexisNexis предоставляет своим пользователям юридическую, политическую, коммерческую, новостную, регистрационную и другую информацию. С 1979 года система баз данных LexisNexis - первая в мире служба полнотекстового поиска - в настоящее время охватывает свыше 35 000 источников информации, содержащих в совокупности более 4,6 миллиардов документов с глубиной ретроспективы до 200 лет. Каждый час в базы данных LexisNexis добавляется 57 500 документов. LexisNexis представлена сегодня в 20 странах, пользователи сервиса находятся в более чем 100 странах.

В "скрытом" вебе существует множество альтернатив коммерческим базам данных типа Dialog или Lexis-Nexis. Среди них, например сайт www.10kwizard.com, предлагающий доступ к полным текстам корпоративных документов, хранящихся в Комиссии США по ценным бумагам и биржам.

Существуют тысячи баз данных "скрытого" веба, свободно доступные для пользователей, но чаще всего, не охватываемые традиционными поисковыми системами. Приведем еще несколько примеров:

- Educator's Reference Desk (http://www.askeric.org/) - этот ресурс содержит свыше двух тысяч учебных планов, несколько тысяч ссылок на образовательные документы, а также ссылки, представляющие собой запросы к архиву. С этого сайта обеспечивается доступ к базе данных ERIC - крупнейшему источнику информации по проблемам образования, а также к полнотекстовым дайджестам, составляемым экспертами.

- Nuclear Explosions Database (http://www.ga.gov.au/oracle/nukexp_query.html) - австралийская база данных по географии. Для работы с системой достаточно перейти в режим "Online Tools", после чего будет представлен список баз данных и карт.

- PubMed (http://www.ncbi.nlm.nih.gov/entrez/query.fcgi) - с ресурса обеспечивается доступ к свыше 14 млн. ссылок системы MEDLINE, включая ссылки на полные тексты статей и информационные ресурсы. Имеется возможность перехода к службе PubMed Central (PMC), к свободно доступному архиву статей (свыше 90 тысяч) из научных журналов. Обеспечивается также доступ к глобальной поисковой системе NCBI, охватывающей базы данных по естествознанию.

- LookSmart's FindArticles (www.findarticles.com) - база данных FindArticles - доступный через веб-интерфейс архив, содержащий 2.8 млн. статей из более 500 источников, накапливаемый с 1998 года.

Приведем еще один пример "скрытой" базы данных. Корпорация ChoicePoint недавно предоставила сервис Auto TrackXP, вошедший в список двадцати крупнейших "скрытых" сайтов мира (по рейтингу BrightPlanet). Auto TrackXP представляет собой базу данных объемом 30 TB, охватывающую практически все аспекты гражданской жизни США. База данных системы Auto TrackXP содержит информацию практически о каждом гражданине США. Например, чтобы определить, не завладел ли человек чужими документами, на основе системы организован платный сервис ProCheck, позволяющий сопоставить информацию из различных источников и государственных каталогов. Сегодня американцы испытывают шок, обнаруживая существование подобных баз данных, видя в этом нарушение своих гражданских прав.

Сталкеры в скрытом пространстве

"Скрытый" веб представляет собой гигантский репозитарий документов, звуков, изображений, фильмов и т.п. Безусловно, если большая часть этой информации не доступна традиционным поисковым системам, то существует потребность в специальных инструментах поиска "скрытого" контента. Эти инструменты включают каталоги, метапоисковые сайты, доступные через веб базы данных, а также большое количество глобальных, региональных и специальных поисковых систем.

Для поиска в "скрытой" Сети, а именно в том ее сегменте, который составляют базы данных, сегодня уже существуют некоторые специализированные ресурсы. Среди них, например, системы BigHub (www.bighub.com) и InvisibleWeb (www.invisible-web.net) компании IntelliSeek. Сайт Invisible Web включает в себя каталог баз данных, большинство из которых не заиндексированы известными поисковыми машинами. При введении запроса этот сайт выдает ссылки на ресурсы, с помощью которых поиск необходимой информации станет наиболее оптимальным. На этом сайте Криса Шермана (Chris Sherman) и Гари Прайса (Gary Price) собраны коллекции ссылок на различные базы данных, среди которых содержится немало уникальных ресурсов, например, сборник спичей политиков и бизнесменов. Программный пакет BullsEye компании IntelliSeek осуществляет поиск более чем в 800 сетевых ресурсах.

Лидером среди навигаторов в "скрытом" вебе является сайт CompletePlanet (www.completeplanet.com) компании BrightPlanet. Этот сайт является крупнейшим каталогом, насчитывающим свыше 100 тысяч ссылок. Компания BrightPlanet также создала персональную утилиту для поиска в онлайновых базах данных - LexiBot, которая может обеспечивать поиск в нескольких тысячах поисковых систем "скрытого" веба. Метопоисковый пакет DeepQueryManager (DQM) этой же компании обеспечивает поиск по 55 тысячам "скрытым" веб-ресурсам.

Сайт Direct Search (www.freepint.com/gary/direct.htm), созданный Гари Прайсом, также обеспечивает поиск в базах данных "скрытого" веба. На сайте содержится ссылка на лучшие ресурсы ценовой информации - MySimon.com, финансовой информации - FinancialFind.com, а также ссылки на информацию из научно- популярных журналов и научных баз данных по биотехнологиям - Biolinks.com.

В Интернет есть и другие сайты-навигаторы, а также специализированные программы поиска. Например, поисковая система по университетским архивам, библиотекам и книгам - Infomine Multiple Database Search (http://infomine.ucr.edu/search.phtml); каталог информационных сайтов, которые уникальны в своих областях - BUBL LINK (bubl.ac.uk/link/); полнотекстовый поиск по содержанию всех книг - Amazon.com.

Особенность большинства "скрытых" ресурсов - в их узкой специализации. Для поиска в них используются те же механизмы, что и для "поверхностного" веба, однако, чаще всего, роботы поисковых систем для "скрытого" веба включают уникальные для каждого такого ресурса модули доступа к данным.

Ссылки на "скрытый" веб в каталогах

Каталоги, как глобальные так и специальные, могут содержать ссылки на "скрытые" ресурсы, прежде всего, базы данных. Приведем несколько самых известных примеров:

- Портал WebData.com на первый взгляд ничем не отличается от других подобных ресурсов, однако содержит гиперсылку "Add Your Database" (добавить Вашу базу данных), говорящую о том, что на данном портале можно зарегистрировать базу данных - часть "скрытого" веба.

- Librarians' Index to the Internet (http://lii.org/) - каталог, содержащий свыше 14000 Интернет-ресурсов. LII также включает ссылки на "скрытые" в веб-пространстве базы данных. У владельцев таких баз данных есть возможность поместить соответствующую гиперссылку в этом каталоге на свой ресурс (в LII есть ссылка "and databases" (добавить базу данных).

- FindLaw (www.findlaw.com/) - один из наиболее популярных в мире юридических веб-сайтов - огромный каталог правовых ресурсов, содержащий аннотированный список свободно доступных баз данных нормативно-правовых документов, для которых данный ресурс является "точкой входа".

- InfoMine (http://infomine.ucr.edu) - ресурс, содержащий ссылки на 120000 документов, представленных в 9 аннотированных баз данных. Этот каталог позиционирует себя как "виртуальную библиотеку Интернет-ресурсов", ориентированную на студентов и исследователей-профессионалов.

- About.com (http://www.about.com/) - портал, охватывающий тысячи, снабженных комментариями, ссылок на веб-ресурсы, в том числе и на ресурсы "скрытого" веба (имеется ссылка "Invisible Web"). На портале предоставляется возможность поиска в каталоге. Ресурс также включает несколько статей по проблематике "невидимого" веба: "What is the Invisible Web?", "Finding the Invisible Web", "Top Places to Search the Invisible Web" и др.

К разряду каталогов можно также отнести такие коллекции ссылок и поисковые системы и "скрытые" базы данных:

- Direct Search (http://www.freepint.com/gary/direct.htm) - ресурс, содержащий ссылки на ресурсы "скрытого" веба. Например, присутствует ссылка на сайт ResourceShelf (http://www.resourceshelf.com), обеспечивающий поиск в блогах (сетевых журналах) и новостных сообщениях.

- The Invisible Web Directory (http://www.invisible-web.net) - веб-сайт Шермана и Прайса (Chris Sherman & Gary Price) - соавторов термина "Invisible Web".

- Profusion (http://www.profusion.com) - сайт компании Intelliseek, первой создавшей каталог "невидимого" веба InvisibleWeb.com. ProFusion - это модифицированный метапоисковая поисковая система, позволяющая выбирать области поиска в "вертикальных" (тематических) разрезах.

- CompletePlanet (http://www.completeplanet.com) - сайт корпорации BrightPlanet Corporation, который охватывает свыше 70 000 поисковых баз данных и специальных поисковых систем.

Системы поиска в "скрытом" вебе

Традиционная поисковая система чаще всего может назвать адрес базы данных, но не скажет, какие документы конкретно содержаться в ней. Типичный пример - информационно-поисковые системы по украинскому (http://www.rada.gov.ua) или российскому законодательству (http://www.kodeks.ru/). Тысячи документов из баз данных становятся доступны только после входа в систему, а роботы стандартных поисковых систем не в состоянии заиндексировать контент баз данных. Многие поисковые системы как глобальные, так и локальные - описаны на сайтах Search Engine Watch (http://www.searchenginewatch.com) и Search Engine Showdown (http://www.searchengineshowdown.com). На этих сайтах приведены, среди прочих, и поисковые системы "скрытого" веба:

- Singingfish (http://www.singingfish.com) - поисковая система Singingfish обеспечивает поиск аудио- и видеофайлов, представленных на веб-сайтах.

- Scirus (http://www.scirus.com) - поисковая система по представленным в Интернете научным материалам, включая статьи из журналов и отчеты. Со страницы расширеного поиска (Advanced Search) доступны многочисленные тексты из баз данных EBSCO и ProQuest.

- UFOSeek (http://www.ufoseek.com) - поисковая система по материалам о паронормальных явлениях и НЛО. Качественный и полноценный поиск информации в "скрытом" вебе возможен и с использованием таких специализированных коммерческих баз данных, как Dialog, ProQuest, Web of Science. Но эти базы данных ввиду своей платности сами являются объектами "скрытого" веба.

Информация в различных форматах

Информация, представленная в форматах, отличных от HTML для многих поисковых систем оказывается недоступной, хотя сегодня ситуация меняется в корне. Например, популярная система Google (http://www.google.com/) уже обеспечивает поиск в документах, представленных в форматах MS PowerPoint, DOC, RTF, Postscript, PDF, а также обеспечивает преобразование этих файлов в текстовый формат. Поиск в документов в разнообазных форматах, доступен в этой системе как из режима расширенного поиска в Google (Advanced Search), так и из "простого" поиска - достаточно использовать в запросе команду "filetype:", уточнив поиск выражением "filetype:pdf". Знаменитая служба Yahoo! сегодня уже не только каталог, но и полнофункциональная поисковая система. Поисковая система "Yahoo! Search" (http://www.yahoo.com) как и Google обеспечивает выдачу текстовых копий документов, размещенных в Интернет в форматах Word, Excel, PowerPoint и PDF, а также RSS/XML- фидов (новостных лент и блогов - "живых журналов").

Специализированная система Gigablast (http://www.gigablast.com) предназначена исключительно для поиска по документам в форматах Word, Excel и PDF. Эта система выдает по запросу кэшированные (архивные) копии документов в исходных форматах, при этом обеспечивает булевый поиск и выдачу версионных копий документов, которые были в размещены в Сети, но возможно затем и удалены.

Скрытый новостной ресурс

Текст новостей тоже традиционно относился к "скрытой" Сети, однако в последние годы все крупнейшие поисковые сайты разработали эффективные инструменты поиска оперативно обновляемых новостных сообщений - это, например, "Яндекс.Новости" (http://news.yandex.ru/), Google News (http://news.google.com/) или Uaport (http://uaport.net/UAnews/). Служба Google News автоматически собирает новости из нескольких тысяч источников, обновляя свои базы данных каждые 15 минут. Существуют и другие зарубежные службы интеграции новостей, например, NewsIsFree, Topix.net, и Daypop (www.daypop.com). В России крупнейшими интеграторами новостей являются системы Integrum (http://www.integrum.ru) и Webscan (http://www.webscan.ru), в Украине - InfoStream (http://infostream.ua) и WebObserver (http://webobserver.info).

Многие сайты на своих страницах публикуют новости как собственные, корпоративные, так и общеотраслевые. Если на сайте не реализован статический механизм архивации старых сообщений, то даже будучи помещенными в архив, доступный из Интернет, эти сообщения рискуют оказаться в зоне "скрытого" веба.

Материалы публикаций попадают в разряд "невидимого" веба и в том случае, если они защищены паролями как средствами обеспечения оплаты или просто сбора статистики о читателях. Многие аналитики (в частности, аналитик IDC Джеймс Левин), признают, что для изданий значительно выгодней публиковать усеченную бесплатную версию своих материалов - это обеспечит их популярность в Интернет, попадание изданий в индексы популярных поисковых систем.

"Скрытый" архив "поверхностного" веба

Парадоксально, но как один из ресурсов "скрытого" веба можно рассматривать и архив ресурсов открытого веб-пространства. Такой архив - "Internet Archive" с 1996 года создает компания Alexa (www.alexa.com). Сегодня объем базы данных Alexa превышает 500 TB. Новые страницы в настоящее время попадают в хранилище со скоростью 1 ТB в день. Технология хранилища Alexa включает ряд современных средств управления гигантским документальным хранилищем. Например, с помощью технологии Alexa выполняется кластеризация веб-ресурсов, т.е. формирование коллекций документов, близких по тематикам. Особый интерес у пользователей сервиса Alexa вызывает "Машина времени" (Wayback Machine), открывающая доступ к временным срезам веб- пространства. Одно из наиболее интересных практических применений этой технологии - восстановление документов, некогда опубликованных в веб-пространстве, но впоследствии удаленных. При этом рост "скрытого" веба грозит серьезными пробелами в хранилище системы, связанными с увеличивающимся количеством сайтов, эксплуатирующих различные технологии управления контентом, динамической публикацией документов из баз данных и т.п.

Аналогичный проект, но относящийся только к одному типу информации - аудиовизуальной, - Informedia (www.informedia.com/) разрабатывается в институте Карнеги Меллона. Informedia появилась в 1996 г. в рамках инициативы Digital Library Initiative. С тех пор к проекту в роли спонсоров присоединились многие компании, в том числе Microsoft, Intel, CNN, Boeing и даже Visa. В рамках проекта разрабатываются технологии распознавании образов и речи.

Параллельно с поверхностным WWW

Чем быстрее растет веб-пространство, тем хуже оно охватывается традиционными каталогами и поисковым машинам. Ввиду роста количества веб-сайтов и порталов, использующих в своей работе хранящуюся в базах данных информацию, динамических систем управления контентом, появлением новых версий форматов представления информации, "скрытый" сегмент веба растет очень интенсивно. С одной стороны, Интернет как огромное хранилище увеличивает объем информации, доступной "в принципе", но с другой стороны - растет информационный хаос, увеличивается энтропия сетевого информационного пространства. Все меньшая часть информационных ресурсов становится доступной пользователям реально. Объем "скрытого" веба, содержащего полезную для пользователей, но слабодоступную информацию, в сотни раз превышает "поверхностную" часть. Т.е. традиционные средства охвата информационных ресурсов не справляются с задачей поиска большей части информации. Эффективными оказываются лишь тематические каталоги и поисковики - сталкеры в мире "скрытого" веба.

Спасти ситуацию могут и новые возможности унификации обмена информацией в Интернет. Одним из первых проектов консорпциума W3C в этой области стал "Семантический веб". Основная идея проекта заключается в такой организации данных, чтобы веб-серверы могли их использовать, а не только визуализировать, чтобы программы разных производителей могли эффективно работать с контентом. В рамках проекта "Семантического веб" были разработаны спецификации метаязыка XML, предусматривающие разделение средств визуализации и смыслового содержания. На основе XML создаются различные форматы, специально предназначенные для организации информационной коммуникации как между людьми, так и между серверами.

Для решения задачи интеграции новостной информации было создано несколько форматов описания данных на основе XML. Самый распространенный формат получил название RSS, что означает Really Simple Syndication, Rich Site Summary. Сегодня экспорт данных в формате RSS осуществляют крупнейшие порталы, включая CNN, BBC News, Amazon, CNet News, MSNBC, The Register, Wired и т.д.

Аналитики отмечают, что только в начале 2004 года, пользователи Интернет по- настоящему открыли для себя технологию RSS. Сегодня для работы с данными в формате RSS разрабатываются все новые программы, сайты и поисковые системы, которые все более востребованы пользователями. Эти программы приоткрывают завесу над динамично обновляемой частью "скрытого" WWW.

>>8035
Устарела инфа, того же сингингфиша уже нет давно.

Держать Exit Node - задача для крепких парней

Если вы живете на территории страны, в которой почти или совсем нет Интернет цензуры, вы, возможно, захотите создать и поддерживать простой ретранслятор Tor или ретранслятор Tor типа мост, чтобы помочь другим пользователям сервиса Tor получить доступ к неподверженному цензуре Интернету.
Сеть Tor основывается на волонтерах, предоставляющих часть пропускной способности их Интернет соединения. Чем больше предоставляющих ретрансляторы людей, тем быстрей и безопасней становится компьютерная сеть Tor. Чтобы помочь людям, использующим Tor для обхода Интернет цензуры, установите ретранслятор типа мост вместо обычного ретранслятора.
Надо понимать, что работая в качестве Exite Node'ы, человек серьезно подставляет себя. Ведь именно его IP светиться во время взломов и т.д.
Вывод может быть один - используя Tor будь осторожен. Да, система обеспечивает неплохой уровень анонимности, С другой стороны необязательно рассматривать Tor как исключительно инструмент для анонимного серфинга в Сети, ведь TOr открывает ворота в таинственые места, где можно увидеть скрытое от постороних глаз, и услышать непознанное. И эти ворота в ДаркВеб, можем держать открытыми мы.
Анонимус