Виртуальный магнетизм

Мир р2р-технологий спокойным не назовешь. Новости из данной сферы напоминают фронтовые сводки. Не успели мы привыкнуть к торрентам – прошли битвы заинтересованных сторон, выявились способы борьбы, – как нас ожидает новый виток обострения противоречий. Во многом именно благодаря этому все больше распространяется технология, способная в перспективе заменить собой привычные торренты. Речь идет о так называемых магнитных ссылках (Magnet Links).

Немного истории
Начало истории магнитных ссылок практически совпало с новым витком соревнования виртуального меча и щита, или, в нашем случае, приложений для свободного обмена контентом и средств его контроля. Данный стандарт разработан в далеком 2002 году на основе официального стандарта IETF URI (Universal Resource Identifier). Первоначальной целью проекта было «подружить» схемы описаний ресурсов крупных p2p-сетей Freenet и eDonkey. Однако результат разработки оказался гораздо более универсальным.

Перед нами действительно удобная и современная технология, которая имеет все шансы вскоре заменить привычные torrent-файлы. Будущее у нее, скорее всего, самое хорошее.

Несколько лет технология хоть и успешно работала, но не привлекала к себе внимания и не пользовалась особенной известностью. Перелом произошел, пожалуй, в конце 2009 года, когда один из крупнейший в мире торрент-трекеров The Pirate Bay внедрил использование магнитных ссылок в своем каталоге. С этого времени интерес к Magnet Links начал расти, и сейчас мы уже смело можем говорить о новой странице в истории инструментов сетевого файлообмена. Так зачем нам нужны эти магнитные ссылки? Какие преимущества есть у них перед уже известными технологиями обмена файлами, включая привычные торренты? Давайте разбираться.
Зачем нужны и как устроены магнитные ссылки?
Магнитные ссылки – это пример технологии, которой можно просто пользоваться, не особенно задумываясь о внутренних механизмах ее работы. Данный инструмент, если говорить коротко, является попыткой усовершенствовать обычную Torrent-схему и позволяет максимально децентрализовать сеть обмена файлами, снизив зависимость пользователей при загрузке нужных файлов от работоспособности сайта-трекера.

Генерация магнитной ссылки с помощью µTorrent

Обычно данные о каждом торренте хранятся в особом файле с расширением *.torrent, который содержит информацию как о самом файле (имя, хэш), так и о трекере. Эти файлы сохраняются серверами-трекерами и необходимы как для нахождения пользователей с конкретным файлом или его фрагментом, так и для проверки целостности самих скачиваемых файлов. У этой системы есть свои достоинства, но есть и недостатки.
Наиболее серьезный для p2p-сообщества носит даже не технический, а юридический характер. Хранение torrent-файлов на сервере-трекере, как показывает практика, делает его владельцев достаточно уязвимыми перед судебными преследованиями, даже несмотря на то, что сам контрафактный контент находится у удаленных юзеров. Магнитные ссылки как раз помогают решить в первую очередь именно эту проблему. Неслучайно интерес к этой технологии был в значительной мере подстегнут относительно недавними успехами в борьбе с некоторыми крупными торрент-трекерами.
Как и обычный URL, магнитная ссылка – это просто строка символов, а не файл. Однако у нее есть и существенные отличия. Если URL содержит адрес файла в сети, то магнитная ссылка описывает его содержание, что гораздо важнее для p2p-сетей. Ее обязательный элемент – хэш целевого файла. Кроме того, она может содержать дополнительные данные, например адрес клиента хаба (в случае с Direct Connect-сетями) и другую информацию. Поскольку магнитная ссылка «отвязана» от названия или точного адреса файла, она будет работать и при переименовании или перемещении искомого ресурса. Соответственно, по магнитной ссылке клиент сможет скачивать файл у нескольких пользователей, даже если каждый из них присвоит ему собственное имя.

Для интеграции поддержки закачки магнитных ссылок в браузере достаточно один раз настроить файловые ассоциации с установленном в системе p2p-клиентом

Таким образом, магнитные ссылки способны выполнять все функции torrent-файлов, практически не уступая им в возможностях и несколько превосходя удобством использования. Для трекеров использование магнитных ссылок означает снижение не только риска, но и нагрузки, поскольку основная часть работы в файлообменной сети перекладывается на клиентские приложения.
Магнитные ссылки – это гораздо более устойчивая технология, чем torrent-файлы. Поскольку каждая ссылка содержит всю нужную информацию о файле, безвременная кончина трекера, построенного на магнитных ссылках, не сказывается на возможности непосредственной передачи файлов между клиентами.
Пользователи тоже в определенном выигрыше. Первым полезным свойством магнитной ссылки является то, что она позволяет поставить ресурс на закачку, даже в случае если в данный конкретный момент ни один его владелец не находится в Сети: процесс начнется автоматически, как только они появятся в онлайне. Кроме того, по магнитной ссылке также можно начинать скачивать только частично выложенный в Сеть файл – ваш клиент спокойно начнет загружать его доступные фрагменты. Поскольку такая ссылка – это просто текстовая строка, никто не мешает размещать ее на веб-страничке, пересылать в сообщениях электронной почты или месседжеров.
Применение магнитных ссылок также в определенной мере защищает пользователей от поддельных торрентов, поскольку любая модификация файла приводит к изменению его хэша. Варианты файла можно легко отличить друг от друга, что практически исключает вероятность нарваться на фейк. Так что же, магнитные ссылки – идеальный вариант для файлообмена? Не все так просто, и определенные проблемы все еще остаются. Начнем с того, что, несмотря на довольно давнюю историю магнитных ссылок, интерес к ним действительно серьезно вырос относительно недавно. Как следствие, разработчики многих торрент-клиентов только в последнее время добавили в свои продукты поддержку магнитных ссылок.
Несколько боком им вышла даже их гибкость: единого стандарта пока нет, разные сети и сайты могут использовать отличающиеся форматы. Разработчикам p2p-клиентов приходится учитывать это разнообразие. Получается пока с переменным успехом: время от времени можно столкнуться со ссылкой, которую «штатный» клиент не хочет воспринимать. Кроме того, на некоторых ресурсах магнитные ссылки содержат только необходимый минимум данных, в результате чего не передается даже имя торрента или список содержащихся в нем файлов, что создает некоторые неудобства. Это, в частности, затрудняет выбор нужного контента. Справедливости ради повторимся, что такие проблемы возникают только на определенных трекерах. Более того, они не носят принципиального характера и, скорее всего, будут постепенно устраняться.
Работаем с магнитными ссылками
Для того чтобы воспользоваться магнитной ссылкой, понадобится выполнить всего несколько весьма простых операций. Если вы встретили такую ссылку на веб-странице во время серфинга и у вас установлена какая-либо программа для работы с магнитными ссылками, достаточно будет один раз разрешить браузеру ее запуск при клике по ссылке: на этом отличия магнитных ссылок от обычных ссылок на скачивание файлов для конечного пользователя, по большому счету, заканчиваются. Несколько оригинальна, как обычно, Opera. Для автоматической передачи ссылок некоторым торрент-клиентам понадобится в настройках браузера («Настройки» > «Общие настройки» > «Программы») указать новый протокол (magnet) и сопоставить ему нужную программу.
Нельзя не отметить, что различные торрент-клиенты имеют собственные особенности при обработке магнитных ссылок. Здесь, конечно же, многое зависит от ваших задач и предпочтений. Сводную таблицу возможностей разных клиентов по работе с такими ссылками можно посмотреть в «Википедии» – она достаточно полная и вполне достоверная. Мой личный субъективный выбор для работы в связке с браузером – µTorrent (www.utorrent.com). Меня вполне устраивает его «всеядность» по отношению к магнитным ссылкам в различных форматах, крайне редкие сбои, лаконичность интерфейса и отсутствие лишней суеты при настройке и в работе. Кроме того, он является свободно распространяемым.
Что же происходит, когда мы кликаем по магнитной ссылке? Должен же осуществляться какой-то поиск, а ведь посредник (трекер), судя по описанию технологии, здесь отсутствует? Для решения этой задачи в данном случае программы-клиенты используют технологию распределенных хэш-таблиц (Distributed Hash Tables, DHT). Структура DHT такова, что для поиска нужного ресурса по его хэшу клиенту понадобится опросить только ограниченное количество участников сети, даже если в ней нет центральных индексирующих узлов.
Достигается это за счет группировки данных в так называемые пространства ключей по признаку схожести их хэшэй. Каждый узел сети хранит список с информацией о ближайших к нему других узлах. Запрос от клиента, образно говоря, путешествует между узлами со все более близкими к искомым значениями, пока не выходит в итоге на нужный файл. Такой подход позволяет построить децентрализованную распределенную систему поиска со вполне приемлемыми пользовательскими характеристиками.
Давайте посмотрим на процесс обмена с другой стороны и разберемся, как можно создавать магнитные ссылки на собственные файлы. Данный процесс также весьма прост и автоматизирован в популярных клиентах. Как и в случае торрента, файл, который вы хотите сделать доступным, должен быть расшарен с помощью вашей программы-клиента. Дальнейшие операции зависят от конкретного используемого вами клиента. Например, в уже упомянутом выше популярном приложении µTorrent для создания торрента достаточно просто перетащить нужные файлы в его главное окно. После этого откроется диалог, который предложит скопировать в буфер обмена ссылку на вашу раздачу. Любопытно, что для сокращения ссылки автоматически используется сервис TinyURL (www.tinyurl.com).
Ссылка ведет на страницу сервиса µTorrentRemote. Там есть кнопка для прямого скачивания контента с помощью µTorrent, торрент-ссылка, а также прямая магнитная ссылка на ваш ресурс. Такого извилистого пути можно избежать и просто вызвать контекстное меню вашего файла и выбрать в нем пункт «Копировать Magnet-URI». Давайте посмотрим на содержание свежеиспеченной магнитной ссылки.
Она состоит из ряда параметров и значений, разделенных между собой знаком «&». Заметим, что строго обязательным является только параметр xt, который, собственно, и содержит хэш вашего файла. Остальные параметры, в принципе, опциональны, и вы при желании вполне можете их удалить из магнитной ссылки без особого ущерба для ее работоспособности. Заметим, что для удобства ваших будущих получателей рекомендуется оставить хотя бы параметр dn, в котором содержится имя файла, отображаемое в программе-клиенте получателя.
Каталоги магнитных ссылок
Допустим, мы вполне прониклись смыслом и прелестью данной технологии. Дело осталось за малым: ответить на вопрос, а где, собственно, можно разжиться этими замечательными ссылками?
Во-первых, раз уж многие торрент-трекеры предлагают магнитные ссылки как альтернативный способ доступа к файлам, начинать можно со стандартных встроенных систем поиска. Несложно догадаться, что для поиска магнитных ссылок в таком случае подойдут и метапоисковые системы поиска по трекерам.
Кроме того, постепенно появляются проекты, специализирующиеся именно на поиске ресурсов, представленных магнитными ссылками, о которых обязательно нужно сказать пару слов. Мы не будем останавливаться на отдельных трекерах, снабдивших доступные раздачи магнитными ссылками, а сосредоточимся именно на специализированных поисковых машинах. Первым поисковиком, который полагается только на индексацию магнитных ссылок, стал проект Torrindex (torrindex.com).

Проект Torrindex является первой поисковой системой, ориентированной на контент, доступный по магнитным ссылкам

Проект поддерживает несколько вариантов поиска файлов. Можно просматривать ленту новостей, в которую попадают все проиндексированные новые ссылки, а можно воспользоваться собственно системой поиска. Она предлагает только простой режим, правда снабженный парочкой фильтров. Нам доступна строка ввода запроса и переключатель типа контента: «все», «видео», «аудио» и другие варианты. Поиск ведется только по названию файла (используется параметр dt в проиндексированной магнитной ссылке).
Страница результатов сделана в виде таблички. Она кроме имени раздачи и магнитной ссылки содержит дату ее добавления в индекс, а также информацию о количестве сидеров и личеров.
Недостатки данного проекта во многом связаны с его статусом ранней бета-версии. Пополняется индекс не так регулярно, как хотелось бы, поэтому некоторые горячие новинки здесь не найти. Нет здесь и весьма полезного для подобных систем фильтра или опции сортировки по количеству активных сидеров для нужного файла.
Вместо этого используется автоматическая сортировка файлов в списке по количеству упоминаний в DHT-сети. Решение, в принципе, верное, однако его реализация пока хромает. Именно эти полезные данные в выдаче Torrindex довольно условны и, к сожалению, частенько грешат неточностью. В результате для раздач, не относящихся к мейнстриму, приходится вручную просматривать результаты и при возможности выбирать оптимальные варианты самостоятельно.
Довольно любопытным примером специализированного поисковика является проект Bitzi (bitzi.com). Первоначально он развивался как своеобразная сетевая энциклопедия доступных в интернете мультимедийных ресурсов. Собственно говоря, данная функция выполняется и по сей день: чтобы убедиться в этом, достаточно заглянуть в раздел Bitpedia на сайте проекта. Предмет интереса данного проекта – сбор метаданных о мультимедиафайлах.

Проект Bitzi предназначен для поиска мультимедийных файлов и широко использует магнитные ссылки

В настоящее время база проекта насчитывает около трех с половиной миллионов описаний. Источники пополнения – труд членов сообщества, а также различные открытые источники. Здесь можно найти ресурсы, опубликованные как на отдельных сайтах, так и на самых различных сервисах, а также в сетях обмена файлами. Полезное свойство базы Bitzi – система постоянной проверки контента, что значительно повышает качество базы.
Каждый ресурс в Bitzi получает собственную виртуальную «карточку», в которой приводится весьма подробная информация. Это не только привычные заголовки, имена исполнителей, которые, кстати, даются в различных вариантах написания, но и сведения о ресурсе, на котором хранится файл, а также подборка ссылок для загрузки. Магнитная ссылка присутствует обязательно, кроме того, могут быть представлены ссылки на торренты, а также прямую веб-загрузку.

Сервис Vahuka индексирует ряд крупных торрент-трекеров, размещающих магнитные ссылки для своих раздач

Продолжим обзор рассказом о нескольких проектах из нашего сегмента интернета. Одним из первых поисковиков, индексирующих магнитные ссылки, стал сервис Vahuka (vahuka.ru). Здесь есть только режим простого поиска и облако тегов. Данный сервис занимается самостоятельным индексированием ряда торрент-трекеров, предлагающих магнитные ссылки. Обновления в системе довольно регулярные – раз в несколько дней. Предлагается поисковый плагин для браузеров, поддерживающих формат OpenSearch. Для каждого найденного результата имеется небольшая «паспортичка», где указан трекер, на котором он хранится, а также ссылка на torrent-файл и собственно нужная нам магнитная ссылка.
Магнитные ссылки могут работать в различных p2p-сетях. Для сетей прямой передачи данных хорошим поисковым ресурсом является сайт dcmagnets.ru. Встроенный поисковик предлагает режимы простого и расширенного поиска. В последнем случае форма запроса предоставляет ряд полезных фильтров. Во-первых, это тематический фильтр «Поиск по разделам». С его помощью можно прекрасно справиться с результатами-омонимами из различных разделов – например, вы не будете получать ненужные ссылки на аудиофайлы при поиске видеоклипов. Пригодится и фильтр «Временной период», позволяющий быстро отбирать более свежие версии необходимого контента. Что касается результатов поиска, то они, к сожалению, не блещут. Лучше всего представлено мультимедиа, а вот электронные книги, например, стоит поискать в других источниках.
Итоги
Подведем краткий итог нашего обзора. При использовании магнитных ссылок уязвимость трекеров и зависимость пользователей от их работоспособности заметно снижается. Файлообменная сеть становится более устойчивой к воздействиям, поскольку центральный узел уже не так нужен и перебои в работе трекера не скажутся на возможности обмена файлами. В результате перед нами действительно удобная технология, которая имеет все шансы заменить привычные torrent-файлы. Будущее у нее, скорее всего, самое хорошее.
Что особенно приятно, у технологии магнитных ссылок немало преимуществ перед торрентами даже с точки зрения самого обычного домашнего юзера: помимо технических прелестей и простоты использования, присутствуют и вполне человеческие удобства. Здесь нет необходимости в регистрации на трекерах, никто не считает рейтинги и не пытается ввести какие-либо другие формы дискриминации честных халявщиков, коими является значительный процент пользователей таких файлообменных ресурсов.
Напоследок замечу, что очень бы не хотелось, чтобы технология магнитных ссылок ассоциировалась сугубо с распространением контента, способного довести до нервной икоты любого сторонника строгого соблюдения авторских прав в интернете. Это действительно удобный инструмент, никак, в общем-то, не затрагивающий сферы этики и экономики. Контент, распространяемый с помощью таких ссылок, равно как и торрентов, – это просто зеркало нашего с вами общества. Давайте просто будем уважать друг друга.

Алексей Кутовенко
Опубликовано: Upgrade