Работа с реферерами

Ipse · Post by **Ipse** » 11 Jun 2005, 13:23 Sat

Хотелось бы нормальную работу с реферерами.
Сейчас автоподстановка реферера - это просто подстановка УРЛа той страницы, на которой я кликнул по линке. Хотя логичней наверно подставлять в качестве реферера сам линк, на котором я кликнул. Это в простейшем случае. А в идеале - подстановка рефереров (с поддержкой регэкспов) из менеджера сайтов

Kin · Post by **Kin** » 11 Jun 2005, 16:59 Sat

Поддерживаю, неплохо было бы решить вопрос с реферами. Многие сайты дают скачать только при правильном рефере (откуда была кликнута ссылка). Они не дают прямую ссылку, проверяют ряд условий, в частности, реферы и если всё OK, по их мнению, дают. Пока не всегда получается. Приходится начинать закачку браузером, копировать ссылку и вставлять в DM.

FeNiX · Post by **FeNiX** » 11 Jun 2005, 20:03 Sat

Вот что-что, а это ИМХО нужно обязательно. Вот, например, с очень (опять же) ИМХО нужного сайта www.soft-best.ru (не примите это за рекламу

) получается качать только браузером (то бишь, ему нужен этот рефферер, без него ну никак

), а я с него как-то тянул 140 мб по диал-апу (с)"длинными весенными вечерами" %) А так бы на ночь поставить ДМу на закачку и попросить его вырубить комп по окончанию. Вот это было бы супер!

Karfax · Post by **Karfax** » 12 Jun 2005, 2:31 Sun

Ох и вредный этот сайт www.soft-best.ru. Я с него и при помощи DM тянул, и оперой - закачиваю файл, а он говорит, что файл поврежден (был rar-архив), так еще и докачки нету. С третьего или четвертого раза все же вытянул.

Groms · Post by **Groms** » 12 Jun 2005, 9:13 Sun

Да с реферами надо разобраться

FeNiX · Post by **FeNiX** » 12 Jun 2005, 9:54 Sun

Karfax wrote:Я с него и при помощи DM тянул, и оперой

Я, конечно, понимаю, что это не форум поддержки Софт-Беста

(тамошний админ ну очень близко к сердцу принимает такие вопросы

) но как ты тянул ДМ'ом с него файлы??? Я уже запарился качать Оперой

DjDSoft · Post by **DjDSoft** » 12 Jun 2005, 12:10 Sun

Народ, а про Ctrl+R во время добавления файла вы не знаете ?

FeNiX · Post by **FeNiX** » 12 Jun 2005, 13:23 Sun

DjDSoft wrote:Народ, а про Ctrl+R во время добавления файла вы не знаете ?

Буквально только что прочитал на официальном сайте об этой комбинации

Ipse · Post by **Ipse** » 12 Jun 2005, 16:59 Sun

DjDSoft wrote:Народ, а про Ctrl+R во время добавления файла вы не знаете ?

Знаем. И что? Речь идет об _автоподстановке_ нужного реферера. Пока у DM с реферерами положение самое печальное из опробованных мною кучи качалок (DM, два Reget'а, FG, IDA, MD, HiD), поскольку, как уже писал, он по умолчанию подставляет реферером урл страницы с линком, а не сам линк на программу. А это в 90% случаев в корне неверно. В частности с тем же народом.

Karfax · Post by **Karfax** » 12 Jun 2005, 18:34 Sun

Так а что даст то, если он будет подставлять линк на саму программу?

По-моему, поле "Ссылка" это всего лиш строчка в файле описания, а на процес скачки никак не влияет. Тем более он все правильно подставляет, судя по описанию этого поля: "Ссылка на страницу с которой получен URL (Referer)". Зачем в это поле подставлять сам линк на программу?! Этот линк подставляется в поле URL.

А на народе так и написано, что: различные download manager'ы не работают. Хотя я спокойно закачивал с него при помощи DM, путем ручного добавления закачки.

FeNiX wrote:но как ты тянул ДМ'ом с него файлы??? Я уже запарился качать Оперой

Ну взял вручную добавил и тянул. Правда полностью он не скачался. Пришлось Оперой пробовать. Я там не написал, что все-таки вытянул его при помощи Оперы.

Ipse · Post by **Ipse** » 13 Jun 2005, 0:50 Mon

Karfax wrote:Так а что даст то, если он будет подставлять линк на саму программу?

По-моему, поле "Ссылка" это всего лиш строчка в файле описания, а на процес скачки никак не влияет.
...
А на народе так и написано, что: различные download manager'ы не работают.

Гы. Объясню _еще_ раз

Поле "Ссылка" - это как раз и есть _реферер_. Т.е. если там значение правльное, то и с народа кач идет нормально. Пример - http://www.basilio58.narod.ru/spacerupdate1.50.rar Если просто кликнуть на этой ссылке, то она выведет на страничку закачки на народе. Если подставить ее напрямую в ДМ, то он скачает хтмл-страницу. НО если при добавлении закачки в поле "Ссылка" прописать эту самую ссылку, фактически сказав народу, что мы начали качать со странички самой програмули, то ДМ нормально качает хоть в 5 потоков и никаких лишник окошек типа "Вы скачиваете с народа". Т.о.

"Ссылка на страницу с которой получен URL (Referer)".

- это правильно, но с академической точки зрения, а с практической правильно (в данном случае) будет именно подстановка полной линки на файл. Хотя на народе есть универсальный реферер: http://www.narod.ru
Ну теперь доступно объяснил

Так а что даст то...

???

Post by **Slavko** » 13 Jun 2005, 14:22 Mon

Ipse wrote:Пример - http://www.basilio58.narod.ru/spacerupdate1.50.rar Если просто кликнуть на этой ссылке, то она выведет на страничку закачки на народе. Если подставить ее напрямую в ДМ, то он скачает хтмл-страницу.

Чето я вас не пойму. Если кинуть эту ссылку в ДМ то все замечательно скачается, т.к. ДМ сам автоматом подставляет реферер в виде:
Referer: http://www.basilio58.narod.ru/
(см. лог.).
Если же вы отключили опцию Настройки - Соединение - Настройки HTTP - Автоматически создавать поле Referer при его отсутствии (по умолчанию включена), то ничем не могу помочь, и на программу наговаривать нечего.

И еще "Ссылка:" в окне добавления программы это и есть реферер. Если он явно вами не указан, или не был передан при перехвате ссылок, то при включенной опции "Автоматически создавать поле Referer при его отсутствии" в запросе к серверу будет передаваться реферер в виде УРЛ но без имени файла.
Какие проблемы?

Ipse · Post by **Ipse** » 13 Jun 2005, 16:05 Mon

А по шагам? Если я делаю райтклик на этой линке и говорю "закачать с помощью ДМ", то в поле "Ссылка" появляется вот это: http://www.one.com.ua/forum/viewtopic.php?t=37 - однозначно не то, что надо. А если копирую линку в буфер обмена, то ДМ подхватывает закачку, но поле "Ссылка" остается пустым, в результате ДМ качает файл noname.htm. Если кликнуть на линке, то, как я уже писал, открывается окно с народом. Так какие действия надо предпринять, чтобы закачать файл по линке на народ с этого форума без ручной подстановки реферера?
P.S. Браузер у меня FF, хотя сомневаюсь что дело в нем.

Karfax · Post by **Karfax** » 13 Jun 2005, 16:55 Mon

Вот вам пример работы.

Качал сегодня русификатор с msilab.ru.
Выдало мне на странице (урл которой http://msilab.ru/show.php?rus=1041) ссылку на нужный мне файл - http://msilab.ru/download/download.php?ad=3163. В Опере при попытке кликнуть по второй ссылке начинает открываться rar файл в текстовом виде. Но мы ведь не лыком шиты . Я взял скопировал URL файла из адресной строки ( http://msilab.ru/software/localize/your ... mRalik.rar) и добавил его вручную в DM. И что вы думаете? Он ничего не скачал . Вернее скачал файл, но сообщил мне, что это текстовая страница. Ну ладно, подумал я , взял и поменял путь для скачки на http://msilab.ru/download/download.php?ad=3163. И что же? Опять повторилась предыдущая ситуация.

Ну полез я в FAQ на сайте msilab.ru и прочитал про эти самые рефереры. И тут я вспомнил, что в DM для этого есть спец строка. Ну я взял и вставил в нее URL страницы на которой находилась ссылка на нужный мне файл, а в поле URL для скачки вставил http://msilab.ru/download/download.php?ad=3163 и все прекрасно закачалось. Так что DM все подставляет правильно. Жалко только, что на msilab rar-файлы определены как text/plain (вот уж глупость!). Приходиться все вручную добавлять.

Ipse, так а как DM может узнать какая ссылка правильная? Может http://www.one.com.ua/forum/viewtopic.php?t=37 - это и есть нужный рефер?

FeNiX · Post by **FeNiX** » 13 Jun 2005, 17:54 Mon

Так почему бы не сделать, чтобы ДМ сам перебрал для поля Рефферер или ссылку на закачку, или просто адрес сайта (как, кстати сделано на СамЛабе) и выбрал бы где настоящий файл, а не там какая-нить "Страница 404". Ну а если не нашёл, то пусть предлагает скачать страницу