Page 1 of 2

Multithreading с нескольких ПК

Posted: 01 Apr 2015, 16:30 Wed
by User12854
Возможно ли реализовать в программе следующую опцию:

Скачивание одного файла с нескольких ПК.

Пример: необходимо скачать файл 3Гб. Имеется 2 соединения 3G и 2 ПК. На них установлен Download Master. Как скачать файл в 2 потока (или несколько потоков) и потом его объединить?

Posted: 01 Apr 2015, 17:17 Wed
by Qwertiy
User12854 wrote:Multithreading с нескольких ПК
Интересная идея, но что-то сомневаюсь в её особой полезности. Если только для скачивания с файлообменников?
Если есть желание воспользоваться подобным прямо сейчас, можно подделать файл закачки, чтобы DM качал только нужный кусок. В принципе, это реально. Вариант для скачивания хвоста есть тут http://downloadmaster.net/forum/viewtopi ... 398#p45398

Re:

Posted: 02 Apr 2015, 23:46 Thu
by User12854
Qwertiy wrote:
User12854 wrote:Multithreading с нескольких ПК
Интересная идея, но что-то сомневаюсь в её особой полезности. Если только для скачивания с файлообменников?
Если есть желание воспользоваться подобным прямо сейчас, можно подделать файл закачки, чтобы DM качал только нужный кусок. В принципе, это реально. Вариант для скачивания хвоста есть тут http://downloadmaster.net/forum/viewtopi ... 398#p45398
Cпасибо за ответ!

Хотелось бы видеть такой алгоритм скачивания в качестве дополнительной опции/плагина. Т.е. возможность выбора сегментов скачивания, импорт/экспорт и объединение сегментов после закачки.

Варианты применения такие, например:
Более быстрое скачивание объемных файлов - одновременное скачивание файла с двух линий позволит скачать его в два раза быстрее (+/- зависит от качества и вида связи).
Экономия времени при скачивании на безлимите с низкой скоростью (1 сегмент качает один комп, 2-й сегмент - второй, и т.д.) К тому же комп может быть и виртуальный, например, VBox.

Posted: 04 Apr 2015, 4:27 Sat
by Qwertiy
User12854 wrote:Более быстрое скачивание объемных файлов - одновременное скачивание файла с двух линий позволит скачать его в два раза быстрее (+/- зависит от качества и вида связи).
Теоретически - да. Но практически, мне кажется, не так уж много людей имеют одновременно 2 линии.
User12854 wrote:Экономия времени при скачивании на безлимите с низкой скоростью (1 сегмент качает один комп, 2-й сегмент - второй, и т.д.)
Сомнительно. Там же не на комп лимит даётся?
User12854 wrote:К тому же комп может быть и виртуальный, например, VBox.
У виртуалки будет тот же ip и то же соединение.
Или речь опять про наличие двух линий подклюяения?

Re: Multithreading с нескольких ПК

Posted: 11 Apr 2015, 2:41 Sat
by User12854
Подключений может быть более двух.
У каждого подключения - свой IP.

Re: Multithreading с нескольких ПК

Posted: 11 Apr 2015, 5:17 Sat
by marcipan
А кто будет задавать объёмы скачивания для каждого ПК ?
Только не пишите, что ДМ :)

ЗЫ: хотелка 2006 года, поэтому и была первоначально помещена в другую тему.

Posted: 13 Apr 2015, 12:09 Mon
by Qwertiy
User12854 wrote:Подключений может быть более двух.
У каждого подключения - свой IP.
Я понимаю что может. Но много ли людей, у которых это так? Подозреваю, что крайне мало...
marcipan wrote:А кто будет задавать объёмы скачивания для каждого ПК ?
Только не пишите, что ДМ :)
А почему бы нет?)

Re:

Posted: 13 Apr 2015, 18:18 Mon
by marcipan
Qwertiy wrote:
marcipan wrote:А кто будет задавать объёмы скачивания для каждого ПК ?
Только не пишите, что ДМ :)
А почему бы нет?)
А ручку от мясорубки или кривой стартер не надо ?

Re: Multithreading с нескольких ПК

Posted: 08 May 2015, 14:00 Fri
by sasa961
На низких скоростях Download Master единственное спасение ибо на браузерах адекватных качалок не делают(даже на хроме). По этому бы хотел подметить, что такая возможность("Multithreading") многих бы очень обрадовала. Отвечаю как единица использования мобильного подключения с полосой в 256кбит\с. ПС: в uTorrent такая функция есть("Multithreading"), но там потеря пакетов и ошибок хеша около 10%(в среднем) от обьема файла.

Я поддерживаю идею указанную в шапке и присоеденяюсь к текущей аудитории.

Posted: 08 May 2015, 23:21 Fri
by Qwertiy
sasa961 wrote:на браузерах адекватных качалок не делают(даже на хроме)
Адекватная качалка только в 12й опере.
А у большинства хромиумов - одна из самых плохих - они даже не обрабатывают разрыв при скачивании - считают, что файл успешно скачался.
sasa961 wrote:Отвечаю как единица использования мобильного подключения с полосой в 256кбит\с. ... Я поддерживаю идею указанную в шапке и присоеденяюсь к текущей аудитории.
Эм.. И со скольких компьютеров собираетесь одновременно качать с разных модемов мобильного интернета?

Re:

Posted: 09 May 2015, 0:14 Sat
by sasa961
Qwertiy wrote:
sasa961 wrote:на браузерах адекватных качалок не делают(даже на хроме)
Адекватная качалка только в 12й опере.
Это Вы наверное еще о той, что на Presto была создана. Прискорбно, что на текущий момент обе ветки разработчиков этой Оперы работают с Chromium-ами, и выбор у нас: "официальная опера" или Вивальди.(Последний пока не проверял, думаю проверить после значительной времени поддержки и заплат). ПС: даже помню что там был торрент клиент впечатан и оно могло спокойно параллелить разные протоколы.
А у большинства хромиумов - одна из самых плохих - они даже не обрабатывают разрыв при скачивании - считают, что файл успешно скачался.
И не говори! Это просто "****"(слов нет), вот загружал фильмец на 120мб(с капца - мобильный файлообменник) и как то джава скрипт треснул и вместо ивента под райт клик пошел ивент лефт клика, но не в этом суть. Суть в том, что оно начало закачиваться и я такой думаю: а хомяк с ним - пускай загружает(давно я с оперы не загружал используя интегрированный downloader) и как оказалось после 70мбайт оно посчитало, что скачало все. Моим надеждам на интегр-загрузчик настал "завершение". Пришлось перегружать с помощью DMастера - последнее, что ему не хватает так это мысли читать))//гипербола, но заслуженная
sasa961 wrote:Отвечаю как единица использования мобильного подключения с полосой в 256кбит\с. ... Я поддерживаю идею указанную в шапке и присоеденяюсь к текущей аудитории.
Эм.. И со скольких компьютеров собираетесь одновременно качать с разных модемов мобильного интернета?
Минимум 2, но сегодня немного прошарился по этому сайту и заметил, что были комментарии о VirtualBox-е, ну и вспомнил, что там можно использовать свои подключения.

Как было подмечено раньше: суть темы не у того у кого один большая полоса подключения, а у того, у кого много малобъемных каналов.
ПС: сегодня после изучения некоторых глав задумался о написании просто го загрузчика на основе "асинхронных" запросов для скачивания отдельных блоков файла, на тек.момент изучаю принципы процесса закачки файла.

Re:

Posted: 09 May 2015, 0:37 Sat
by sasa961
Qwertiy wrote:Эм.. И со скольких компьютеров собираетесь одновременно качать с разных модемов мобильного интернета?
Забыл отметить: я из поселка отдаленного от городской местности. Кабельное подключение мне пока не светит. Переезд не запланирован. Идея в шапке - мой выход из "гигабайтных нужд". Зато мобильное подключение стабильно на ~80% времени суток и достаточно дешево(20грн ==~60рублей\month).

Posted: 13 May 2015, 23:14 Wed
by Qwertiy
sasa961 wrote:Это Вы наверное еще о той, что на Presto была создана.
Да, о ней.
По идее, многие сайты должны в ней по-прежнему работать.
sasa961 wrote:Прискорбно, что на текущий момент обе ветки разработчиков этой Оперы работают с Chromium-ами
Ну это не то чтоб совсем плохо, хромиумы вполне съедобны...
Не думаю, что сейчас возможно создать новый браузерный движок, FF у меня замечательно виснет, поэтому он (и всё на его основе) идёт лесом. Предпочитаю китайско-японские хромиумы (кстати, в них часто есть торрент). Хотя последннее время по сути просто перебираю. Сейчас Яндекс-браузером пользуюсь.
sasa961 wrote:и выбор у нас: "официальная опера" или Вивальди.
Не совсем так. Официальная идёт лесом - там нет почти ничего ни из старой оперы, ни из хромиумов.
Вивальди - в третьем превью наконец-то пофиксили открытие новых вкладок для сайтов, на которых ты залогинен. Теперь можно тестить. Но там было много других минусов.
Ещё есть Otter browser. Давно не смотерел, но, теоретически, это попытка возродить функционал старой оперы. Тоже на основе хромиума.
sasa961 wrote:и как оказалось после 70мбайт оно посчитало, что скачало все. Моим надеждам на интегр-загрузчик настал "завершение". Пришлось перегружать с помощью DMастера
Можно было попытаться воспользоваться этим http://downloadmaster.net/forum/viewtopi ... 398#p45398 и докачивать в DM только хвост.
sasa961 wrote:ПС: сегодня после изучения некоторых глав задумался о написании просто го загрузчика на основе "асинхронных" запросов для скачивания отдельных блоков файла, на тек.момент изучаю принципы процесса закачки файла.
Я вот тоже об этом задумываюсь последнее время. Даже представляю, какая должна быть функциональность и как реализовать. Но не начинал даже.
В плане функциональности я только не знаю, как ограничение скорости сделать, но лично для меня оно в данный момент неактуально.
Ну и про загрузку с разных соединений, если они доступны, тоже не в курсе. Да и нет их у меня.

Re:

Posted: 14 May 2015, 0:35 Thu
by sasa961
Qwertiy wrote:
sasa961 wrote:и как оказалось после 70мбайт оно посчитало, что скачало все. Моим надеждам на интегр-загрузчик настал "завершение". Пришлось перегружать с помощью DMастера
Можно было попытаться воспользоваться этим http://downloadmaster.net/forum/viewtopi ... 398#p45398 и докачивать в DM только хвост.
А может стоит добавить эту функцию в сам DM? - лишнего не бывает)
Qwertiy wrote:
sasa961 wrote:ПС: сегодня после изучения некоторых глав задумался о написании просто го загрузчика на основе "асинхронных" запросов для скачивания отдельных блоков файла, на тек.момент изучаю принципы процесса закачки файла.
Я вот тоже об этом задумываюсь последнее время. Даже представляю, какая должна быть функциональность и как реализовать. Но не начинал даже.
В плане функциональности я только не знаю, как ограничение скорости сделать, но лично для меня оно в данный момент неактуально.
Ну и про загрузку с разных соединений, если они доступны, тоже не в курсе. Да и нет их у меня.
Я согласен на счет неактуальности, но бросать идею не буду. Я уже составил список функций и требований, и пока единственное, что у меня не хватает это только работа по локальной сети. При необходимости предоставлю список(он небольшой и выполняет основные требования поставленной задачи).

Posted: 15 May 2015, 2:02 Fri
by Qwertiy
sasa961 wrote:А может стоит добавить эту функцию в сам DM? - лишнего не бывает)
Я не разработчик DM. У меня такой возможности нет. А разработчики молчат.
Qwertiy wrote:Я согласен на счет неактуальности, но бросать идею не буду.
Не понял, к чему неактуальность относится в твоём варианте.
sasa961 wrote:пока единственное, что у меня не хватает это только работа по локальной сети
Не понял, при чём тут локальная сеть.
sasa961 wrote:При необходимости предоставлю список(он небольшой и выполняет основные требования поставленной задачи).
У меня наоборот большой. Почти всё из основной функциональности DM, плюс прокси, плюс категории с приоритетами и плагины для обработки ссылок, плюс плагины, предоставляющие списки прокси.
Под жирным вопросом только регулировка скорости - фича полезная, но есть у меня опасения, что для её реализации нужно чуть ли не всё начиная с tcp самому реализовать - а это как-то не хочется...

PS: http://bbs.vbstreets.ru/memberlist.php? ... le&u=27922