170 похожих чатов

Добрый день, коллеги. У меня такой вопрос. Я работаю с

WebClient для краулинга страничек с сайта. С помощью такого кода я создаю кучу инстансов WebClient и асинхронно качаю странички.
var tasks = uriList
.Select(url => Task.Run(() =>
new WebClient().DownloadStringTaskAsync(url))).ToList();

await Task.WhenAll(tasks);
Вопрос следующий. Как сделать небольшие паузы между запусками тредов с запросами к серверу? Я не хочу, чтобы под натиском моего паука сайт начал тормозить или не дай бог упал (такое уже было пару раз во время моих опытов, но может быть это было совпадение).

1 ответов

1 просмотр
Alex-A Автор вопроса

Может очередь какую намутить и делать паузы перед запусками, но не пропадёт ли тогда смысл асинхронщины при таком решении?

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
55
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
есть тут кто-то , кто только начал изучать си? если проходите курс на степике или как-то сами изучаете, пишите, может, скооперируемся?..
Eule
25
Слушайте, ещё такая интересная задачка. Сделан аудит действий пользователей через триггеры в базе, соответственно каждый пользователь имеет свой логин и пароль в базе. Это пре...
Сергей Бычков
12
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
вопрос по москвину - не понимаю вот такого вопроса похоже Сколько разных всегда завершающихся функций с типом a -> a -> b -> a -> a можно реализовать? Две функции одинаково...
Fedor
11
Скажите, тут нет проблемы? IMyInterface1 = interface function GetInterface2: IInterface2; ... function TMyInterface.GetInterface2: IInterface2; begin Result := TI...
Ruslan aka DUDE
18
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Утра доброго. Просветите пожалуйста. Хочу сделать rest сервер на делфи. Посмотрел 3 фреймворка: dmvc, Mars, mormot. Ни в одном из них не упоминается ассинхронная обработка вхо...
Сергей Бычков
10
Как попросить stack install делать executable без .exe на винде?
Danila Danko
9
Карта сайта