Всем привет, в отпуске решил поиграть с растом -

отдохнуть от питона и плюсов

в качестве упражнения взял задачку с собесов классическую - "скачать стотыщ урлов"

споткнулся на асинхронном решении - такое ощущение, что у токио-лупа есть какой-то лимит на количество футур - если на 34 строчке подставить 50 (количество урлов) то все отрабатывает ок: если сотню - он выводит ответы первых пары десятков и виснет намертво

https://play.rust-lang.org/?version=stable&mode=debug&edition=2021&gist=50c2e5499ba3c49e3c92fcd3e7a8ec3b

гугл не помог (

13 ответов

52 просмотра

прочитал "решил вот поиграть в Раст"

reqwest::get: NOTE: This function creates a new internal Client on each call, and so should not be used if making many requests. Create a Client instead. если я правильно понимаю, вместо "прямого" вызова get'ов на url, создаем клиент из каждого url'а и из него уже get используем

нет, создаём один клиент и у него дёргаем гет на каждый урл

Дмитрий- Автор вопроса

попробовал исправить на использование Client, та же проблема - в зависимости от числа запросов в условии цикла успешно завершается несколько их них (чем больше запросов - тем меньше успешно отрабатывают) и виснет async fn async_example() { let mut result_vec: Vec<_> = Vec::new(); let client = Client::new(); for i in 1..100 { let url = format!("http://127.0.0.1:8080/{i}"); result_vec.push(print_result_from_future(client.get(url).send())); } join_all(result_vec).await; } - код сейчас выглядит так

Дмитрий
попробовал исправить на использование Client, та ж...

в доке увидел "This method fails if there was an error while sending request, redirect loop was detected or redirect limit was exhausted" (https://docs.rs/reqwest/latest/reqwest/struct.RequestBuilder.html#method.send) то есть вполне возможно, что все-таки redirect limit мешает дальше отправлять запросы если бы я понимал где тот redirect limit указан и как его изменить))

Дмитрий- Автор вопроса
Дмитрий
кажется что тут речь про http redirect

понимаю, что может быть http redirect, но из того что я могу предложить - https://docs.rs/reqwest/latest/reqwest/redirect/struct.Policy.html#method.redirect попробуй поставить none(), возможно это поможет или условный limited в миллион, если это будет иметь смысл хоть какой-то я в reqwest сам не профессионал, думаю видно))

Дмитрий- Автор вопроса
К|/|pи/\/\ 6е3yглbIи
screenshot понимаю, что может быть http redirect, но из того ...

даже если в этом проблема - не должно ли оно падать с паникой во время unwrap?

Дмитрий
даже если в этом проблема - не должно ли оно падат...

ну, по логике - должно, иначе это уже будет нарушать семантику или гайдлайны языка (в большинстве случаев)

Дмитрий- Автор вопроса
Дмитрий
занятно, что оно жрет целое ядро при этом

я думаю это либо неграмотное использование асинхронного рантайма либо так надо в самом токио, наверное на то есть какие-то причины я в асихронщине пока глубоко не копался

Похожие вопросы

Обсуждают сегодня

Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
2
Ребята, всем привет. Подскажите, пожалуйста, можно ли как-то через бота понять, что этого бота добавили в группу\канал и выдали ему права администратора?
Artem Stormageddon
9
Привет всем! Почему этот код не срабатывает при добавлении или удалении пользователя из чата? bot.on('chat_member', async (ctx) => { console.log(ctx); }) bot.launch({allo...
Alexander
7
Всем привет. Не понимаю, в чём тут шутка юмора. Убирается только разрешение на send_messages. А send_media_messages остаётся. Как сделать, чтобы оба убирались? await b...
Alexander
2
Есть тут кто занимается разработкой серваков майна? Или знакомые
meow *
3
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Есть ли лимиты на кол-во вебхук по домену? Стоит в данный момент 900+ ботов и бывает бот перестает отвечать (не приходят вебхуки) 🐒 Помогает только перезапуск
ᅠ [ Кому не ответил, дублируйте ]
11
Товарищи, здравствуйте Подскажите, пожалуйста, может кто-нибудь сталкивался с такой задачей Через вебапку можно сканировать qr-код, а есть ли возможность считывать nfc?
Artem Stormageddon
8
а что делать если тебя убивают на картах?
Yarik yarik kyda ti lezesh
43
Визуальное отображение моделей таблиц sql какое посоветуете?
Shen
7
Карта сайта