Всем привет, в отпуске решил поиграть с растом -

отдохнуть от питона и плюсов

в качестве упражнения взял задачку с собесов классическую - "скачать стотыщ урлов"

споткнулся на асинхронном решении - такое ощущение, что у токио-лупа есть какой-то лимит на количество футур - если на 34 строчке подставить 50 (количество урлов) то все отрабатывает ок: если сотню - он выводит ответы первых пары десятков и виснет намертво

https://play.rust-lang.org/?version=stable&mode=debug&edition=2021&gist=50c2e5499ba3c49e3c92fcd3e7a8ec3b

гугл не помог (

13 ответов

29 просмотров

прочитал "решил вот поиграть в Раст"

reqwest::get: NOTE: This function creates a new internal Client on each call, and so should not be used if making many requests. Create a Client instead. если я правильно понимаю, вместо "прямого" вызова get'ов на url, создаем клиент из каждого url'а и из него уже get используем

нет, создаём один клиент и у него дёргаем гет на каждый урл

Дмитрий- Автор вопроса

попробовал исправить на использование Client, та же проблема - в зависимости от числа запросов в условии цикла успешно завершается несколько их них (чем больше запросов - тем меньше успешно отрабатывают) и виснет async fn async_example() { let mut result_vec: Vec<_> = Vec::new(); let client = Client::new(); for i in 1..100 { let url = format!("http://127.0.0.1:8080/{i}"); result_vec.push(print_result_from_future(client.get(url).send())); } join_all(result_vec).await; } - код сейчас выглядит так

Дмитрий
попробовал исправить на использование Client, та ж...

в доке увидел "This method fails if there was an error while sending request, redirect loop was detected or redirect limit was exhausted" (https://docs.rs/reqwest/latest/reqwest/struct.RequestBuilder.html#method.send) то есть вполне возможно, что все-таки redirect limit мешает дальше отправлять запросы если бы я понимал где тот redirect limit указан и как его изменить))

Дмитрий- Автор вопроса
Дмитрий
кажется что тут речь про http redirect

понимаю, что может быть http redirect, но из того что я могу предложить - https://docs.rs/reqwest/latest/reqwest/redirect/struct.Policy.html#method.redirect попробуй поставить none(), возможно это поможет или условный limited в миллион, если это будет иметь смысл хоть какой-то я в reqwest сам не профессионал, думаю видно))

Дмитрий- Автор вопроса
К|/|pи/\/\ 6е3yглbIи
screenshot понимаю, что может быть http redirect, но из того ...

даже если в этом проблема - не должно ли оно падать с паникой во время unwrap?

Дмитрий
даже если в этом проблема - не должно ли оно падат...

ну, по логике - должно, иначе это уже будет нарушать семантику или гайдлайны языка (в большинстве случаев)

Дмитрий- Автор вопроса
Дмитрий
занятно, что оно жрет целое ядро при этом

я думаю это либо неграмотное использование асинхронного рантайма либо так надо в самом токио, наверное на то есть какие-то причины я в асихронщине пока глубоко не копался

Похожие вопросы

Обсуждают сегодня

а что делать если тебя убивают на картах?
Yarik yarik kyda ti lezesh
43
Всем привет, может уже кто-то пытался выдернуть из api информацию о дате рождения пользователя Есть ли вообще такая возможность?
Artem Stormageddon
2
Подскажите где можно прочитать про реализацию возможности писать человеку при подписке на телеграм канал от имени бота? Было бы не плохо если для Telegraf@3.38.0
Pan Lipton
10
Мне вот что интересно, кто на рфе стартовал/играл, что вы фармили, в каком виде контента он прямо хорош? Экспедиция? Вроде прямо на замазанных мапах рф сдувается
Владислав
20
Ребята, я за проф советом😅 По микросервисам. В монолите есть общие файлы для сервисов: фетчи, конфиги, либы, утилсы.. как при распиле правильно их поддерживать? Пока вариант д...
Александр Тарасюк
1
‌/r/pathofexile moderation changes top scoring links : pathofexile (RSS) Hi, everyone. On behalf of the subreddit mod team, I’m here to give you a few updates on the subreddi...
Esionru
3
всем привет. я правильно понимаю, что в телеграфе 4, если сессию указать у сообщения с коллбеком (кликнул на кнопку и установил сессию), то она не сохраняется?
Тимур
1
У меня вопрос к знающими, стоит ли вступать в гильдии в игре или лучше полная свобода?
Енот Полоскун
17
У вас бывает ощущение, что хочется потратить весь отпуск на то, чтоб только спать?
Николай
15
Как можно настроить фильтр в пое под себя?
Yarik yarik kyda ti lezesh
15
Карта сайта