209 похожих чатов

Добрый день! Подскажите, пожалуйста, мне нужно прощёлкать ссылки на разные

сайты, чтобы узнать существует страница или нет. То есть получить код ответа: 200 — страница существует, 404 — нет страницы.
Использую код Value.Metadata( Web.Contents( [Ссылка на сайт], [Timeout = #duration(0, 0, 0, 2), ManualStatusHandling={200,400,401,403,404,429,500,503}] ) )[Response.Status]
С единичными сайтами работает отлично, но у меня в таблице более 1000 ссылок на несколько десятков сайтов. Столкнулся с тем, что PQ может тупить и не всегда получает код ответа. Решил это повторным «простукиванием» ссылок по которым нет результата.

Но сейчас возникла новая проблема. Есть сайт www.ari-on.ru на котором PQ знатно зависает. Обнаружил, что ровно 64 ссылки на этот сайт PQ обрабатывает быстро и нормально, а на 65-й ссылке начинает висеть. Ограничил время ожидания ответа 2 секундами (Timeout), чтобы PQ не ждал каждый раз 100 секунд. В итоге PQ очень бодро проверяет первые 64 ссылки, потом тратит на каждую последующую 2 секунды. Иногда получает ответ, иногда нет.

Короче мой вопрос. Можно ли как-то сделать так, чтобы PQ стучался на сайт не так активно, а по одной ссылке раз в несколько секунд? То есть чтобы при переходе на новую строку, где лежит новая ссылка PQ делал паузу. У меня одно догадка, что сайт блокирует такие частые запросы. А чтобы проверить это нужна задержка (Timeout такой задержкой не является, как я понимаю). Или как-то по другому может быть можно проверить массово коды ответа страниц?

4 ответов

24 просмотра

Function.InvokeAfter для задержки

я понимаю, что для PQ ответ странный, но не проще этот блок делать на питоне и возвращать результат хоть массивом, хоть апдейтом таблицы?

Прошлым летом мучился, надо было парсить данные СМЕ (выдирать часть в БД на своем сервере), а там стоит туповатый, но блочок на скриптовые запросы. Причем подлый такой - не отрубает, а возвращает пустой массив. В итоге добавили эмуляцию запроса через Selenium, все работает скоро год как (ттт).

Максим- Автор вопроса
Ivan Goncharov
Прошлым летом мучился, надо было парсить данные СМ...

Ох, как-нибудь надо будет изучить всё это конечно)

Похожие вопросы

Обсуждают сегодня

This is a question from my wife who make a fortune with memes 😂😂 About the Migration and Tokens: 1. How will the old tokens be migrated to the new $LGCYX network? What is th...
🍿 °anton°
2
Anyone knows where there are some instructions or discort about failed bridge transactions ?
Jochem
21
any reference of this implementation?
BitBuddha
29
Also, why can’t the community have a vote/ say when it comes to initiatives like buybacks. Isn’t the point of crypto decentralisation? Don’t we deserve input as long term supp...
👨🏽‍🦰
13
Ready for some fun AND a chance to win TKO Tokens? Join us for exciting minigames in our Telegram group! 🕒 Don’t miss out—games start on today 25 October 2024, at 8 PM! Ge...
Milkyway | Tokocrypto
255
Hi guys, any problem with Pulsebrige? Trying to transfer from wETH to ETH. First it tells me to connect my metamask "through mobile app" not desktop. Then I did and confirmed ...
Snowflakecrypto
13
BTC is almost $100,000, everything is getting attention and pumping! When do we get to have the liquidity when the bull market is over? Or when all other projects get way more...
Aziz
4
Ⓐrtto, [4/23/24 7:02 PM] Please explain more fully how it is not working exactly, and what are the steps you are taking, and what error messages come or what happens. Ⓐrtto, ...
Ezza Kezza
2
Btw looks like Kushti is at it with 6.0, has he shared any plans to stop developing Ergo or just to keep going indefinitely?
Original Ergonaut Manley
16
sounds like people have lost their kaspa on tradeogre... does this mean tradeogre not trustworthy?
Ezza Kezza
15
Карта сайта