Заходи, парсь глазами. Ты не сможешь сделать так много как автоматом
Вот я о том же, просто автоматизация
Именно в автоматизации проблема. Руками ты сделаешь мало, и это ок. А вот когда ты начинаешь делать намного больше, начинаются вопросы
а как отличить если я прожму ctrl + r или если я ботов нагоню?
Ну вот ты не ответил так и, я тебе привел пример зачем Это уже норм или ещё нет?)
Так вопрос как отличить или можно или нельзя?
Получается норм, если ты собираешься предоставить к результатам анализа доступ такого же уровня как к исходными данным и следишь за всеми необходимыми параметрами как robots.txt и частотой запросов
Вот сейчас тебе вообще моральную дилемму дам Покет опшн Официально разрешают ботов, даже парочку из них на оф сайте разместили чтобы пропиарить Но не имеют офф апи и стоит защита То есть её нужно обходить Где грань?
Примеры ботов обходят защиту?
То есть если тут кто то спросит как обойти защиту на покет опшн то можно ответить?
Можно сказать - читайте в официальных примерах, там есть инфа
Понял, это и хотел узнать
Ну если есть "защита" и официально сам сайт говорит как ее обходить - значит это защита от тех, кто не читал документацию, а не от всех :)
Не, там чуть сложнее, они дают линк на бот, а бот уже обходит защиту, инструкции нету
Так погоди, код бота доступен?
Неа, но они сами пишут что не официальный поэтому скреппит их
О, код не доступен, документации как обходить нету. Но бот разрешен. Значит ты можешь использовать именно этого бота, всё
Пишут что можешь использовать любой бот
Надо смотреть формулировки. В целом звучит как будто это защита от доса, а нет от парсинга
Именно, но ее все равно нужно обходить ибо это клаудфлейр и он особо не разбирается ддос это или парсинг
У него есть документация, как писать ботов, которых он пропустиь
Обсуждают сегодня