Подскажите плиз, есть ли какие-то готовые решения в виде вебспайдеров?

имею ввиду, чтоб я указал домен, а спайдер бы прошелся по всем-всем ссылкам и указал мне, какие из них работают, какие не работают и тд. есть готовое решение в виде саас продукта, но под линуксом оно не работает, и вряд ли его портируют)

что то на пайтоне стопудов должно быть но бегло пока не смог найти

#backend #php #programming #russian

15.08.2018

1 ответов

15 просмотров

Sergey 🧻🤲

Wget

15.08.2018

Похожие вопросы

phpGeeks / Роман Герасименко

Прохожу тестовое по пхп Там есть пункт "любые операции с бд производить с помощью миграций" Это как? Есть инфа, как это реализовывается?

#backend #php #programming #russian

03.11.2023

32 ответов

phpGeeks / Alexander N

И сколько зависимостей надо карбону? )

#backend #php #programming #russian

22.10.2023

31 ответов

phpGeeks / Александр www

Всем привет. Подскажите если разрабатывается API для приложения, как правильно возвращать ошибки при валидации полей? Т.е. серверу отдавать текст ошибки на русском и в прилож...

#backend #php #programming #russian

17.07.2023

35 ответов

phpGeeks / Mr. Talsorian [ППШ] [HARDCORE WORK] Разрабов

И снова всем здравия, в общем, проблема теперь такая, я записываю в базу данных изображение формата base64, но но записывается не корректно(обратно получаю его, и картинка не ...

#backend #php #programming #russian

02.11.2023

24 ответов

phpGeeks / Mr.X

привет всем. Этот сайт https://sumbar-computer.com возможно положить? Написан на Laravel. По хакингу я новичок. Проверял на sql inject не вышло, все данные проверяются

#backend #php #programming #russian

28.05.2023

35 ответов

phpGeeks / Игорь Курмангалиев

Коллеги, всем добрый день, может ли кто ни будь подсказать как решать проблемы с докером ? Клонировал репозиторий для локальной работы с php, запускаю билд и вылетает ошибка....

#backend #php #programming #russian

07.08.2023

12 ответов

phpGeeks / And B

Подскажите есть функция которая из 55:55 переводит в секунды, как сделать чтобы она еще и 10:55:55 обрабатывала? preg_replace_callback( '/\d{1,2}:\d{2}/', function($m)...

#backend #php #programming #russian

22.10.2023

22 ответов

phpGeeks / Ярослав

Доку читал сделал, но не работает <section class="reviews" id="reviews"> <div class="container"> <div class="reviews__inner"> <div class="reviews__titl...

#backend #php #programming #russian

23.11.2023

1 ответов

phpGeeks / Руслан Тимершин

Подскажите, пожалуйста, кроме рефлекшн проперти нет способа понять действительно ли инициализировано значение свойства?

#backend #php #programming #russian

31.10.2023

23 ответов

phpGeeks / Mike Iceman ❄️

Или дёрнуть кусок кода из живого проекта, который давно ждёт рефакторинга и спросить - что бы ты здесь улучшил?

#backend #php #programming #russian

13.04.2022