170 похожих чатов

Всем привет. Кто писал парсер для сайта? Чтобы например парсило

url и записывало разпарсанные данные html в бд? Как это реализовать? Есть примеры?)

11 ответов

9 просмотров

https://github.com/PuerkitoBio/goquery

.-T Автор вопроса

Это можно сделать и вставку в бд html? Я просто никогда этого не делал

Зачем вам в бд html? Эта библиотека позволяет вытянуть из страницы нужное

сразу сообщу что не всегда контент отдается сразу ... сейчас почти везде на фронте работает JS и контент отдается динамически ... придется притворятся браузером чтобы получить всё

Это да, а если еще будет какой cloudflare, то дело гиблое

.-T Автор вопроса

Но мне нужно будет вставить распарсенный url с html в бд

и что .. найдете требуемые url-ы и запишите их себе в таблицу .. это же просто строки

.-T Автор вопроса

Мне это и нужно. Такое требование. Только как это сделать?

вам же нужно просто слить то, что образно видите в браузере

Есть Колли (https://github.com/gocolly/colly), который поможет)) Но вообще парсинг на го - это такое себе, ибо обрабатывать текст весьма неудобно (моё мнение)

Смотрите как в базу сохраняются данные.

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
Кибер Бомж
8
Карта сайта