url и записывало разпарсанные данные html в бд? Как это реализовать? Есть примеры?)
https://github.com/PuerkitoBio/goquery
Это можно сделать и вставку в бд html? Я просто никогда этого не делал
Зачем вам в бд html? Эта библиотека позволяет вытянуть из страницы нужное
сразу сообщу что не всегда контент отдается сразу ... сейчас почти везде на фронте работает JS и контент отдается динамически ... придется притворятся браузером чтобы получить всё
Это да, а если еще будет какой cloudflare, то дело гиблое
Но мне нужно будет вставить распарсенный url с html в бд
и что .. найдете требуемые url-ы и запишите их себе в таблицу .. это же просто строки
Мне это и нужно. Такое требование. Только как это сделать?
вам же нужно просто слить то, что образно видите в браузере
Есть Колли (https://github.com/gocolly/colly), который поможет)) Но вообще парсинг на го - это такое себе, ибо обрабатывать текст весьма неудобно (моё мнение)
Смотрите как в базу сохраняются данные.
Обсуждают сегодня