проекта, парсер берёт данные с разных сайтов, нормализует их и отправляет в postgres.
Это 300 000 записей за 1 час.
Что хочу сказать, судя по логам, скорость выполнения с sqlx и gorm идентична. Парсер закончил работу за одинаковое время.
Теперь вопрос, при каких нагрузках мне нужно юзать sqlx?
Там может основное время база съела. Интересней было бы через пруф.
Попробуйте ент.
Тебе за рекламу платят? 😂 Попробую )
Нет. 😔 Просто интересно, там все таки генерация. Хотя все равно большая часть времени это обращение к базе.
"Парсер закончил работу за одинаковое время" - и вас это удивило? В краулерах большую часть времени отъедают сетевые запросы к сайтам. Запись в базу в соотношении с ними по времени ничтожно мала. На такой задаче производительность ORM, квери-билдеров и т.п. сравнивать бессмысленно
вопрос был в другом...
Я исходил из фразы "Сегодня ради интереса потестил sqlx и gorm для своего проекта"
Тем не менее, имея опыт, вы не дали ответ на главный вопрос 👍
А в чем сложность непосредственно это посчитать для своего проекта? Например, вместо реального скачивания страниц скачать 1 страницу, а потом сохранить её в базу разными способами 100 тысяч раз. И вот тут можно будет увидеть отличия
Я именно это и сделал...
"Теперь вопрос, при каких нагрузках мне нужно юзать sqlx?" - вообще без разницы. По сравнению с временем выполнения любого запроса оверхед Горма над sqlx ничтожен просто. Тут вопрос вкуса и вопрос в желании/нежелании юзать много магии в проекте
"Любого запроса" - это довольно сильное утверждение. Зависит же от того, что запрос делает
Да даже выборка по первичному ключу будет занимать больше времени, чем разница в скорости между Gorm и sqlx
Спасибо за ответ!
Я Gorm не юзаю, потому что, например, мне не нравится всякая внезапная логика вида "если в таблице в БД есть поле с названием updated_at и ты делаешь update, то туда автоматом будет подставлена дата и время". Или что-то в том духе такое было. Мне не нравится такая неявная логика, по крайней мере, когда я использую Go, где, лично для меня, предсказуемость всегда на первом месте. Если нужна всякая магия, то нафиг го вообще брать?)
Обсуждают сегодня