Привет кодерам, в общем стоит задача 1. Есть огромный лог

Question

Привет кодерам, в общем стоит задача 1. Есть огромный лог

файл, который надо распарсить (это не проблема)
2. Данные заносятся в таблицу (тоже не проблема)
3. Надо сделать подсчет уникальных значений в колонке X и группировать это все по Y
4. С полученным результатом отработать

Вроде все понятно и просто, но вот незадача, mysql виснет на крупных запросах (>200000), база на текущий момент имеет 3.5млн записей, из них сейчас только тысяч 90 повторяющиеся значения, а вот остальные это уникальные, но мускуль виснет при запросе... Индексы стоят на всех полях, даже там где не делаю выборку (возможно это лишнее) ? Данные которые я делаю на выборку хранятся в varchar

#backend #php #programming #russian

0

31.05.2019

1 ответов

10 просмотров

Don Corleone · Answer 1

Проблема почти решилась, в общем то надо использовать MariaDB, а не просто mysql. Там агрегация данных в 6млн таблице происходит за 100сек, это конечно много... Но это мускуль)) На 1.5млн отрабатывает за 4-5секунд (от железа сервера конечно тоже зависит, но проверял на нормальной тачке)

170 похожих чатов

Привет кодерам, в общем стоит задача 1. Есть огромный лог

1 ответов

Похожие вопросы