170 похожих чатов

Ребят забор поймал. Надо сделать статистику на сервисе. Посетители, визиты

и т.д. Речь идёт о миллионах записей в таблицах бд, и об извлечениях из базы чуть меньшего кол-ва.

Например пользователю нужно будет вывести статистику с начала года по конец года по посетителям, там может быть дохерища записей.

Как вообще работать с такими массивами данных? Кешировать при запросе? Кешировать заранее? Где хранить это все? В тоже базе или вообще новую бд сделать. Вообще может отдельный сервак поднять под это со своей бд.

Короче надо понять как сделать так чтобы не загнулось

13 ответов

19 просмотров

Надо уходить от MySQL тогда и идти в сторону решений для статистики

тут нужно знать ваш буджет под это. Из этого и исходить.

Yuri-Kin Автор вопроса

Ахаха бюджет я

вы в себе данные хратить будите?

Я бы посмотрел в сторону click house от яндекса

Это хранение. А выводить данные вы как будите?

Yuri-Kin Автор вопроса

Я думал бюджет на разработку а вы про что? Железки сервера?

Yuri-Kin Автор вопроса

Посмотрю спасиб

Yuri-Kin Автор вопроса

Ага тоже хочу спросить

конечно. Сколько выделите буджет на хранения такого кол-ва данных и их дальнейший вывод в Дашборды

Самые распространенные - bigquery

Есть не малое кол-ва досок. Вы даже можете не парится с clickhouse и bigquery. Любая доска может работать и с Mysql Но новрено стоит учесть что mysql медленный. Если вы сделаете отдельный slave для тпблицы и туда натравите Дашборд Chartio или redash или другие то в полне работабельно для начала.

Ну это типа уже хайлоад. Там свои решения. Типа handoop или tarantool

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта