170 похожих чатов

Ребят забор поймал. Надо сделать статистику на сервисе. Посетители, визиты

и т.д. Речь идёт о миллионах записей в таблицах бд, и об извлечениях из базы чуть меньшего кол-ва.

Например пользователю нужно будет вывести статистику с начала года по конец года по посетителям, там может быть дохерища записей.

Как вообще работать с такими массивами данных? Кешировать при запросе? Кешировать заранее? Где хранить это все? В тоже базе или вообще новую бд сделать. Вообще может отдельный сервак поднять под это со своей бд.

Короче надо понять как сделать так чтобы не загнулось

13 ответов

4 просмотра

Надо уходить от MySQL тогда и идти в сторону решений для статистики

тут нужно знать ваш буджет под это. Из этого и исходить.

Yuri-Kin Автор вопроса

Ахаха бюджет я

вы в себе данные хратить будите?

Я бы посмотрел в сторону click house от яндекса

Это хранение. А выводить данные вы как будите?

Yuri-Kin Автор вопроса

Я думал бюджет на разработку а вы про что? Железки сервера?

Yuri-Kin Автор вопроса

Посмотрю спасиб

Yuri-Kin Автор вопроса

Ага тоже хочу спросить

конечно. Сколько выделите буджет на хранения такого кол-ва данных и их дальнейший вывод в Дашборды

Самые распространенные - bigquery

Есть не малое кол-ва досок. Вы даже можете не парится с clickhouse и bigquery. Любая доска может работать и с Mysql Но новрено стоит учесть что mysql медленный. Если вы сделаете отдельный slave для тпблицы и туда натравите Дашборд Chartio или redash или другие то в полне работабельно для начала.

Ну это типа уже хайлоад. Там свои решения. Типа handoop или tarantool

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
читать файл максимально быстро? странный вопрос))
zamtmn
53
Кто создает тут ботов для телеграмм групп ?
Antskup
8
а как бы вылезти из ИО, что то типа IO -> Ether или в какую сторону смотреть ? что то туплю
Fedor
14
Я хочу запустить свой проект в тг. Что-то между пирамидой и майнилкой. Еще подобного ничего не было. Уникальная идея. Нужен именно не бот, а приложение. С ввод, выводом тон...
Павел А.
6
тоесть, указав return eax, сгенерируется никому ненужная инструкция mov eax,eax ?
Aiwan \ (•◡•) / _bot
24
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
How to create an OS in C? what to study?
Linus
18
Карта сайта