170 похожих чатов

Ребят! У меня есть таблица A на 70 тыс строк, в

БД вида:
id, identifier, created_at, deleted_at.

Сейчас мне надо последовательно выбирая из другой большой таблицы B на 5 млн строк данные последовательно увеличению timestamp, искать в первой таблице запись, которая будет соответствовать ей, т.е A.identifier==B.identifier, B.timestamp >= A.created_at && B.timestamp <= A.deleted_at, причем B.deleted_at может быть равно NULL, если пока не удалено.
Можно, конечно, каждый раз обращаться к БД и искать нужные строчки, но для 5 млн раз это долго. Хочу кешировать данные, но не знаю как сделать индекс для от и до, что бы потом в кеше искать нужную строчку по идентификатору и диапозону времени в памяти, е обращаясь повторно к БД.
Что посоветуете использовать или как грамотно самому написать?

7 ответов

35 просмотров

А это нельзя разве сделать средствами SQL?

Очевидно нужно подписаться на pg notify, и добавлять в маленькую таблицу, если строки не динамически появляются.

Andrey-Kolkov Автор вопроса
Andrey Likhachev
Очевидно нужно подписаться на pg notify, и добавля...

Там mysql. Сейчас для меня это статика, надо пересобрать отчеты используя архивные данные за прлшлые года.

Andrey Kolkov
Там mysql. Сейчас для меня это статика, надо перес...

Так если это статика - может вам в бд индексы сделать?

Andrey-Kolkov Автор вопроса
Andrey S
Так если это статика - может вам в бд индексы сдел...

Сделаны но все равно отправит запрос, найти строчки, отправить назад довольно долго. Интересно бы в памяти у себя все собрать.

Andrey S
Так если это статика - может вам в бд индексы сдел...

Там не так все просто. Его архивные данные могут быть на движке архив, который индексы не делает и работает как сторедж. Ему надо в чат по mysql и чтобы помогли с огородом

Andrey-Kolkov Автор вопроса
Миринговин
Там не так все просто. Его архивные данные могут б...

нет, движок там InnoDB, просто хочу не обращаться лишний раз к базе, пока не нужно и повысить скорость.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта