Ребят! У меня есть таблица A на 70 тыс строк, в

Question

Ребят! У меня есть таблица A на 70 тыс строк, в

БД вида:
id, identifier, created_at, deleted_at.

Сейчас мне надо последовательно выбирая из другой большой таблицы B на 5 млн строк данные последовательно увеличению timestamp, искать в первой таблице запись, которая будет соответствовать ей, т.е A.identifier==B.identifier, B.timestamp >= A.created_at && B.timestamp <= A.deleted_at, причем B.deleted_at может быть равно NULL, если пока не удалено.
Можно, конечно, каждый раз обращаться к БД и искать нужные строчки, но для 5 млн раз это долго. Хочу кешировать данные, но не знаю как сделать индекс для от и до, что бы потом в кеше искать нужную строчку по идентификатору и диапозону времени в памяти, е обращаясь повторно к БД.
Что посоветуете использовать или как грамотно самому написать?

#backend #go #programming #russian

0

03.06.2023

7 ответов

13 просмотров

Andrey Likhachev

Очевидно нужно подписаться на pg notify, и добавлять в маленькую таблицу, если строки не динамически появляются.

0

11 месяцев назад

Andrey Kolkov Автор вопроса

Andrey Likhachev
Очевидно нужно подписаться на pg notify, и добавля...

Там mysql. Сейчас для меня это статика, надо пересобрать отчеты используя архивные данные за прлшлые года.

0

11 месяцев назад

Andrey S

Andrey Kolkov
Там mysql. Сейчас для меня это статика, надо перес...

Так если это статика - может вам в бд индексы сделать?

0

11 месяцев назад

Andrey Kolkov Автор вопроса

Andrey S
Так если это статика - может вам в бд индексы сдел...

Сделаны но все равно отправит запрос, найти строчки, отправить назад довольно долго. Интересно бы в памяти у себя все собрать.

0

11 месяцев назад

Миринговин

Andrey S
Так если это статика - может вам в бд индексы сдел...

Там не так все просто. Его архивные данные могут быть на движке архив, который индексы не делает и работает как сторедж. Ему надо в чат по mysql и чтобы помогли с огородом

0

11 месяцев назад

Andrey Kolkov Автор вопроса

Миринговин
Там не так все просто. Его архивные данные могут б...

нет, движок там InnoDB, просто хочу не обращаться лишний раз к базе, пока не нужно и повысить скорость.

0

11 месяцев назад

Andrey S · Accepted Answer

Andrey S

А это нельзя разве сделать средствами SQL?

0

11 месяцев назад

170 похожих чатов

Ребят! У меня есть таблица A на 70 тыс строк, в

7 ответов

Похожие вопросы