170 похожих чатов

Как думаете, что будет менее затратным? Вот есть структура type Items

map[int64]*Item (в питоне это словарь с ключом int и каким нибудь экземпляром класса в value).
Так вот. Допустим этот словарь стал пиздец каким большим.
Есть задача устаревшие удалять.

Как делать?
1. Воркер который будет периодически гонять цикл и проверяя даты в полях, удалять Item.
2. С созданием Item запускать горутину с таймером, по окончанию которой идти в эту "базу" и тупо удалять по ключу значиение.
один цикл который будет перодически в лоб перемалывать
или миллион записей в словаре(мапе), условно миллион ожидающий горутин(хоть и легковесных).

21 ответов

11 просмотров

3. Использовать redis

Dan-Danych Автор вопроса

а есть смысл во втором варианте если "Допустим этот словарь стал пиздец каким большим"

Миллион - это не очень много, это раз Два - нужен не миллион горутин, а миллион таймеров Три - миллион горутин может быть дорогим по памяти Четыре - а как звучит исходная задача?

Dan-Danych Автор вопроса
Daniel Podolsky
Миллион - это не очень много, это раз Два - нужен...

поступают некие задачи на ручку. запущен воркер пул на 5 воркеров, там эти задачи разбираются, делается магия некая. Результаты складируются в память, устаревшие нужно подчищаться. Что получается, нужно определить на каком максимальном числе горутин может работать программа(ну и сколько вместит записей в память)? Или просто оставить перебор обычным циклом по скажем каждый 3-5 мин.

Оба способа не очень, для ttl нужна такая структура данных, как куча

Dan Danych
поступают некие задачи на ручку. запущен воркер п...

А как это будет масштабироваться? Один запрос пришёл в одну реплику, а следующий - в другую, и там этих результатов не будет

Dan Danych
поступают некие задачи на ручку. запущен воркер п...

кажется что лучше проверять срок жизни при попытке считывания и при протухании удалять, ну и сайд воркер который будет подчищать старые записи которые никто давно не читал (как и где их хранить пока не знаю)

Dan Danych
поступают некие задачи на ручку. запущен воркер п...

я бы складывал ttl в слайс, и раз в те же 3-5 минут проходился бы по нему, убирал все устаревшие и мапу не надо лочить на полный обход, и тяжелые структуры данных создавать, и много мусора генерить

Dan Danych
поступают некие задачи на ручку. запущен воркер п...

Мне кажется, это задача для редиса. Там ттл искаробки, шардинг, устойчивость к перезагрузкам и т.д.

Dan-Danych Автор вопроса
Daniel Podolsky
я бы складывал ttl в слайс, и раз в те же 3-5 мину...

блэээ, а я наоборот все в мапу перетащил только что😂. прицеливался ко второму варианту.☝️

Dan Danych
блэээ, а я наоборот все в мапу перетащил только чт...

слайс тут хорош тем, что, если ttl у вас одинаковый для всех записей, можно быстро из него извлечь все устаревшие ключи

Daniel Podolsky
слайс тут хорош тем, что, если ttl у вас одинаковы...

Слайс дорого всё равно. После каждого похода нужно выкидывать ранние элементы, а аппенд будет периодически создать новый массив

Dan-Danych Автор вопроса
Daniel Podolsky
слайс тут хорош тем, что, если ttl у вас одинаковы...

ttl разный, для каждый задачи свой задается🧐

Dan Danych
ttl разный, для каждый задачи свой задается🧐

ну тогда ничего лучше приоритетной очереди (timer wheel в данном случае) нет

Alexey Mayshev
циклическая очередь в помощь

Ну да, выглядит удобно. И горутина, которая дергает за голову, удаляя старые записи. Вставка только неудобная, если с произвольным ттл

Anton Kachurin
Слайс дорого всё равно. После каждого похода нужно...

и что? почему вы думаете, что это дорого? почему вы думаете, что есть структура данных дешевле? hint: слайс на миллион 16-байтовых структур (ключ + наносекунды) влезет в процессорный кеш

Daniel Podolsky
и что? почему вы думаете, что это дорого? почему в...

(целиком влезет не на всех процессорах, но нужная его часть - влезет точно)

Anton Kachurin
Ну да, выглядит удобно. И горутина, которая дергае...

ну с произвольным ттл сильно сложнее, да, если брать что-то простое, то только в голову за быстро приходит приоритетная очередь, но если пойти рыться, то с большой вероятностью можно найти что-то более веселое (например, раньше редис вытеснял ключи с помощью пробинга, но тут это не поможет, так как нужна более широкая апишка мапы, чем предоставляет стандартная гошная мапа)

Alexey Mayshev
ну с произвольным ттл сильно сложнее, да, если бра...

Вот кстати нашел реализацию с использованием кучи (там правда готовая хипа, но все же) https://github.com/jellydator/ttlcache

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
А что ты вообще делаешь ?
Yesgoter
13
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
18
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Подскажите, почему в правом коде с1 дополняется до 8байт, а не до 4?
Sergey
9
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Карта сайта