Привет ребят, подскажите, в правильном ли направлении мыслю? Есть у меня

Question

Привет ребят, подскажите, в правильном ли направлении мыслю? Есть у меня

база с таблицей items в 300к строк, мне нужно в несколько потоков (worker pool) ходить в базу, брать, скажем, 100 строк, делать над ними работу (ходить к стороннему API, среднее время ответа 700мс) и класть обновленные данные в другую таблицу results. Меня в этом алгоритме беспокоит, что два воркера могут одновременно работать с одним массивом строк. Правильно ли использовать LIMIT и OFFSET для обеспечения уникального массива строк, контролируя это поведение на уровне приложения? Или есть в postgres более эффективные механизмы?

#backend #devops #pgsql #programming #russian

0

28.10.2021

11 ответов

17 просмотров

Alexey Bulgakov

Andrei Ilinskii
Я бы брал по остатку от деления первичного ключа. ...

главное чтобы при этом использовался индекс

0

28.10.2021

Denis Nesterenko Автор вопроса

Andrei Ilinskii
Я бы брал по остатку от деления первичного ключа. ...

Классное решение! Спасибо большое! :)

0

28.10.2021

Роман Жарков

Alexey Bulgakov
главное чтобы при этом использовался индекс

Как-то раз я штук двадцать индексов по id%N сделал. Или даже тридцать :)

0

28.10.2021

Ilya Anfimov

Я бы, вероятно, как-то боокировал эти строки в постгрессе на время обработки. Ну там, непосредственно в них записывал host.pid воркера или не в них, а рядом... С обеспечением атомарности записи.

0

28.10.2021

Denis Nesterenko Автор вопроса

Ilya Anfimov
Я бы, вероятно, как-то боокировал эти строки в пос...

Если я правильно понял, на чтение блокировки нет в постгресе?!

0

28.10.2021

Ilya Anfimov

Denis Nesterenko
Если я правильно понял, на чтение блокировки нет в...

Никто не заставляет вас блокировать именно "на чтение".

0

28.10.2021