170 похожих чатов

Ещё такой вопрос: есть код который запускает джобу 1, а эта

джоба запускает другие джобы chain (collect, process, finalize) в цепочке

но collect джоба или handle могут выполняться очень долго из-за большого количества данных. как лучше работать с такими джобами и обрабатывать их?

8 ответов

6 просмотров
Sergey-Pashkevich Автор вопроса

к примеру джоба collect собирает данные чанками и записывает в отдельныу таблицу нужные записи, но таких записей может быть очень много и джоба может упасть по таймауту или ещё какая проблема, установить timeout в 0 и увеличить количество попыток будет хорошей практикой?

распарралелить и обернуть в супервизор чтоб точно не упало

Sergey-Pashkevich Автор вопроса

распараллелить не вижу возможным, так как данные собираются по условию и мне придётся в джобе проверять, а было ли уже это записано или нет, вы так имеете ввиду?

Sergey-Pashkevich Автор вопроса

@nzulfigarov что думаешь?

можно отслеживать добавление наверно, но тут надо больше в контекст проблемы лезть и смотреть в чем дело

Sergey-Pashkevich Автор вопроса

необходимо собрать данные больше указанной даты, как это распараллелить ?

Если в итоге в job передаётся один большой массив, то лучше в момент сбора данных передавать частями, по крайней мере у меня job так лучше отрабатывает. А при обработке одного большого массива 40к элементов, job отваливается по таймауту, а при его увеличении просто зависает, не обрабатывается полностью.

Sergey-Pashkevich Автор вопроса

Я думаю это мина замедленного действия , а если данные растут и скоро будет не 40к а 100k или больше, надо код писать сразу готовым к этому, если знаешь что данные растут

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Хтось використовував Vapor на Windows?
Jaroshevskii
15
Какое виндузовое сообщение приходит TTabSheet, что риэлайняться контролы на нем, даже у которых парент другой? Ситуация: открываю форму - кнопок нет, перелистываю на другой т...
Катерина Свиридова
7
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
Карта сайта