170 похожих чатов

Ещё такой вопрос: есть код который запускает джобу 1, а эта

джоба запускает другие джобы chain (collect, process, finalize) в цепочке

но collect джоба или handle могут выполняться очень долго из-за большого количества данных. как лучше работать с такими джобами и обрабатывать их?

8 ответов

14 просмотров
Sergey-Pashkevich Автор вопроса

к примеру джоба collect собирает данные чанками и записывает в отдельныу таблицу нужные записи, но таких записей может быть очень много и джоба может упасть по таймауту или ещё какая проблема, установить timeout в 0 и увеличить количество попыток будет хорошей практикой?

распарралелить и обернуть в супервизор чтоб точно не упало

Sergey-Pashkevich Автор вопроса

распараллелить не вижу возможным, так как данные собираются по условию и мне придётся в джобе проверять, а было ли уже это записано или нет, вы так имеете ввиду?

Sergey-Pashkevich Автор вопроса

@nzulfigarov что думаешь?

можно отслеживать добавление наверно, но тут надо больше в контекст проблемы лезть и смотреть в чем дело

Sergey-Pashkevich Автор вопроса

необходимо собрать данные больше указанной даты, как это распараллелить ?

Если в итоге в job передаётся один большой массив, то лучше в момент сбора данных передавать частями, по крайней мере у меня job так лучше отрабатывает. А при обработке одного большого массива 40к элементов, job отваливается по таймауту, а при его увеличении просто зависает, не обрабатывается полностью.

Sergey-Pashkevich Автор вопроса

Я думаю это мина замедленного действия , а если данные растут и скоро будет не 40к а 100k или больше, надо код писать сразу готовым к этому, если знаешь что данные растут

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта