169 похожих чатов

Всем привет, сталкивался кто с тем что после добавления большого

количества джоб в chain, некоторые из них все равно валяются по тайм-ауту из-за того что долго находятся в состояние ожидания на исполнение?

16 ответов

2 просмотра
Roman-Kolosov Автор вопроса

Эх вот на это бы кто ответил)

Да. В джобах надо тайм-аут убирать т.к. он считается с момента создания джобы.

Roman-Kolosov Автор вопроса
Andrey Helldar
Да. В джобах надо тайм-аут убирать т.к. он считает...

Но это же в тот же момент время исполнения? Разве чейн не сделан для того что бы они исполнялись последовательно?

Roman Kolosov
Но это же в тот же момент время исполнения? Разве ...

На счёт последовательности не знаю, не работал с чейном, но тайм-аут начинает действовать с момента dispatch job

Roman-Kolosov Автор вопроса
Andrey Helldar
На счёт последовательности не знаю, не работал с ч...

Ну вот в том и прикол, есть например пакет ларавел ексель, он умеет обрабатывать документ в чейне, и там нету такой проблемы Обработка чанков идет друг за другом

Roman Kolosov
Ну вот в том и прикол, есть например пакет ларавел...

Тут уже не подскажу. С чейнами джоб ни разу не приходилось сталкиваться. Не было необходимости.

Roman-Kolosov Автор вопроса
Andrey Helldar
Тут уже не подскажу. С чейнами джоб ни разу не при...

Я после того как столкнулся, понял что не правильно понимал механизм работы джоб в Ларе, мне нужно в 5 процессов распараллелить обработку 400к строк и что бы это все исполнялось друг за другом, не так уж и просто как оказалось…

Roman Kolosov
Я после того как столкнулся, понял что не правильн...

Если я правильно понимаю, чейн не последовательно выполняет джобы, а параллельно, при этом он ожидает когда они все закончат обработку. Если запустить 5 джоб на очереди, обработкой которой занимаются, например, 10 воркеров, то эти 5 джоб выполнятся параллельно на пяти воркерах. Если нужно именно последовательно, то я бы сделал костыль: ProcessBatchJob::dispatch() - общая джоба для процессов, внутри которой: ProcessJob::dispatchSync(1) ProcessJob::dispatchSync(2) ...

Roman Kolosov
Я после того как столкнулся, понял что не правильн...

Главный вопрос: зачем распараллеливать, если выполнить нужно друг за другом? Это противоречит параллельности джоб

Andrey Helldar
Если я правильно понимаю, чейн не последовательно ...

это ты описал batch - пакетную обработку. chain - как раз последовательно.

че там за ошибка

PSYTRGLES
это ты описал batch - пакетную обработку. chain ...

Понял. В доке всё выглядит просто.

Roman-Kolosov Автор вопроса
Andrey Helldar
Главный вопрос: зачем распараллеливать, если выпол...

последовательно что бы не ловить таймауты, параллетить что бы быстрее процесс шел

Roman Kolosov
последовательно что бы не ловить таймауты, паралле...

последовательно что бы не ловить таймауты чет у тебя не то

@psytrgles вот начало

Andrey Helldar
@psytrgles вот начало

да, я читал еще тогда

Похожие вопросы

Обсуждают сегодня

Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
а как ловят такое ghci> res <- getPos2 urlt 0 (alist !! 0) 200 ghci> res SearchAtom (Search "www.google.com" "/search?q=" "Haskell") "haskell.org" (SearchTS [(2024-05-06 07:...
Fedor
14
короче сгенерила мне эта штука код на ассемблере: struc string val { common local .value dq .value .value: if ~val eq db val end if db 0 } fo...
Vi Chapmann Chapmann
12
Есть тут те у кого дети есть + 2 работы + в зал ходят + в семейной жизни все хорошо?
Abdul-Aziz M.
13
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
кто шарит: mattermost отслеживает что ты на пк запускаешь?
Valentin
13
Помогите, пожалуйста, делаю программу для для подсчёта корней квадратного уравнения, знаю, что есть куча недочётов, недоработок, но основная проблема в том, что почему-то при ...
NYC
13
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
Всем привет! Стоит задачка, выбрать из выпадающего списка конкретный цвет. Пока реализовал через активацию контрола списка и выбора несколькими нажатиями стрелки вправо до нуж...
Роман.С
9
Карта сайта