А не лучше создать массовый обработчик и в нем пачками

Question

Python

Kop

А не лучше создать массовый обработчик и в нем пачками

отрабатывать, а не инициализировать по отдельности ?

#backend #programming #python #russian

0

25.11.2020

8 ответов

27 просмотров

Kop Автор вопроса

Вячеслав Нарушев
Что ты имеешь ввиду под массовым обработчиком?

Берёшь все задачи или пачку по конкретному числу и в нем отрабатываешь

0

25.11.2020

Вячеслав Нарушев

Kop
Берёшь все задачи или пачку по конкретному числу и...

В этом случае будет большое время ожидания. Там на парсинг письма тратится примерно 3 секунды. И это без вложений которые могут быть примерно в 25 мегабайт. Я уже сделал частичный парсинг. Там получается все кроме тела письма ( текста) и самих вложений. Теперь вот текст нужен. Мысль была в том чтоб парсить штук по 20 одновременно но в нескольких задачах. Распаралелить так сказать)

0

25.11.2020

Kop Автор вопроса

Вячеслав Нарушев
В этом случае будет большое время ожидания. Там на...

Так а что мешает разбить на процессы или потоки ?

0

25.11.2020

Вячеслав Нарушев

Kop
Так а что мешает разбить на процессы или потоки ?

Вот тут и вопрос мой был. Мне в каждой новой таске селери нужно будет коннектиться к серверу по новой? Или можно как то объект подключения к серверу передать как параметр?

0

25.11.2020

Kop Автор вопроса

Вячеслав Нарушев
Вот тут и вопрос мой был. Мне в каждой новой таске...

Ну если оставлять логику по одной, то иначе врятли, ты не можешь объект коннекта передать. А вот если придумать как объединить в одну. То все возможно

0

25.11.2020

Вячеслав Нарушев

Kop
Ну если оставлять логику по одной, то иначе врятли...

Ясно. Спасибо.

0

25.11.2020

Kop Автор вопроса

Вячеслав Нарушев
Ясно. Спасибо.

Рассмотри вариант с массовым созданием без лишних танцов с celery

0

25.11.2020