А зачем другие джобы во время перезаписи работают? По статусу готовности

не можешь разрулить?

9 ответов

7 просмотров

Да там lookup data, обновляется раз в день, и так совпадает, что периодически мой процесс цепляет эти данные, работает минут 20, потом пытается читать, но к тому времени названия файлов уже другие. У меня руки не дошли реализовать эти lookup данные по человечески.

K S
Да там lookup data, обновляется раз в день, и так ...

А ты их в самом начале вычитывай и .persist

Oleg K
А ты их в самом начале вычитывай и .persist

Там где-то 40ГБ, только нужные поля

Oleg K
А ты их в самом начале вычитывай и .persist

Все равно посередине может упасть

K S
Там где-то 40ГБ, только нужные поля

Делай set partition location / set table location в записывающем процессе. Тогда чтецы не упадут А старый локейшон удаляй черкз сутки

Евгений-Глотов Автор вопроса
K S
Да там lookup data, обновляется раз в день, и так ...

Кароч сделай синхронизацию между двумя процессами, хотя бы через создание лок-файлика в S3

K S
Там где-то 40ГБ, только нужные поля

Или юзай дельта / айсберг

Сиплый
Или юзай дельта / айсберг

Да, это я и хочу сделать, как будет время

Похожие вопросы

Обсуждают сегодня

Портфолио: Зовут меня Александр, мне 36 лет. Город Пушкино. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github....
Magic
10
Портфолио: Зовут меня Александр, мне 41 год. Город Киров. Общий рабочий стаж: ~14 лет Уровень квалификации: Senior Full-stack developer Где прочесть мой код? https://github.co...
Magic
11
Приветствую всех, есть вопросик. Передали проект на OctoberCms, без инсталяшки в полуразвернутом виде, нужно было залить бекап бд, после залития бд, оказалось, что части строк...
Лео
14
Подскажите, пожалуйста, где в backende, или не в нем можно дату поправить? Логирует действия не в том часовом поясе
Лео
7
Есть магистры regex в чате? Задача: нужно написать regex который мэтчит полные (без сокращений по типу ::1/128) ipv6 адреса кроме 2001:0df7:cef7:29f7:52f7:adf7:2cf7:4ff7, при ...
Илья
5
Всем привет В общем надо на странице вакансии вывести вакансии с hh, но когда я пишу код в разделе Code ошибка Invalid URL format. The URL should start with the forward slash...
A da
1
где собака, админ группы? нычкуется и боится проявить волю, в толерантность еще не наигрался? @yelizariev
Ognezar
61
DataGrip не сканирует почему-то все таблицы, хотя раньше показывал их че за херня, сталкивались?
Magic
9
мне как апи hh написать?
A da
3
Привет! Подскажите может кто сталкивался, при создании купона выходит вот в таком виде окно. Как поправить это?
Ruslan
4
Карта сайта