170 похожих чатов

Друзья, получаю данные из MySQL, job-a делает препроцессинг и загружает

их в Elasticsearch.
Проблема в том, что иногда удаляются записи, а иногда просто обновляются.

Хотел уточнить:
- можно ли как-то это отслеживать в MySQL из моей Daily Python Job ?

(Logstash + preprocessing in Ruby filters не предлагать - от этого решения как раз избавляемся - слишком ограниченное и сложно дебажить)

Спасибо.

3 ответов

10 просмотров

Раз в час переделываем индекс полностью, затем переключаем алиас

Vladislav-Ivanov Автор вопроса
Tishka17
Раз в час переделываем индекс полностью, затем пер...

нет, записей уйма, сегодняшние записи экспортируются минут 30-40. Поэтому разбиваю на части и ежедневно запускаю job-y, экспортирует только новодобавленные записи. В индекс просто добавлшяем новые записи.

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Anyone knows how to build this widget in Flutter? I have all the assets for round stations and the road, but how can I make the my widget animate between these stations? And h...
Mohammad Zamani
9
короче я не выдержал постоянно определять структуры, чтобы возвращать массивы разных типов. Как обычно еще это делают?
Павλо 🇺🇦
7
Если у очереди установлено x-message-ttl, при получении сообщения из этой очереди, можно узнать остаток времени жизни сообщения?
Сергей
8
Подскажите как мне лучше держать websocket сединение и переодически передавать в него данные? Сначала я сделал так: for _ in 1...1000 { try? await ws.send("test") try...
Mihail Verenich
2
Ты просто гитлеровскую эстетику плохо понимаешь. Он же всё под Цезаря делал. А это как бы запрещённый приём в политике. Пиджаки они зачем все носят? Чтобы показать что они тип...
Ivan Kropotkin
4
А цены чем оправданы?
Lencore
7
Карта сайта