Alex

Старый же вопрос с собеса Хочу сохранить строки из датафрейма в базу данных, возможные решения? 1. Для совсем ленивых в map функцию впихнуть сохранение 2. Если данных мало т...

ну вот когда у вас local metastore ещё нужно гарантировать что у единую версию везде используете, трифт в этом плане стабильней, бывают вопросы с переездом, но +/- 1 версию ...

можешь развернуть мысль? записали пришёл запрос на чтение часть нод вернуло невалидные данные им ушёл запрос на обновление записи следующие 99 чтений получают сразу валидные...

А что делать со всем набором расширений что сделали для питона. Тот же пандас и нумпай?

так выше пример же сбросил, там на функции request.next().await? { что хотите хендлить } по мере появления сообщений будет отрабатывать next и ваша функция то что вы и хотит...

кстати раз зашла речь про персист df2 = df.persis() df2.isEmpty() - считает один раз и не вызывает реально кеширование датафрейма df2.count() - вот тут уже посчитает весь д...

стоимость клика по сравнению с метабейзом и импалой? =) а так пользователь запустил бобра и хочет коннекшен стринг на impala или spark-sql сервер вбил в зависимости от объем...

А debezium вам не подошёл?

@SparkApplicationMaster кстати, в тему arrow, видел последний анонс постгри?

вы хотите получать обновления для подписанного объекта?

https://seatunnel.apache.org https://github.com/apache/incubator-seatunnel Кто-то уже смотрел? А то мне накинули с вопросом насколько применимо оно

Тут больше вопрос а вам обязательно нужно оформлять как 2 кластера? Обычно в этом случае рулят разными ноде группами Условно на 1 ноде группу ставиться хдфс На 2 первый ярн...

спарк уже научился выставлять для аналитики jdbc нормальный? у нас есть spark-sql сервер, но скорость его далеко до скорости impala престо сейчас в тесте есть систем по перел...

Да, это есть для всего, но непонятно почему тогда для яп нужно отдавать предпочтение?

Каких ещё 2х языках? Или скала и java если в одном проекте то это уже показатель сложности?

и чем это плохо? скорее всего так и есть, учитывая сколько они бекпортят в свой продукт и часть патчей наоборот в апстрим отдают да, это не “мы взяли ваниль и сразу полетело...

нет, люди не относятся к этому как к халяве люди относятся плохо когда тебе продают одно, а потом говорят что “мы передумали” почему нету волны на конфлюент и их опенсорс вер...

все уже обсудили log4j ? https://www.opennet.ru/opennews/art.shtml?num=56319

Чем утро то плохое? Завтрак есть Кофе есть Солнце есть Сидим смотрим на огонь как компилится скала

да, причём я до конца и не понял они норм дружат с foreign memory api или нет? если норм подружат, то вообще будет отлично и всякий оффхип наружу высунешь (в тот же mmap нор...