Подскажите , а звезду кх вывезет?

К тем, кто это сделает, Миловидов лично тёмной ночью придёт и скажет, что они используют кликхаус неправильно

Ну вывозит, если не бояться Миловидова?)

Вывозит всё, что угодно, пока оно влезает на одну ноду

А по джоинам какие ограничения?

Память одной ноды)

Короче витрину собирать в ораклах, посгрях, мсклах и вставлять в кх ?

Если оно влезает в постгрес - то в кликхаус точно влезет

Я имею ввиду, скрипт на стороне посгри выполнять?

Нет, зачем грузить постгрес этим

В кх собирать портянку с 20 джоинами?

Стикер

Ну выходит можно все хранилище сделать на кликхаусе?

Если оно влезает на одну ноду

А что происходит, когда две ноды? И на хера кх с одной нодой?

Происходит распределённый DDL

Можно поднять кучу реплик и к ним запросы раскидывать

А именно объекты дробятся этим ddl?

Короче если тебе нужен распределённый джойн или альтер тейбл - потрачено

То есть то происходит дублирование этих операций?

Происходит хрен пойми что Кликхаус исполняет DDL асинхронно То есть может исполнить, а может и не исполнить, и сиди жди, когда исполнит)

Предлагаю отпиздить Миловидова))

Зачем делать звезду в кликхаусе?

Зачем делать звезду

Потому что заказчику яндекс впарил кх в облаке)

И архитектуру за вас придумал?

https://www.youtube.com/watch?v=xIQZ0v8ayD0

Чел час впаривает облако своё)

Не он один, всю конфу впаривали ыть)

Как ты оцениваешь ыть?

Нууу спарк уже был)

он и щас есть, но ытя не было в текущем виде=))

Ну и спарк был далеко не в текущем виде

спарк вроде не вывозит по 300тб ворочать

вместо yt был конкурирующий вариант инхаус хадупа yamr, если я правильно помню) потом как раз около 2015 они выбирали какой вариант лучше и ыть решили развивать

Вывозит и петабайты без проблем

есть где посмотреть про такое? не видел жирных сетапов

https://youtu.be/0gtSJ9YtYH4?si=SVlIeuROqLbVASaz

Этот чел ничо не впаривает?)

Только с++ немного)

у меня процесс был на 1.8пб на 100к ядер на YT, в целом работало без проблем, спарк почему-то в яндексе 10тб ограничен)) посмотр, спасибо

У нас чел 3ПБ перелопатил за сутки, пришёл говорит чёта ваша бигдата фуфлище, всего 500ГБ выгружал целый день

А, ты про 1.8ПБ памяти?

не, дисковое

Что значит ограничен 10ТБ? Спарк это не СУБД, спарк это движок вычислений Ваш S3 ничем не ограничен, спарк из него умеет читать Поднимаем спарк в кубере - профит

внутри яндекса спарк поднимается поверх ытёвого хранилища и почему-то ограничен 10тб такой инстанс, я давно смотрел, цифра осталась а механизм ограничения не запомнил))

Не, надо нормальный спарк в кубере поднимать)