215 похожих чатов

3) в перф репликации встали? я в основном просаживался в

цпу applier'a реплики. Лаг по всем замерам в продах и тп держится довольно хороший, журнал пишется построчно, это правда, но едет на реплику не совсем построчно. но свои 30-50к тпс оно выдает

17 ответов

18 просмотров

Дело не в этом. Механизм репликации вообще может не заморачиваться записями журналов, отдельная нить может грязные страницы пихать в сетевые железки и дожидаться ответов в рамках raft-а.

Vladislav-Grubov Автор вопроса
Vladimir Voznesensky
Нить или файбер?

relay-треды же поднимаются, которые просто журнал в сеть шлют и апрувы читают

Vladislav Grubov
relay-треды же поднимаются, которые просто журнал ...

Транзакция заканчивается после того, как получено достаточное количество апрувов?

В любом случае, журнал из отдельных специально сформированных записей, а не страниц, в условиях быстрой аппаратно ускоренной сети кажется рудиментом.

Vladislav-Grubov Автор вопроса
Vladimir Voznesensky
В любом случае, журнал из отдельных специально сфо...

это же важно только при его отправке репликам за апрувами, все равно при сколько-нибудь серьезной нагрузке в wal летят пачки транзакций, которые пишутся за один write. ну и со стороны релея они вычитываются тоже в буфер шустрее, и летят в сторону реплики тоже пачкой

Vladimir Voznesensky
В любом случае, журнал из отдельных специально сфо...

И тут сейчас набегут любители виртуализадции, куберов и software defined network и будет кровавое рубилово!

Я немножко не про то. Я про то, что между Application Server и диском есть слой, занимающийся преобразованием между представлением манипуляции данных и представлением хранения. Если бы его не было, пришлось бы работать на уровне страниц памяти.

Vladislav Grubov
для HFT разве что это важно

Если БД устроена как файл, отображённый на странички памяти, а грязные страницы заводятся сначала в журнале и, только, потом, после аков с диска и реплик, записываются в основной файл, то репликация волей-неволей будет вынуждена работать со страницами, иначе слишком сложно получается.

Нагрузка и wal несовместимы, диск это всегда оч медленно

Grisha Telichko
Нагрузка и wal несовместимы, диск это всегда оч ме...

Нет. Последовательная запись работает быстро. Зависит от файловой системы, но в теории можно писать и на сырую партицию, лишь бы шпиндель не был занят другими задачами.

Grisha Telichko
О нет))) медленно даже на nvme

медленно - это сколько и по сравнению с чем?

Anatoly
медленно - это сколько и по сравнению с чем?

С памятью конечно и потом с чекпоинтами

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта