215 похожих чатов

Добрый день есть одномоментное обновление нескольких миллионов записей, по логам заходит

где-то 30-40тыс записей в секунду (меняется 1 int, 3 остальных int - ключ в hash)
memtx, 1 мастер + реплики. обновление идет через роутер и дальнейший vshard.router.call(функция) на мастер, на мастере функция перебирает массив и делает 1000(или меньше) upsert.

через некоторое время получается куча предупреждений на мастере, потом на репликах
main txn.c:487 W> too long WAL write: 1 rows at LSN 180557302: 0.789 sec
далее
main/104/lua I> Could not reach node: 10.0.2.2:3319 - suspect
main/104/lua I> Node timed out: 10.0.2.3:3319 - dead

main/316/lua utils.c:1007 E> LuajitError: not enough memory

main txn.c:487 W> too long WAL write: 1 rows at LSN 181886605: 0.839 sec
main txn.c:487 W> 111116 messages suppressed

и заканчивается
main/105/lua C> not enough memory
SegFaultом и поеданием всей оперативки на сервере (до 10гигов на инстанс, кто сколько успеет) при ограничении на 1.5гига/инстанс и 350мб данных. дальше уже ничего не работает вообще

вопрос - а можно ли что-то с этим сделать, чтобы оно не падало и как понять, чего ему не хватает вообще? ssd не вывозит? код приложения хреновый? надо в индексацию слипов добавить?

2 ответов

12 просмотров

А что за функция?

Можно добавить агрессивную сборку мусора

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта