У buffer есть куча ограничений, я бы попробовал воткнуть kafka (или любой другой брокер сообщений) и писать в 50 потоков в ней. А уж она сама вставит. 50 вставок в секунду - очень плохо
Он нужен только если вы сами не можете уменьшить количество пишущих в КХ, если коротко то да, помогает. Если можете сами то лучше делать самим, будет шустрее. У нас в пике размер батча может достигать 200MB, при этом у нас диски 7,2к в софтварном рейде 10
Обсуждают сегодня