У нас система из почти двухсот воркеров, которые параллельно кэшируют чанками и с большой скоростью вставляют данные в кх вставляем один раз в день, но с очень большой интенсивностью чтобы не положить кх из-за «100 запросов в секунду»
Пробовали новый механизм ? async http insert ?
В ВК проблема была со сбором логов с серверов, написали kittyhouse
kittenhouse. Причем, с kittenhouse в режиме reverse proxy, можно правда по одной строке вставлять в HTTP, до ~100к запросов в секунду
Обсуждают сегодня