типа группировок, аггрегаций, дистинктов, сортировок, кучей джоинов. В таблице постоянно что-то пишется, батчами по 50к строк. В таблице около 13 миллионов записей и постгрес не вывозит, когда поступает запрос на чтение в момент записи. Сделали репликацию на местер-слейв - не помогло.
Есть идеи, или уйти от джоинов в постгри и все лить в одну таблицу, или перейти на клик/elk. Но всё-равно непонятно - запись в клик будет идти постоянно (батчем). Что будет, если поступит запрос на чтение во время записи в клик?
просто если репликация бд на мастер-слейв не помогла - не уверен что поможет выбор другой бд...
С этим проблем быть не должно, т.к. новые записи будут изначально записываться в отдельный новый файл и мерджиться (физически склеиваться с остальными) позже фоном. А вот куча джойнов почти наверняка станет проблемой - тут лучше смотреть в сторону широких таблиц или словарей.
Не файл, а файлы. Каждый вновь вставленный набор строк - это минимум столько файлов, сколько колонок у таблицы.
А если парт wide?) Тащемта я старался сделать акцент на том, что блокировки в момент вставки не случится, и.к. она пройдёт в другие файлы.
Обсуждают сегодня