String (хэшсумма текста), String (текст).
Ключ по хэшсумме.
Идея в том, чтобы хранить только уникальные тексты, а ReplicatedMergeTree их бы схлоповал.
Недавно CH стал есть CPU сильно больше нормы
И я подумал, не это ли виновато.
Но строк там сейчас очень мало (0.5 млн.).
ClickHouse под подобную задачу не сильно годится, можете взять PostgreSQL с его INSERT ON CONFLICT или MySQL и его INSERT ON DUPLICATE KEY
Обсуждают сегодня