Сейчас есть табличка MySql на 177 миллионов значений, id: BIGINT и value: VARCHAR(255), ее пополняю новыми и через ON DUPLICATE KEY проверяю по ключу индекса на существование, в случае совпадения пропускаю - поэтому из одного запроса на 5000 записей в табличку попадают только 3555 к примеру. MySql действительно сейчас все тяжелей и дольше начинает с ней работать. Решит ли эту задачу КХ? Как можно реализовать ее пополнение проверяя наличие совпадений в табличке?
А что подразумевается под больно? Вполне вижу как подобное можно решить в постгре с партицированием таблицы, и десяток тысяч вставок в секунду вполне будут.
Обсуждают сегодня