проде, и ещё развернул для тестов у себя. Сначала все разбил на файлики по 10гб при импорте с клиента - Killed. Потом все разбил ещё меньше (200 мб), но импорт по прежнему долгий. Где-то около трёх часов. Потом пробовал изменить формат импорта на:
Был
INSERT () VALUES ();
...
INSERT () VALUES ();
Стал
INSERT VALUES ()
()
..
();
Потом нашел статью где увидел что в csv в 412 раз быстрее. Попробовал - не помогло.
Не подскажете, что я делаю не так, и как поступать в таком случае?
Покажите структуру файла, какие колонки, какие типы
Killed это oom нехватка памяти. Наверняка у вас и свопится ещё. max_insert_block_size задаёт размер пачки.
Обсуждают сегодня