170 похожих чатов

Доброе утро. на локальной машине оперсервер. очень медленно пишет в базу. 100

инсертов около 2,5с занимает
до обновления помнится все работало в разы быстрее.
в целом меня это не парило, миграция с сидами минуты за 4 накатывалась.
но сейчас мне нужно засидить 3-4кк строк. со скоростью 1 инсерт в 25мс это 69 дней. столько я ждать чет не хочу)))
может сталкивался кто? поднимать докер или виртуалку под базу чет не хочется совсем

15 ответов

13 просмотров

попробуй установить подсистему линукса если у тебя 10 винда, поставить туда пыху и вызвать сидер оттуда + посмотри банально на скорость диска. МБ проект на HDD стоит.

Алексей- Автор вопроса

не, не в пыху упирается, инфа соточка. нагрузка проца копейки. диск пишет чет в районе 0,5мбс + ДО обновления опенсерва база работала в разы шустрее. я после обновления даже думал что у меня диск посыпался, не пишет нифига, ан нет, с диском все ок

Алексей- Автор вопроса

upd docekr с мускулом 8 уже лучше, 6мс на 1 инсерт. что сокращает с 69 дней до 400 часов примерно (16,5 дней) ребят, подскажите как можно засидить реально большие данные в разумные сроки? 16 дней все еще слишком долго...

за один запрос одна запись? insert массово может заливать

для мускуля самый быстрый способ это через csv

Алексей- Автор вопроса

та не, сидер + фабрика + DB:seed —class=ClassName

на проде? или для себя?

Алексей- Автор вопроса

локально

У тебя SSD или HDD?

это не отменяет массовую запись. лара вроде умеет из коробки

индексов полно?

Алексей- Автор вопроса

собрать пыхой csv и скормить мускулу через унпрепейред?

чтото типа LOAD DATA INFILE '/tmp/data.csv' IGNORE INTO TABLE tbl FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'

Алексей- Автор вопроса

ооокей, ченить ща придумаю, спасибо

еще, на время заливки, можно в my.cnf прописать innodb_flush_log_at_trx_commit = 0 тоже на скорость положительно влияет

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта