170 похожих чатов

Доброе утро. на локальной машине оперсервер. очень медленно пишет в базу. 100

инсертов около 2,5с занимает
до обновления помнится все работало в разы быстрее.
в целом меня это не парило, миграция с сидами минуты за 4 накатывалась.
но сейчас мне нужно засидить 3-4кк строк. со скоростью 1 инсерт в 25мс это 69 дней. столько я ждать чет не хочу)))
может сталкивался кто? поднимать докер или виртуалку под базу чет не хочется совсем

15 ответов

9 просмотров

попробуй установить подсистему линукса если у тебя 10 винда, поставить туда пыху и вызвать сидер оттуда + посмотри банально на скорость диска. МБ проект на HDD стоит.

Алексей- Автор вопроса

не, не в пыху упирается, инфа соточка. нагрузка проца копейки. диск пишет чет в районе 0,5мбс + ДО обновления опенсерва база работала в разы шустрее. я после обновления даже думал что у меня диск посыпался, не пишет нифига, ан нет, с диском все ок

Алексей- Автор вопроса

upd docekr с мускулом 8 уже лучше, 6мс на 1 инсерт. что сокращает с 69 дней до 400 часов примерно (16,5 дней) ребят, подскажите как можно засидить реально большие данные в разумные сроки? 16 дней все еще слишком долго...

за один запрос одна запись? insert массово может заливать

для мускуля самый быстрый способ это через csv

Алексей- Автор вопроса

та не, сидер + фабрика + DB:seed —class=ClassName

на проде? или для себя?

Алексей- Автор вопроса

локально

У тебя SSD или HDD?

это не отменяет массовую запись. лара вроде умеет из коробки

индексов полно?

Алексей- Автор вопроса

собрать пыхой csv и скормить мускулу через унпрепейред?

чтото типа LOAD DATA INFILE '/tmp/data.csv' IGNORE INTO TABLE tbl FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'

Алексей- Автор вопроса

ооокей, ченить ща придумаю, спасибо

еще, на время заливки, можно в my.cnf прописать innodb_flush_log_at_trx_commit = 0 тоже на скорость положительно влияет

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
Ребят в СИ можно реализовать ООП?
Николай
33
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта