170 похожих чатов

Привет всем, у меня на питоне написан скрипт который прочитывает

ЦСВ и добавляет или обновляет в базу, размер столбцов 400к, и первые 50к очень быстро работает и постепенно начинает замедлятся, может знайте в чем дела ? может какой конфиг поможет в данном ситуацы..., Как можно ускорить данную задачу...
query = ("""
SELECT create_or_update_record('{4}', '{0}', '{1}', '{2}', '{3}') AS create_or_updated_id
""").format(row[0], row[1], divide(row[2], 1.21), divide(row[3], 1.21), row[4])

11 ответов

8 просмотров

Откажитесь от использования хранимой функции, для начала. Первый раз такое вижу

ARTUR DEV
почему?

Ваша задача решается простым insert ignore

ARTUR-DEV Автор вопроса

.

Посмотреть как заполняются транзакшн логи, может начитается чекпоинты и оно начинает тормозить. Поставьте pmm, оно поможет нацти проблему

Это всё в одной транзакции происходит?

ARTUR-DEV Автор вопроса
Constantine
Откажитесь от использования хранимой функции, для ...

для начало если не пробовал что это такое.. и первый раз видишь, советую поучится тебе...

ARTUR-DEV Автор вопроса
Constantine
Да не, я тоже когда то говнокодил)

у всех так с начало говно будешь писать, попробуешь все потом научишься...

ARTUR DEV
у всех так с начало говно будешь писать, попробуеш...

Ты что то отклонился от темы, обещал объяснить великую мудрость

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
короче сгенерила мне эта штука код на ассемблере: struc string val { common local .value dq .value .value: if ~val eq db val end if db 0 } fo...
Vi Chapmann Chapmann
12
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
Помогите, пожалуйста, делаю программу для для подсчёта корней квадратного уравнения, знаю, что есть куча недочётов, недоработок, но основная проблема в том, что почему-то при ...
NYC
13
#include <stdio.h> int main(void) { int n; scanf("%d", &n); int digits1[n] = {0}; int digits2[n] = {0}; я не могу таким образом заранее массив нулями заполнить?
Linus
12
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
читать файл максимально быстро? странный вопрос))
zamtmn
53
я про форму записи. смысл указывать что 8 байтный регистр 8 байт?
Aiwan \ (•◡•) / _bot
10
Вроде бы вопрос уже заезжанный, но тем не менее У меня есть функция menu() которая выводит набор возможных действий, а затем спрашивает у пользователя что он хотел бы сделать....
David Golovatin
3
а зачем этот вопрос для удаления из чата?
Mёdkinson Medvezhkin
63
Карта сайта