Пишу из питона 180к записей, прошло уже минут 5 -

Question

Пишу из питона 180к записей, прошло уже минут 5 -

67к только в memtx записалось. Это норм? 3 поля: unsigned, string, string. Уникальный hash индекс по второму полю. Дропнул индекс - всё так же медленно. Полагаю дело в питонячем драйвере?

#database #programming #russian #software #tarantool

0

23.08.2018

4 ответов

20 просмотров

Konstantin Nazarov

напишите хранимую процедуру, которая принимает несколько тысяч записей за раз, и передавайте из пайтона сразу большой пакет

0

23.08.2018

Anatoly

Го делает по 250к, но там в бенчмарке нет строк

0

23.08.2018

Eugene Blikh

В бенчмарке питон драйверов кажется рпс поболее будет

0

23.08.2018

Sergey · Accepted Answer

Он синхронный, ждет ответа на каждый запрос. Можно исхитриться, сформировать сначала пачку запросов, вызывая напрямую класс Request, потом отправить эту пачку в connection.socket, потом из сокета вычитать байты и передать их функциям, которые парсят респонз. Еще вариант написать хранимку, которая вставляет пачку строк в одной транзакции, и вызывать ее, передавая по 1000 строк за раз. Можно открыть несколько соединений и делать это параллельно в несколько потоков. Еще можно взять асинхронный драйвер asynctnt для python 3.6+, там скорость будет получше, там сериализация на Cython написана.

215 похожих чатов

Пишу из питона 180к записей, прошло уже минут 5 -

4 ответов

Похожие вопросы