Ребята, а если я буду делать select с удаленного сервера

Question

Ребята, а если я буду делать select с удаленного сервера

на локальный в csv файл
какие ресурсы удаленного сервера будут задействованы?
Таблица 30 гб, надо ее сохранить локально, но свободной физ памяти на удаленном сервера 10гб, оперативы 16
По ощущениям оно долго собирает данные кудато в буфер, потому что файл не наполняется. Где этот буфер и сколько его надо для такой таблицы?

#backend #devops #pgsql #programming #russian

0

28.06.2021

7 ответов

3 просмотра

Alex Yu

Ну и таблицу такого размера я бы выгружал и загружал частями (возможно и параллельно) Наверняка должен быть принцип по которому такой набор данных можно разбить: дата записи или часть ключа: кастомеры, регионы, диапазоны идентификаторов

0

29.06.2021

Yaroslav Schekin

> какие ресурсы удаленного сервера будут задействованы? Диск и сколько-то RAM (зависит от настроек PostgreSQL на этом сервере). > По ощущениям оно долго собирает данные кудато в буфер, потому что файл не наполняется. Это почти наверняка никак не связано с сервером. Чем Вы делаете "select с удаленного сервера на локальный в csv файл"?

0

29.06.2021

Максим Автор вопроса

Yaroslav Schekin
> какие ресурсы удаленного сервера будут задейство...

пробовал 3 варианта, 3й самый норм 1. pg_dump 2. psql -c «SELECT * FROM TABLE» > file.csv 3. \copy

0

29.06.2021

Yaroslav Schekin

Максим
пробовал 3 варианта, 3й самый норм 1. pg_dump 2. p...

1. Читает всю базу, и даже с -t тратит время на чтение определений таблиц, кажется. 2. Накапливает данные в буфере клиента (psql). 3. Должно начинать выдавать данные сразу (это просто "обёртка" над "серверным" COPY). Вы уверены, что вариант 3 работает не так?

0

29.06.2021

Максим Автор вопроса

Yaroslav Schekin
1. Читает всю базу, и даже с -t тратит время на чт...

вариант 3 работает нормально, но данные не выдает сразу с другой стороны я и не понимаю как протестить - процесс висит, файл создался, но 0 байт

0

29.06.2021

Yaroslav Schekin

Максим
вариант 3 работает нормально, но данные не выдает ...

И это странно. Сейчас проверил — начинает сразу, как и должен. Может, это файловая система так себя ведёт? Если делать \copy your_table TO stdout в psql, данные сразу начинают выдаваться?

0

29.06.2021

alex che · Accepted Answer

alex che

С ходу идей никаких нет, должно работать через psql \copy

0

28.06.2021

172 похожих чатов

Ребята, а если я буду делать select с удаленного сервера

7 ответов

Похожие вопросы