Привет, подскажите в таблице postgresql есть 7195903 строк, если я

Question

Привет, подскажите в таблице postgresql есть 7195903 строк, если я

выбираю загрузку всех строк query = """select * from table;""" - тогда очень долго обрабатывается и ноутбук виснет, если query = """select * from table LIMIT 1000;""" выбирает 1000 строк, Как мне можно прописать df = pd.read_sql(query, engine) чтобы работать со всеми строками?

#database #programming #russian #software

0

22.09.2020

4 ответов

4 просмотра

Katerina Ost Автор вопроса

Привет, я все также с этой проблемой. Если беру 500 000 строк, читает ну 1 мин, 1млн за 3:38, а вот 7млн колаб отказался. Что делать, разбить на chanksize по 1 млн?

0

24.09.2020

Serhii Tiurin

Katerina Ost

Привет, я все также с этой проблемой. Если беру 50...

Это происходит потому что вам не хватает памяти. 1 вариант - юзать чанки, процессить что нужно и потом сохранять в отдельный файл, 2 - юзать dusk или что-то подобное, работает быстрее , 3 - при загрузке выбросить ненужные колонки,а у нужных поменять на int/float, там по умолчанию тип колонки object а он ждет уйму памяти.

0

24.09.2020

Katerina Ost Автор вопроса

Serhii Tiurin
Это происходит потому что вам не хватает памяти. 1...

спасибо, буду делать.

0

24.09.2020

toriningen · Accepted Answer

toriningen

ваш вопрос - как обработать 7195903 строк за время, которое обрабатываются 1000 строк?

0

22.09.2020

215 похожих чатов

Привет, подскажите в таблице postgresql есть 7195903 строк, если я

4 ответов

Похожие вопросы