Вообще мне цикл понадобился чтобы разбить одну таблицу из к

Question

Вообще мне цикл понадобился чтобы разбить одну таблицу из к

примеру 5 млн 562 тыс строк на несколько
подтаблиц по 100 000 строк (последняя таблица будет меньше 100 000 строк), чтобы можно было эти подтаблицы закидывать по одной в базу данных, а не целиком всю таблицу с 5 млн строк закидывать в базу данных, так как сервер с базой имеет всего 1 гиг оперативы и падает когда туда сразу приходит 5 млн строк...

Решил сделать такую нарезку одной большой таблицы на чанки по 100тыс строк в цикле ...

Может это не правильный подход? Если кто-то сможет подсказать более умный вариант, буду очень признателен

#programming #r #russian

0

11.06.2021

8 ответов

15 просмотров

Ivan Pozdniakov

Есть базовая функция split(), которая разделит датафрейм на список датафреймов. Ну а потом по списку можно lapply()/purrr делать

0

11.06.2021

Rus Автор вопроса

Ivan Pozdniakov
Есть базовая функция split(), которая разделит дат...

на список по сколько строк? И как она поделит датафрейм из 7 строк, если надо поделить на чанки по 3 строки? То есть чанк1 - это строки с 1 по 3 чанк 2 - это строки с 4 по 6 а последний чанк3 с одной оставшейся строкой номер 7 эта функция обрежет или наоборот добавит еще две пустые строки , чтобы чанк3 был с 7 по 9 строку?

0

11.06.2021

Ivan Pozdniakov

Rus
на список по сколько строк? И как она поделит дата...

Для split нужен вектор-группирующая переменная. Можно задать, например, через rep: split(iris, head(rep(1:ceiling(nrow(iris)/3), each = 3), nrow(iris)))

0

11.06.2021

Rus Автор вопроса

Ilya Shutov
1. лучше итераторами пользоваться. purrr::walk или...

Попытался сделать через data.table, иногда заливка проходит нормально, а иногда падает ... Такое ощущение , что заливка идет не чанками по 50тыс строк ( такие чанки просто не могут занимать 1 гиг оперативы на сервере... из Питона , эта же таблица в эту же базу заливается чанками по 100 тыс строк без проблем) , а весь объем в 6 млн строк сразу туда валится... Посмотрите пожалуйста может я неверно строку прописал ? GAaud_h[, chunk := .I %/% chunksize][, DBI::dbWriteTable(con, "GAaud_hist", .SD, append=TRUE , row.names = TRUE), by="chunk"]

0

12.06.2021

Andrey

Rus

Попытался сделать через data.table, иногда заливка...

Надо data.table в однопоток перевести

0

12.06.2021

Rus Автор вопроса

Andrey
Надо data.table в однопоток перевести

По умолчанию разве не в однопотоке ?

0

12.06.2021

Aleksandr Pidtykan

Rus

Попытался сделать через data.table, иногда заливка...

Есть же отдельная команда для добавления строк: dbAppendTable

0

12.06.2021

Ilya Shutov · Accepted Answer

1. лучше итераторами пользоваться. purrr::walk или просто data.table. В постановке 'снизить нагрузку на сервер БД' задача принципиально однопоточная и последовательная. 2. data.frame разбивается на чанки. Можно делать это 100500 способами, один из простейших в функциях tidyverse: row_number() %/% 100000 3. В подходе data.table можно как-то так: dt[, chunk := .I %/% 100000][, writeChunk(.SD), by = chunk] где writeChunk(){.......; return('результат записи')} пишет кусок таблицы в базу https://rdatatable.gitlab.io/data.table/index.html

169 похожих чатов

Вообще мне цикл понадобился чтобы разбить одну таблицу из к

8 ответов

Похожие вопросы