Добрый день! Я правильно понимаю, что fread не может

Question

Добрый день! Я правильно понимаю, что fread не может

прочитать несколько случайных строк из файла (сэмплировать)?

dt<-fread("file.csv")
dt<-slice_sample(dt, prop=0.05)

Хочу сделать такое без чтения всего файла. Первые n строк нельзя, записи в файле упорядочены. Нашёл только это, на винде запихнуть shuf в fread нельзя. Получается вариант- только в самом файле вне R строки перемешивать?

#programming #r #russian

0

17.06.2021

12 ответов

11 просмотров

Анатолий Автор вопроса

Ilya Shutov
Да. А в чем именно заморочка? Файлы большие? По 10...

csv большие. Долго читать, чтобы выкинуть 95 или 99%- как-то странно. И, опасаюсь, что просто в память не влезет.

0

17.06.2021

Ilya Shutov

Анатолий
csv большие. Долго читать, чтобы выкинуть 95 или...

Можно поконкретнее, в цифрах?

0

17.06.2021

Philipp Upravitelev

Анатолий
csv большие. Долго читать, чтобы выкинуть 95 или...

так может можно прочитать первые 100 строк, понять, какие колонки нужны, и потом импортирвоать уже только их?

0

17.06.2021

Анатолий Автор вопроса

Philipp Upravitelev
так может можно прочитать первые 100 строк, понять...

Колонок там не очень много, там много строк. Пробовал так на меньших файлах

0

17.06.2021

Ilya Shutov

Кстати, красивая публикация была: https://habr.com/ru/post/547448/

0

22.06.2021

Анатолий Автор вопроса

Ilya Shutov
Кстати, красивая публикация была: https://habr.com...

Спасибо! Попробую буду осваивать. Кстати, fread заработал "по кусочкам". Оказалось достаточно минимальный объем виртуальной памяти поставить больше объёма файла данных.

0

22.06.2021

Dm Kb

Ilya Shutov
Кстати, красивая публикация была: https://habr.com...

прочитал статью, но для себя не изменил мнение, что data.table и fst для анализа будут всегда выигрывать у таких БД по скорости, да и по синтаксису, но последнее на любителя видимо

0

22.06.2021

Байкулов Антон

Ilya Shutov
Кстати, красивая публикация была: https://habr.com...

Согласен. Полезно

0

22.06.2021

Grigoriy Demin

Dm Kb
прочитал статью, но для себя не изменил мнение, чт...

Соглашусь. Я пробовал пару раз работать, засовывая данные в sqllite, но работало неприемлемо медленно и функционально бедно. В результате всегда заканчивалось тем, что нарезал данные на много файлов (fst или qs) и работал с ними.

0

22.06.2021

Байкулов Антон

Grigoriy Demin
Соглашусь. Я пробовал пару раз работать, засовывая...

А вся структура на одном серваке была?

0

22.06.2021

Grigoriy Demin

Байкулов Антон
А вся структура на одном серваке была?

Даже на одном ноуте... По объему - сотни миллионов строк. Очень простое NLP на корпусе флибусты. Но в 16 Гб оперативы не влазит

0

22.06.2021