Подскажите, как работать с большими текстовыми файлами? Допустим 10 гигов, на

Question

Подскажите, как работать с большими текстовыми файлами? Допустим 10 гигов, на

миллиард строк

Могу ли я прочитать конкретный кусок файла, указав номера строк, или ещё как-то? Допустим кусок 10-15%

Как осуществлять поиск по файлу?

Как можно в принципе объединить два файла по 10 гигов в один?

#lazarus #programming #russian

0

06.10.2021

14 ответов

22 просмотра

Missclick Очепятка

Раз спрашиваете видимо не можете. 10 ГБ по современным меркам это маленький файл. Его проще загрузить в ОЗУ и работать прям там только не забудьте в ограничениях к проге указать 32 ГБ ОЗУ Что касается решения для старых компов. То используем Delphi XE 10. FPC не подходит он с файлами больше 2 ГБ плохо работает. Разве что для него на winapi писать. А на Delphi можно использовать TByteStream и TFileStream. Перемещение можно сделать через seek на нужное число байт. Все остальное в ваших руках.

0

07.10.2021

Alexey Shumkin

Ты лучше скажи, что для чего это тебе надо?

0

07.10.2021

Alexey Shumkin

Missclick Очепятка
Раз спрашиваете видимо не можете. 10 ГБ по соврем...

Интересно, сколько времени займет загрузка 10Г-файла в память? :)

0

07.10.2021

Кириллл 🚀 Go Aaply Автор вопроса

Alexey Shumkin
Ты лучше скажи, что для чего это тебе надо?

Есть файлы с пользовательской информацией, весом, который может превышать объем оперативки. Хочу почистить дубли строк, объединить файлы в один, и организовать поиск по нему

0

07.10.2021

Alexey Shumkin

Кириллл 🚀 Go Aaply
Есть файлы с пользовательской информацией, весом, ...

Что такое "пользовательская информация"? Какой формат этой информации? В каком она виде? Почему там есть дубли? Зачем их удалять? И зачем по нему искать?

0

07.10.2021

Кириллл 🚀 Go Aaply Автор вопроса

Alexey Shumkin
Что такое "пользовательская информация"? Какой фор...

На что повлияет мой ответ на эти вопросы?

0

07.10.2021

Viktor Akselrod 💻

если речь о Win, то стоит посмотреть в сторону MMF

0

07.10.2021

Handatros

Viktor Akselrod 💻
если речь о Win, то стоит посмотреть в сторону MMF

Linux, к слову, с MMF тоже вполне справляется :) Linux does this via the mmap system call.

0

07.10.2021

Viktor Akselrod 💻

Handatros
Linux, к слову, с MMF тоже вполне справляется :) ...

не исключено. я могу говорить только за то, что знаю 🙂

0

07.10.2021

Кириллл 🚀 Go Aaply Автор вопроса

Всё — это данные, о которых я выше говорил Хранить — потому что они мне нужны Хранить на компьютере под виндой на ссд, локально Данные должны ХРАНИТЬСЯ в файле формата тхт, это их цель, их путь, их предназначение, при редкой необходимости нужно делать поиск по этим данным. Первоочередная цель у меня была — научиться работать с файлами, размер которых может быть десятки гигов, плюс привести в порядок имеющиеся данные

0

07.10.2021

Boris Usievich

Кириллл 🚀 Go Aaply
Всё — это данные, о которых я выше говорил Хранить...

Хранить много гигабайт данных в виде простого текстового файла не стоит. ну если конечно волнует скорость работы с ними

0

07.10.2021

Alexey Shumkin

У меня вчера в команде аналитики тоже четко знали, что им нужно: что нужно доработать фронт и бэк, чтобы они могли в SQL запросах использовать переменное количество условий... В ходе обсуждения оказалось, что они не знали, что в запросах можно использовать "вот такое-то" условие, чтобы оно "выключалось"... Час обсуждения и выяснения, что же именно им надо, сэкономило часы доработок трёх человек

0

07.10.2021

Anton

Alexey Shumkin
У меня вчера в команде аналитики тоже четко знали,...

аналитики видимо не опытные, теперь знают. так и программировать научатся.

0

07.10.2021