172 похожих чатов

Добрый день, подскажите, как оптимально читать большие файлы(текст) в кодировке

utf-16(le)?

17 ответов

13 просмотров

в расте есть методы по буферизованному/небуферизованнюому чтению файлов целиком и по кускам. Отдельно есть либы для конвертации байтовых слайсов в строки.

Αλεχ Zhukovsky
в расте есть методы по буферизованному/небуферизов...

Я не ТС, но возник следственный вопрос - а как при этом читать, чтобы не получить сломанный промежуточный вывод, если я захватил кодпоинт, который связан с другим кодпоинтом, но второй кодпоинт я ещё не прочёл

Ivan Leshchenko
Я не ТС, но возник следственный вопрос - а как при...

в случае utf16 все просто - бери четное количество байт и посреди кодпоинта не окажешься

Hesse-Halons Автор вопроса
Αλεχ Zhukovsky
в расте есть методы по буферизованному/небуферизов...

хмм, а есть способ открыть "поток" и читать файл побайтово? я не нашёл такой реализации...

Hesse Halons
хмм, а есть способ открыть "поток" и читать файл п...

можно select/poll вызывать внутри loop и читать по несколько байт

Hesse-Halons Автор вопроса
Oleg ℕižnik
А как же 4-байтовые символы

Ну можно хвост отрубать и потом подсовывать к следующему чанку, но возражение принято

Hesse-Halons Автор вопроса
Roman
зачем?

ну получается ,если я буду брать буфферизированный некий кусок(к примеру методом read у file), то для дальнейшей обработки мне потребуется по этому буфферезированному куску итератором проходится, и я вероятно не прав, так как я не знаю как read забирает эти байты у файла

Hesse-Halons Автор вопроса
Roman
ну и что?

это не двойная работа? почему я сразу не могу обработать входящие байты по одному

Hesse Halons
ну получается ,если я буду брать буфферизированный...

ну надо будет, да, а что не так? Буфер на то и буфер чтобы заполняться

Hesse-Halons Автор вопроса
Hesse Halons
файл 10гб, и дробить его придётся знатно

его и так ОСь дробить будет. Вопрос только что тебе от этих 10гб надо. Если бегать взад-вперед то ничего хорошего скоре всего не получится. Если просто что-то найти в тексте - тогда другое дело

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Карта сайта