170 похожих чатов

Написал парсинг файла. Потом выяснилось, что файл будет обновляться. Читаю

через каналы в nio. Там есть offset в количестве байт, с которого можно читать. Не знаю как лучше сохранить позицию где остановился. Если просто число байт хранить, то оно может супербольшим стать. Есть идеи?

14 ответов

20 просмотров

настолько супербольшим, что в лонг не вместится?

4joke- Автор вопроса
Dmitrii Karmanov
настолько супербольшим, что в лонг не вместится?

Не знаю. Показалось, что просто число хранить не лучшая идея

4joke
Не знаю. Показалось, что просто число хранить не л...

надо знать формат файла и как он будет обновляться. Если только дописываться то можно хранить офсет. Если будет меняться - тебе по любому надо будет перечитывать его целиком

идея: объяснить людям с файлом партицирование и создание отдельных файлов с добавлениями

Алексей Жалнин
идея: объяснить людям с файлом партицирование и со...

ну это не всегда возможно. Не в смысле объяснить, а в смысле создавать отдельные файлы.

Alex
ну это не всегда возможно. Не в смысле объяснить, ...

главное хранить на рабочем месте нож и чтоб все об этом знали

4joke- Автор вопроса
Алексей Жалнин
идея: объяснить людям с файлом партицирование и со...

Не уверен, что получится. Файл это выхлоп с квика

Алексей Жалнин
главное хранить на рабочем месте нож и чтоб все об...

не очень понял к чему это. Предлагать партицирование и создание отдельных файлов с добавлениями - это в целом плохая идея, не зная контекста задачи.

Alex
не очень понял к чему это. Предлагать партицирован...

там выше предположили, что у файла будет переполнение по офсету не партицировать такой файл - проблема архитектуры

Alex
не очень понял к чему это. Предлагать партицирован...

зы: нож добавляет +100500 к разумности и убедительности при обсуждении архитектуры проекта

Алексей Жалнин
там выше предположили, что у файла будет переполне...

нет. Во первых не будет, во вторых это в общем случае невозможно и не нужно, и очень часто не от тебя зависит. Представь что ты убийцу эластика пишешь и тебе надо логи собирать и читать вновь добавленное.

Alex
нет. Во первых не будет, во вторых это в общем слу...

гигабайтные логи - это проблема архитектуры (логирования) что за любовь и вера в бигдату такая? почти всё можно партицировать

Алексей Жалнин
гигабайтные логи - это проблема архитектуры (логир...

Какая разница сколько они весят? В любом случае надо читать их в риалтайме, и читать только дописанное. Это автоматом приводит к задаче "дочитывать файл". Ну не пишут обычно логи так - каждый эвент в отдельный файл с добавлениями. И да, это может быть что угодно, но если этот файл пишешь не ты - то обычно ты не можешь решать что и как надо партиционировать. Приходится читать что есть

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта