170 похожих чатов

15 ответов

15 просмотров

Ну в среднем 5-10гб

Nick M.
Часто меняются?

Файлов много, так ещё и дополняться могут

Yotic-C# Автор вопроса
Alexander <OPIUM>
Ну в среднем 5-10гб

Есть ли какой-то способ индексации, или в них рандомные данные?

Alexander <OPIUM>
Файлов много, так ещё и дополняться могут

А сам поиск какого рода? На точное совпадение? На вхождение? Нужно ли учитывать разные особенности типа поиска строк, неточного поиска?

Yotic-C# Автор вопроса
Alexander <OPIUM>
Рандомные

Если файлы не изменяются - раздели их по 256-1024мб и храни в виде массива с индексом в какой-нибудь папке

Alexander <OPIUM>
На точное совпадение

Варианты: - оптимизировать кодировку для ускорения поиска, в идеале тебе бы, чтобы срабатывал инвариантный поиск, если применимо - если искать каждый раз случайные вещи и файлы меняются часто, то можно просто считывать файл и искать в памяти indexof по спану. Можно memory mapped файлы посмотреть, чтобы работать непрерывно. Сработает только если приемлемо для поиска грузить все в память и искать, упираться будет в дисковую подсистему и объем свободной памяти - если искать чаще, чем меняется, можно посмотреть в сторону индексирования. Например, один из вариантов это DAWG

Yotic-C# Автор вопроса
Nick M.
Варианты: - оптимизировать кодировку для ускорени...

InxedOf в спане будет быстрее низкоуровневой байтоебил?!?!?!?

Yotic C#
InxedOf в спане будет быстрее низкоуровневой байто...

Зависит от кодировки, если на векторизованный вариант попадешь, то да

Alexander <OPIUM>
Ну 100+ файлов не горю желанием делить

Да, в целом поиск получается в 1ТБ+ данных, просто грузить и искать - нежизнеспособно, так что надо в сторону индексов или БД смотреть

Alexander <OPIUM>
Ну в среднем 5-10гб

А каким образом надо этот индекс потреблять? И что за файлы такие?

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта