170 похожих чатов

15 ответов

1 просмотр

Ну в среднем 5-10гб

Nick M.
Часто меняются?

Файлов много, так ещё и дополняться могут

Yotic-C# Автор вопроса
Alexander <OPIUM>
Ну в среднем 5-10гб

Есть ли какой-то способ индексации, или в них рандомные данные?

Alexander <OPIUM>
Файлов много, так ещё и дополняться могут

А сам поиск какого рода? На точное совпадение? На вхождение? Нужно ли учитывать разные особенности типа поиска строк, неточного поиска?

Yotic-C# Автор вопроса
Alexander <OPIUM>
Рандомные

Если файлы не изменяются - раздели их по 256-1024мб и храни в виде массива с индексом в какой-нибудь папке

Yotic C#
Если файлы не изменяются - раздели их по 256-1024м...

Ну 100+ файлов не горю желанием делить

Yotic-C# Автор вопроса
Alexander <OPIUM>
На точное совпадение

Варианты: - оптимизировать кодировку для ускорения поиска, в идеале тебе бы, чтобы срабатывал инвариантный поиск, если применимо - если искать каждый раз случайные вещи и файлы меняются часто, то можно просто считывать файл и искать в памяти indexof по спану. Можно memory mapped файлы посмотреть, чтобы работать непрерывно. Сработает только если приемлемо для поиска грузить все в память и искать, упираться будет в дисковую подсистему и объем свободной памяти - если искать чаще, чем меняется, можно посмотреть в сторону индексирования. Например, один из вариантов это DAWG

Yotic-C# Автор вопроса
Nick M.
Варианты: - оптимизировать кодировку для ускорени...

InxedOf в спане будет быстрее низкоуровневой байтоебил?!?!?!?

Yotic C#
InxedOf в спане будет быстрее низкоуровневой байто...

Зависит от кодировки, если на векторизованный вариант попадешь, то да

Alexander <OPIUM>
Ну 100+ файлов не горю желанием делить

Да, в целом поиск получается в 1ТБ+ данных, просто грузить и искать - нежизнеспособно, так что надо в сторону индексов или БД смотреть

Alexander <OPIUM>
Ну в среднем 5-10гб

А каким образом надо этот индекс потреблять? И что за файлы такие?

Похожие вопросы

Обсуждают сегодня

я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
короче сгенерила мне эта штука код на ассемблере: struc string val { common local .value dq .value .value: if ~val eq db val end if db 0 } fo...
Vi Chapmann Chapmann
12
Всем привет! Массив вводится с клавиатуры, кол-во элементов неизвестно, поэтому я указал arr db 100 dup(?) С нахождением максимума проблем нет, а вот минимум почему-то всегд...
En Vind Av Sorg
11
#include <stdio.h> int main(void) { int n; scanf("%d", &n); int digits1[n] = {0}; int digits2[n] = {0}; я не могу таким образом заранее массив нулями заполнить?
Linus
12
в сях есть множество как в питоне? для удаление дубликатов
Linus
25
я про форму записи. смысл указывать что 8 байтный регистр 8 байт?
Aiwan \ (•◡•) / _bot
10
читать файл максимально быстро? странный вопрос))
zamtmn
53
Вроде бы вопрос уже заезжанный, но тем не менее У меня есть функция menu() которая выводит набор возможных действий, а затем спрашивает у пользователя что он хотел бы сделать....
David Golovatin
2
Кто создает тут ботов для телеграмм групп ?
Antskup
8
а как бы вылезти из ИО, что то типа IO -> Ether или в какую сторону смотреть ? что то туплю
Fedor
14
Карта сайта