170 похожих чатов

Всем привет. Возможно ли нагрузку на память от map[string]struct{}

разделить между оперативной памятью и временными файлами?

17 ответов

13 просмотров

зачем если не секрет?

это swapping называется.

Я думаю вам стоит посмотреть на https://github.com/dgraph-io/badger

Мерль
Я думаю вам стоит посмотреть на https://github.com...

только ооооочень внимательно. он прям странный местами

Иван Зубов
зачем если не секрет?

+1, что ж там за множество, которое не влезает в оперативу

Web- Автор вопроса
Roman K
+1, что ж там за множество, которое не влезает в о...

Сканирую файл и записываю туда строки, а map использую, т.к. нужно избежать дубликатов

Web
Сканирую файл и записываю туда строки, а map испол...

Это лишь часть информации. Главное — зачем это делать, какую проблему ты решаешь?

Web- Автор вопроса
Roman K
Это лишь часть информации. Главное — зачем это дел...

Сканирую множество файлов в map, записывая их как ключи, а потом прохожусь по map и записываю в один итоговый файл Больше 218кк map не выдерживает, просто зависает софт, видимо рехешируется map

Web- Автор вопроса
Roman Timofeev
А что вы делаете? Что у вас в ключах?

Ключ это строка, а значение это пустая структура

Web
Ключ это строка, а значение это пустая структура

Мы поняли по типу. Вопрос предметной области — зачем тебе это там хранить и в таких объёмах. Какую задачу ты решаешь? "Хочу хранить 200млн ключей" — это не задача)

Web- Автор вопроса
Roman K
Мы поняли по типу. Вопрос предметной области — зач...

Задача это записывать в итоговый файл уникальные строки, т.е. без дубликатов

Web- Автор вопроса
Roman Timofeev
строки длинные?

до 100 символов наверное, может до 200

Web- Автор вопроса

Да, это имеет смысл, спасибо за мысль

Web
Сканирую множество файлов в map, записывая их как ...

как вариант, отсортировать исходные файлы (если большие, то что-то типа сортировки Шелла) и затем все файлы сравнивать построчно, можно будет парами а не все сразу, главное условие чтобы отсортированы были

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта