В мапе дубли храню(ну как дубли, там хеш функция crc64), а уникальные строки сразу в файл пишу
Ну штож, может попробовать шардировать, как предлагали выше совершенно другому человеку с совершенно другой проблемой?)
Я просто ещё думал мапу из коробки заменить на какую-то другую, например на эту https://github.com/cornelk/hashmap
Ну или вот норм https://github.com/allegro/bigcache
Обсуждают сегодня