можно удалить из этого файла дубли строк?
ReadAllLines и прочее тут понятное дело не подойдет, потому-то пекарня рипнется от такого объема.
Нужен какой-то алгоритм. Может кто-то из вас читал умные книжки, подскажите, в какую сторону двигаться?
Самый тупой алгоритм. Читаешь строку, берешь от нее хеш, смотришь был ли уже такой хеш, если нет пишешь строку в новый файл. Читаешь следующую
Обсуждают сегодня