Ребят, я не спец в ноде, но есть задача рассортировать

Question

Ребят, я не спец в ноде, но есть задача рассортировать

44гб рандомичных цифр. Я генерю файл, разбиваю на мелкие файлы уже отсортированные, а дальше упираюсь в проблему как синхронно читать строки в файлах, брать следующую строку в одном файле. Кто может что то посоветовать?

#backend #javascript #node.js #programming #russian

0

29.11.2018

7 ответов

23 просмотра

Пользователь 6121b

Читать и обрабатывать чанками

0

29.11.2018

Karim Gata

можно применить сортировку вставками

0

29.11.2018

Иван

Синхронно хз, но есть такая штука: https://nodejs.org/api/fs.html#fs_class_fs_readstream

0

29.11.2018

Mr. Bungle

на ум только такие извращения приходят - создаешь очереди строк под то количество файлов, что у тебя есть. На каждый файл readline - как только пришла строк - шлешь сообщение с этой строкой. Обработчик сообщения кладет в соответствующую очередь с номером строки и проверяет - все ли очереди заполнены на текущем уровне. Если да - все строки извлекаются и шлется еще одно сообщение. Таким образом мы будем уверены, что все строки были прочитаны и что мы ничего не потеряем

0

29.11.2018

Alisher Ergashev

аддон на с++ не облегчить задачу? или я не понял 🙈

0

29.11.2018

Anton Korotkikh

а откуда у тебя вообще такая задача, если не секерет, 44 гб рандомных чисел... тебе где-то выдали датасет в виде россыпи файлов и с ним теперь нужно что-то делать?

0

29.11.2018

Max Vynohradov · Accepted Answer

Max Vynohradov

почему нода?

0

29.11.2018

170 похожих чатов

Ребят, я не спец в ноде, но есть задача рассортировать

7 ответов

Похожие вопросы