парсер на питоне джанга+sqlite, все работало норм пока много записей не появились, сейчас размер баз (я их уже поделил, непомогло) стал 2.3 гигабайт + дополнительно файлы крупные лежат на диске. Все крутиться на nvme и проц i7 с 32 оперативы. Сейчас запрос к базе вырос до 1-2 минут. + поиск файл на диске. Это долго. Вот думаю что можно сделать, чтобы ускорить работу?
Можешь на go написать а потом скомпилировать в си, а затем через types, но это муторно. Или попробуй многопоточность сделать хотя тоже будет тот еще велосипед.
Про Go я не знаю его, многопоточности нет, у меня просто запускается скрипт, который парсит данные и проверяет эти данные в базе, если их в базе нет, он их дописывает в базу. Вот эта проверка, если ли данные уже в базе, занимает 1-2 минут. База = 1 поле id
Обсуждают сегодня