индексирует их. Это работает как таск в Celery и в настоящий момент, так как это времязатратная процедура, при заходе в очередную папку проверяет редиску, не стоит ли там флаг на прерывание задачи. Из-за этого очень проседает по скорости. Как можно это пофиксить?
Шерстить только измененные файлы
поставить не при переходе в папку лезть в редис, а по таймеру .1, .5, 1.0 секунды по желанию если он 1000 папок проверяет, то он 1000 раз слазит туда
Проверять раз в N секунд
А чему там особо проседать в редиске? И почему похож в редис не вынести в тред?
Обсуждают сегодня