170 похожих чатов

Парсер получает данные и записывает их по итогу в json

файл. Парсинг и запись в файл происходят в одной функции. Выглядит это так:
def parse_html():
# получение данных с сайта
# ...
# ...
# ...

# запись полученных данных в json - файл
with open("data.json", "w", encoding='utf-8') as file:
json.dump(data_list, file, indent=4, ensure_ascii=False)


def main():
parse_html()


if __name__ == "__main__":

schedule.every(5).minutes.do(main)

while True:
schedule.run_pending()
time.sleep(1)

Почему-то когда парсинг стартует и получает все данные, на их записи в json все замирает на минуты 1.5 - 2, и только потом записывается в итоге.

Без использования библиотеки schedule - запись в json файл происходит моментально

Подскажите в чем проблема может быть или это нормально?

2 ответов

10 просмотров

что значит "все замирает"?

ⒺⓋⒼⒺⓃⓎ- Автор вопроса
Alex
что значит "все замирает"?

запись не в файл не происходит в течении 1.5-2 минут. Без schedule это происходит моментально

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
Открыл свой двухкилобайтный экзешник в x32dbg, а тут какая-то хрень. Смущает кнопка "выполнить до пользовательского кода", а что ещё может быть в файле помимо него ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
11
Мне были интересны дишные хаки и я нашёл любопытный способ на форуме через __traits, что-то вроде int delegate(int) fac = (int n) => n == 0 ? 1 : n * __traits(parent, {})(n - ...
Constantin F.
1
Вопрос тем кто смотрит видео и слушает подкасты - как вы потом ищете нужную вам информацию? Вот статью я прочитал, потом могу искать нужную мне часть банальным поиском. Пропус...
Aleksandr Druzhinin
4
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
14
Коллеги, доброе утро. Запустил на удаленном хосте приложение (ручками зашел туда по ssh и запустил, не командой удаленно). Создал потом ssh-туннель, и с моей машины приложение...
Δημήτηρ
9
Карта сайта