программы? Помню читала вроде где то такое, а сейчас делаю замеры и как бы да, скорость одна и таже.
Задача обработка строки через re и запись её в бд
либо дело в GIL, либо задача не упирается в то, чему могли бы помочь треды
может, gil никуда не делся
а они и не должны ускорять нет такой магической вещи в айти как "ускоритель программы"
а эта кнопка тогда зачем?
что-то связанное с флопаком, если память не изменяет
Multithreading поможет?
опять же смотря с чем, нужно более конкретно сформулировать задачу чем "медленно работает, нужно быстрее"
Тут надо понимать что вообще делает программа и во что утыкается. И в зависимости от этого, могут быть разные способы её улучшить
Тогда только «хочу быстро, а не быстро не хочу» подойдёт ;)
Есть много строче текста в плохом формате, через re делаю ряд манипуляций что б стало нормально и записываю в бд. Всё
Надо попрофилировать и найти что конкретно медленно. Если это чтение с диска или запись в базу, то тут на питоновской стороне ничего не сделаешь
А как понять, что проблема в записи или чтении?
Вряд ли 10 гб файлик, может записываться сутки
Я бы попробовал pypy, иногда он заметно ускоряет код. Ну или запускать несколько процессов питона и раскидать на них файл по кускам, самому, или используя multiprocessing (я multiprocessing не люблю, на нём очень просто сделать ещё хуже чем было)
Ну мне нужно раз в 100 наверное ускорить. 10гб файл делается чуть ли не неделю. После суток простоя компа было сделано где то 15%
если дело именно в кривых регекспах и оно CPU-bound, то чтобы ускорить в 100 раз нужно 100 ядер процессора
Обсуждают сегодня