172 похожих чатов

Всем доброй ночи. Нужна помощь с pyo3. Примерно следующий порядок

действий: есть сервис на питоне, он вызывает растовую зависимость и передаёт callback. В расте следующий код:
let pool = unsafe { py.new_pool() };
let py = pool.python();
py.allow_threads(|| {
self.inner.scan_artifacts(
path.to_string(),
timeout,
|msg: ScanCallbackMsg| match msg {
ScanCallbackMsg::Match(name, rule) => Python::with_gil(|py| {
let rule = rule::PyRule::new(py, rule).unwrap();
let _ = match_callback.call1(py, (name, rule));
}),
ScanCallbackMsg::Error(name, err) => Python::with_gil(|py| {
let (code, message): (u32, String) = PyEngineScanError(err).into();
let _ = error_callback.call1(py, (name, code, message));
})

match_callback и error_callback - это питонячьи объекты
И вижу по графикам, что течет память, запускал под valgrind - ничего не показал... Может быть кто-нибудь подскажет? Видел пару issue на гитхабе, с похожими проблемами, но там народ переписал код и не было такой матрёшки, как у меня

3 ответов

28 просмотров

Я бы сначала начал исследовать с какой стороны течет память, на стороне python или расширения. - на стороне python можно периодически дергать len(gc.get_objects()) и писать в лог, если заметен постоянный рост объектов, то получается утечка на стороне python. Можно дополнительно логировать количество объектов по типу collections.Counter(map(type, gc.get_objects())) - на стороне расширения, можно воспользоваться бисекцией, комментируем одну половину, если все еще течет, коментируем половину от оставшейся половины и т.д. пока не локализуем участок

Ivan-Krivosheev Автор вопроса
Andr T
Я бы сначала начал исследовать с какой стороны теч...

В расте отключил почти все, течет где-то в связке питона и раста и видимо я не правильно понимаю, как pyo3 работает с памятью

Ivan Krivosheev
В расте отключил почти все, течет где-то в связке ...

Выше правильно сказали что может течь в питоне. Утечки это ведь не всегда недостижимая память, иногда это глобальный список откуда объекты никогда не удаляются

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Карта сайта