Всем доброй ночи. Нужна помощь с pyo3. Примерно следующий порядок

Question

Всем доброй ночи. Нужна помощь с pyo3. Примерно следующий порядок

действий: есть сервис на питоне, он вызывает растовую зависимость и передаёт callback. В расте следующий код:
let pool = unsafe { py.new_pool() };
let py = pool.python();
py.allow_threads(|| {
self.inner.scan_artifacts(
path.to_string(),
timeout,
|msg: ScanCallbackMsg| match msg {
ScanCallbackMsg::Match(name, rule) => Python::with_gil(|py| {
let rule = rule::PyRule::new(py, rule).unwrap();
let _ = match_callback.call1(py, (name, rule));
}),
ScanCallbackMsg::Error(name, err) => Python::with_gil(|py| {
let (code, message): (u32, String) = PyEngineScanError(err).into();
let _ = error_callback.call1(py, (name, code, message));
})

match_callback и error_callback - это питонячьи объекты
И вижу по графикам, что течет память, запускал под valgrind - ничего не показал... Может быть кто-нибудь подскажет? Видел пару issue на гитхабе, с похожими проблемами, но там народ переписал код и не было такой матрёшки, как у меня

#backend #embedded #programming #russian #rust

0

07.10.2021

3 ответов

24 просмотра

Ivan Krivosheev Автор вопроса

Andr T
Я бы сначала начал исследовать с какой стороны теч...

В расте отключил почти все, течет где-то в связке питона и раста и видимо я не правильно понимаю, как pyo3 работает с памятью

0

08.10.2021

Αλεχ Zhukovsky

Ivan Krivosheev
В расте отключил почти все, течет где-то в связке ...

Выше правильно сказали что может течь в питоне. Утечки это ведь не всегда недостижимая память, иногда это глобальный список откуда объекты никогда не удаляются

0

08.10.2021

Andr T · Accepted Answer

Я бы сначала начал исследовать с какой стороны течет память, на стороне python или расширения. - на стороне python можно периодически дергать len(gc.get_objects()) и писать в лог, если заметен постоянный рост объектов, то получается утечка на стороне python. Можно дополнительно логировать количество объектов по типу collections.Counter(map(type, gc.get_objects())) - на стороне расширения, можно воспользоваться бисекцией, комментируем одну половину, если все еще течет, коментируем половину от оставшейся половины и т.д. пока не локализуем участок

172 похожих чатов

Всем доброй ночи. Нужна помощь с pyo3. Примерно следующий порядок

3 ответов

Похожие вопросы