Господа, а вы не сталкивались со странным новым поведением julia-1.9.0

Question

Язык программирования Julia / Julia programming language

Господа, а вы не сталкивались со странным новым поведением julia-1.9.0

в плане управления памятью?

У меня есть скриптик, который делает рассчёты в многозадачном режиме ( запуск с ключом -p 32, и потом @everywhere , pmap ) . В julia 1.8.5 каждый процесс живенько молотит и аллокирует примерно по 1.8-3Gb, а в 1.9.0 и тот-же самый скрипт каждый процесс начинает очень быстро аллокировать кучу памяти, доходит до 10Gb и потом случается OOM и линух их всех прибивает.

С ключом --heap-size-hint=2G запускал - не помогло. Через Profile + PProf тоже смотрел - вроде внутри функции которая вызывается через pmap у меня аллокируется ~ 2.5mb

#julia #programming #russian

0

08.06.2023

11 ответов

27 просмотров

Vladimir F Автор вопроса

о, похоже не у меня одного так: https://discourse.julialang.org/t/garbage-collection-not-triggering-on-slurm-cluster/95675/4

0

08.06.2023

Vladimir F Автор вопроса

Roman Samarev
--heap-size-hint и рост потребления памяти штуки н...

А что может помочь? Попробовал с 1.9.1 - та-же проблема, с 1.8.5 всё работает отлично.

0

08.06.2023

Vladimir

ну сейчас я документацию делаю на 1.8 (на 1.9 в 30 минут не укладываюсь) ... тесты прогонять пока успеваю, но у меня в тесте 1.6, 1.8 и 1.9 на win, linux, mac и соответственно время теста увеличилось сильно на 1.9 - не хотелось бы на платный тариф переходить

0

08.06.2023

Roman Samarev

Vladimir
ну сейчас я документацию делаю на 1.8 (на 1.9 в 30...

https://github.com/JuliaLang/Example.jl/blob/master/.github/workflows/ci.yml#L14

0

08.06.2023

Viktor G.

Vladimir
ну сейчас я документацию делаю на 1.8 (на 1.9 в 30...

Подключаете свой self-hosted runner - там нет ограничений по времени)

0

08.06.2023

Roman Samarev

Vladimir F
А что может помочь? Попробовал с 1.9.1 - та-же про...

если есть возможность сделать отдельный пример, имеет смысл создать issue на julia github

0

08.06.2023

Vladimir F Автор вопроса

Vladimir F
А что может помочь? Попробовал с 1.9.1 - та-же про...

Добавил в конец каждого таска GC.gc() - похоже помогло.

0

09.06.2023

Roman Samarev

Vladimir F
Добавил в конец каждого таска GC.gc() - похоже пом...

у меня когда-то был нагруженный проект, где gc не успевал отработать. Успевать он стал после добавления sleep(0.01) для того, чтобы асинхронные процессы успели произойти

0

09.06.2023

Vladimir F Автор вопроса

Roman Samarev
у меня когда-то был нагруженный проект, где gc не ...

странно что в 1.8 работало, а в 1.9 перестало

0

09.06.2023

Mikh≙il

Vladimir F
странно что в 1.8 работало, а в 1.9 перестало

Наверное, имеет смысл зарепортить

0

09.06.2023