По коду, _variable_store должен быть в коллекции, а значит должен быть доступен при загрузке из мета-графа (или у вас не мета-граф?) def _get_default_variable_store(): store...
А как по этому экрану видно что там тротлинг? Есть команда, которая показывает статус: nvidia-smi -q -d PERFORMANCE
или вопрос в том, какие значения можно еще можно использовать?
Метрики тоже средние по эпохе — считаются на батчах и усредняются по эпохе?
Как сравниваете? loss на чем, на train-е?
По эпохе?