Усвоил, и еще кое что хотел бы спросить у меня есть

такой конфиг для тренинга

logging.set_verbosity_error()

trainer = transformers.Trainer(
model=model,
train_dataset = data,
args=transformers.TrainingArguments(
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
num_train_epochs=1,
learning_rate=2e-4, fp16=True,
save_total_limit=3,
logging_steps=1,
output_dir=OUTPUT_DIR,
max_steps=len(data),
optim="paged_adamw_8bit",
lr_scheduler_type=["linear","cosine"][1],
warmup_ratio=0.05,
report_to = "tensorboard"
),
data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False), # way to merge training examples into bathces
)
model.config.use_cache = False, # to avoid warnings
result = trainer.train()

что здесь можно добавить или поменять чтобы память не вылетала?

Уже много что пробовал, и осталась ток 1 идея, в цыкле чистить помять перед вылетом и выгружить модель из чекпоинта для дальшейшего обучения.Но это укостыль и не ясно как это сделать и можно ли так в принцпе

У вас Cuda out of memory?

есть параметр в TrainingArguments gradient_checkpointing, вроде он чуть уменьшает потребление памяти, но обучение дольше делается

та хоть весь день

Кстати да, попробуйте

gradient_checkpointing, усвоил, спасибо

С чекпоинта можно продолжать обучение, trainer сам загружает последний чекпоинт и продолжает обучение, для этого достаточно вызвать в последней строке result = trainer.train(True) Но возможно проблема с загрузкой адаптера, в transformers был связанный с этим баг, не знаю поправили ли его в последних версиях библиотеки

А gradient accumulation steps меняете, когда увеличиваете batch size?

вы о моем предложении с склом и чисткой памяти?