Коллеги, похоже у меня затык с обучением gpt2 на собственных

данных с валидационной выборкой
прошу помочь

1. дообучить gpt2 на собственных данных без валидационной выборки я в целом умею
применяю так

# Сохраним обучающие данные в .txt файл
train_path = 'train.txt'
with open(train_path, "w") as f:
f.write(text)

# создание объекта для обработки данных
data_collator = DataCollatorForLanguageModeling(
tokenizer=tokenizer, mlm=False
)

# создание аргументов для тренировки
training_args = TrainingArguments(
output_dir='./results',
overwrite_output_dir=True,
num_train_epochs=100,
per_device_train_batch_size=32,
prediction_loss_only=True,
)

# создание тренера и запуск тренировки
trainer = Trainer(
model=model,
args=training_args,
train_dataset=dataset,
data_collator=data_collator,
)

trainer.train()

2. разделять данные на 2 выборки в целом тоже умею
применяю так

# Считываем текстовый документ в список предложений
with open('train.txt', 'r') as f:
sentences = f.readlines()

# Разделяем данные на тренировочную и валидационную выборки
train_sentences, val_sentences = train_test_split(sentences, test_size=0.2, random_state=42)

—-
Что конкретно нужно поменять/добавить в training_args и trainer,
чтобы обучение проходило с учетом валидационной выборки?

Выступлю в жанре "угадаю исправление вслепую", но если я не ошибаюсь, вы привели фрагмент кода с использованием библиотеки PytorchLightning? Если да, и мне не изменяет память, то у Trainer должен быть параметр validation_dataset, но я могу ошибаться. Самый лучший вариант - открыть репозиторий с фреймворком, который вы используете и от туда скопировать пример. Ну или в документацию посмотреть, но это для отчаянных ))

нужно всего лишь в trainer добавить параметр eval_dataset и в нем указать свой датасет для валидации

тут trainer из transformers но вот про документацию читать это согласен, у transformers хорошая документация)

увидел, спасибо )

увидел, спасибо )