Генерация текста это по идее только LogLikelihood?Я просто через transformers.Trainer

Question

Natural Language Processing

Gleb Maksimov

Генерация текста это по идее только LogLikelihood?Я просто через transformers.Trainer

тюню, там лосс не указывается,дефолт стоит видимо какой-то

#nlp #programming #russian

0

05.08.2023

6 ответов

21 просмотр

Ilya Gusev

Указывается там всё

0

05.08.2023

Gleb Maksimov Автор вопроса

Ilya Gusev
Указывается там всё

rainer = transformers.Trainer( model=model, train_dataset = data, # eval_dataset = data['test'], args=transformers.TrainingArguments( per_device_train_batch_size=1, gradient_accumulation_steps=4, num_train_epochs=1, learning_rate=2e-4, fp16=True, save_total_limit=3, logging_steps=1, output_dir=OUTPUT_DIR, max_steps=len(data), optim="paged_adamw_8bit", lr_scheduler_type=["linear","cosine"][1], warmup_ratio=0.05, report_to = "tensorboard", # evaluation_strategy='steps', eval_steps=1 ), data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False), # way to merge training examples into bathces ) model.config.use_cache = False, # to avoid warnings result = trainer.train() у меня не указано, а нужно да?

0

05.08.2023

datascience xc

Gleb Maksimov
rainer = transformers.Trainer( model=m...

Лосс не указывают😁

0

05.08.2023

Ilya Gusev

Gleb Maksimov
rainer = transformers.Trainer( model=m...

Указано должно быть наличием labels в выборке

0

05.08.2023