Нужно ли делать padding текстов для дообучения LLM моделей (на

Question

основе llama)? В токенайзере нет pad токена. И не очень ясно, нужен ли padding, если там есть eos_token. И если делать паддинг, то слева от текста?

#nlp #programming #russian

0

21.11.2023

24 просмотра

Паддить слева от текста?

0

21.11.2023

cправа

0

21.11.2023

Aleksandr · Accepted Answer

tokenizer.pad_token = tokenizer.eos_token да, в нужен при bs>1 и не одинаковых seqs

0

21.11.2023