может быть причина, что в функции generate не работают bad_words_ids?
Пытаюсь убрать ряд слов
bad_words_ids = tokenizer(["word"]).input_ids но слово как появлялось в выходе Bart, так и появляется
[[30112], [34063], [15545, 1952], [21928, 12, 5406], [42351, 661]] Вот такой вид имеет массив bad_words_id который подаю в модель
Не выглядит, как что-то криминальное В доках советуют делать вот так: tokenizer(bad_word, add_prefix_space=True).input_ids, возможно проблема именно в add_prefix_space
Обсуждают сегодня