AllenAI — может быть, кому-то здесь уже доводилось обучать русский longformer?
Я этим занимался (с началом войны отложил этот проект назад в "когда-нибудь доделаю"), но по всем "потребительским" свойствам, кроме поддержки более длинных текстов, он от других трансформеров не отличается, поэтому из опыта поделиться особо нечем. Использовал код LED из HF.
Спасибо Мне для даунстрим-задачи как раз нужен лонгформер, его поддержка длинных последовательностей.
Обсуждают сегодня