Коллеги, вопрос про BERT Question Answering начали тестировать на маленьких текстах отвечают,

Question

Коллеги, вопрос про BERT Question Answering начали тестировать на маленьких текстах отвечают,

но нам нужно на на маленьких, а сразу книжку загрузить.
и тогда ошибка. тензор превышает, а может всего 512 токенов.

Кто может порекомендовать /прокомментировать?
Как работать с большим текстом для ответа?

#nlp #programming #russian

0

12.07.2023

6 ответов

21 просмотр

Sergey Bratchikov

Делите на абзацы если именно берт нужен

0

12.07.2023

Anatoly Belov Автор вопроса

Sergey Bratchikov
книжку у вас никак не получится, ллм только помочь...

увидел, спасибо )

0

12.07.2023

Anatoly Belov Автор вопроса

Sergey Bratchikov
книжку у вас никак не получится, ллм только помочь...

тогда если с большими не работает, то непонятна сама затея - зачем. в маленьком тексте и так легко ответ найти интерес в том, чтобы в большом тексте ответ найти )

0

12.07.2023

Anatoly Belov Автор вопроса

Sergey Bratchikov
Делите на абзацы если именно берт нужен

ок книжка 100 страниц, поделили на абзацы, получили 1000 абзацев задали вопрос по каждому абзацу как выбрать "лучший" ответ?

0

12.07.2023

Sergey Bratchikov

Anatoly Belov
тогда если с большими не работает, то непонятна са...

вот задачей найти в большом тексте ответ занимаются уже не один десяток лет)

0

12.07.2023