170 похожих чатов

Привет! Вот такая задачка: надо заставить GPT генерить предложениями, то

есть чтобы генерация останавливалась после точки. Смотрю исходники transformers и не понимаю, как это сделать, не переопределяя класс модели. Кто нить что нить делал похожее?

8 ответов

19 просмотров

Просто поставить eos_token_id в точку чем-то не устраивает?

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Просто поставить eos_token_id в точку чем-то не ус...

Ну там могут быть всякие и т.д. , вопросительные знаки и прочие корнер-кейсы

Dmitriy Salikhov
Ну там могут быть всякие и т.д. , вопросительные з...

Тогда поставить eos_token_id в точку и сделать пост-отработку: сплит по нужным знакам.

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Тогда поставить eos_token_id в точку и сделать пос...

Не совсем понял, что значит сплит по нужным знакам

Dmitriy Salikhov
Не совсем понял, что значит сплит по нужным знакам

Ну условно если получилось "...! ...?....", то просто нарезаем на части

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Ну условно если получилось "...! ...?....", то про...

Ну это означает что лишнее уже сгенерено. Тратим инференс-время впустую

Dmitriy Salikhov
Ну это означает что лишнее уже сгенерено. Тратим и...

Да, но другого легкого выхода как будто бы нет. Есть ещё в аргументах нечто под названием stopping_criteria, но я с этим дела ни разу не имел

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Да, но другого легкого выхода как будто бы нет. Ес...

да, покопал в ту сторону, его можно сделать кастомнымб но только переопределив метод сэмплинга в собственном классе

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта