170 похожих чатов

Привет! Вот такая задачка: надо заставить GPT генерить предложениями, то

есть чтобы генерация останавливалась после точки. Смотрю исходники transformers и не понимаю, как это сделать, не переопределяя класс модели. Кто нить что нить делал похожее?

8 ответов

18 просмотров

Просто поставить eos_token_id в точку чем-то не устраивает?

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Просто поставить eos_token_id в точку чем-то не ус...

Ну там могут быть всякие и т.д. , вопросительные знаки и прочие корнер-кейсы

Dmitriy Salikhov
Ну там могут быть всякие и т.д. , вопросительные з...

Тогда поставить eos_token_id в точку и сделать пост-отработку: сплит по нужным знакам.

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Тогда поставить eos_token_id в точку и сделать пос...

Не совсем понял, что значит сплит по нужным знакам

Dmitriy Salikhov
Не совсем понял, что значит сплит по нужным знакам

Ну условно если получилось "...! ...?....", то просто нарезаем на части

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Ну условно если получилось "...! ...?....", то про...

Ну это означает что лишнее уже сгенерено. Тратим инференс-время впустую

Dmitriy Salikhov
Ну это означает что лишнее уже сгенерено. Тратим и...

Да, но другого легкого выхода как будто бы нет. Есть ещё в аргументах нечто под названием stopping_criteria, но я с этим дела ни разу не имел

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Да, но другого легкого выхода как будто бы нет. Ес...

да, покопал в ту сторону, его можно сделать кастомнымб но только переопределив метод сэмплинга в собственном классе

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Карта сайта