170 похожих чатов

Привет! Вот такая задачка: надо заставить GPT генерить предложениями, то

есть чтобы генерация останавливалась после точки. Смотрю исходники transformers и не понимаю, как это сделать, не переопределяя класс модели. Кто нить что нить делал похожее?

8 ответов

17 просмотров

Просто поставить eos_token_id в точку чем-то не устраивает?

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Просто поставить eos_token_id в точку чем-то не ус...

Ну там могут быть всякие и т.д. , вопросительные знаки и прочие корнер-кейсы

Dmitriy Salikhov
Ну там могут быть всякие и т.д. , вопросительные з...

Тогда поставить eos_token_id в точку и сделать пост-отработку: сплит по нужным знакам.

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Тогда поставить eos_token_id в точку и сделать пос...

Не совсем понял, что значит сплит по нужным знакам

Dmitriy Salikhov
Не совсем понял, что значит сплит по нужным знакам

Ну условно если получилось "...! ...?....", то просто нарезаем на части

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Ну условно если получилось "...! ...?....", то про...

Ну это означает что лишнее уже сгенерено. Тратим инференс-время впустую

Dmitriy Salikhov
Ну это означает что лишнее уже сгенерено. Тратим и...

Да, но другого легкого выхода как будто бы нет. Есть ещё в аргументах нечто под названием stopping_criteria, но я с этим дела ни разу не имел

Dmitriy-Salikhov Автор вопроса
Ilya Gusev
Да, но другого легкого выхода как будто бы нет. Ес...

да, покопал в ту сторону, его можно сделать кастомнымб но только переопределив метод сэмплинга в собственном классе

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Привет. Подскажите, как правильно сматчить лист фиксированного размера, чтобы компилятор не говорил мне о неполном паттерне? Допустим что-то такое [x', y'] = sort [x, y]?
Arseny
8
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Мужики. привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных элементов...
Kraszx
2
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Карта сайта