5 похожих чатов

Telegram Bot Talk Telegram Bot Talk
dlang.ru dlang.ru
Natural Language Processi... Natural Language Processi...
DL in NLP discussion grou... DL in NLP discussion grou...
Pro Telecom Pro Telecom
DL in NLP discussion group DL in NLP discussion group
Alex-Konst

Кто в курсе как из хагингфейсовских токенизаторов убирать нежелательные токены?

screenshot

Делаю так, результат не очевидный. Кроме того, как модель понимает, какие именно эмбеддинги ей удалять? Видимо, никак? Какой-то рецепт есть нормальный по ужатию словаря?

#communication #dlinnlp #nlp #russian
0

3 ответов

20 просмотров
Сёрежа-Серёжа

Если тебе нужно удалять только для генерации, то у huggingface есть атрибут bad_words_ids

0
17.08.2021
Alex-Konst Автор вопроса

нет, хочу ужать слой эмбеддингов для облегчения

0
17.08.2021
Yaroslav-Sokolov

Ну значит сам токенизатор трогать не обязательно А тогда легче всего сделать маппинги

0
17.08.2021

Похожие вопросы

DL in NLP discussion group DL in NLP discussion group / Dmitriy
Подписаться

Ребят, помогите пожалуйста разобраться, как сделать правильно!? У меня есть файл типа hdf5. В pytorch датасете у меня с него считываются данные. Проблема заключается в том, ч...

#communication #dlinnlp #nlp #russian
26.08.2021
0
14 ответов
DL in NLP discussion group DL in NLP discussion group / Anton Patshin
Подписаться

Добрый вечер! подскажите пожалуйста, что сейчас хорошо делает саммери или эмбеденги по тексту? задача , сравнить два и более текстов от разных редакторов, и понять, они напис...

#communication #dlinnlp #nlp #russian
21.07.2023
0
7 ответов
DL in NLP discussion group DL in NLP discussion group / николай
Подписаться

всем привет. недавно решил вкатиться в data science. имею базовые навыки программирования на Python, опыт работы с другими библиотеками (в вебе практиковался), а также базовые...

#communication #dlinnlp #nlp #russian
20.07.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Andrey Bezryadin
Подписаться
screenshot

Народ замутил инференс, чтобы гонять большую ламу 65B на множестве машин по миру через распределёнку (что это такое я писал тут). Ну чё запустим 65B LLaMA на кластере из Raspb...

#communication #dlinnlp #nlp #russian
12.07.2023
0
2 ответов
DL in NLP discussion group DL in NLP discussion group / Vasiliy Chernyakov
Подписаться

Всем привет! Такой вопрос. Стоит ли идти в NLP, если интересно изучение языков и программирование? Насколько вообще ежедневные задачи близки к лингвистике? Чем обычно занимают...

#communication #dlinnlp #nlp #russian
13.08.2021
0
18 ответов
DL in NLP discussion group DL in NLP discussion group / Shabtai Papernick
Подписаться
screenshot

🪝Как заякорить мужчину, чтобы лишь ты одна была в его голове постоянно?❤️‍🔥 ▪️Красота слов: важно быть открытой и не стесняться говорить комплименты. ▪️Тактика 4 простых ша...

#communication #dlinnlp #nlp #russian
22.08.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Maxim D
Подписаться

Вопрос к экспертам в области RL/RLHF/PPO В реализации RLHF подхода (https://github.com/lvwerra/trl) авторы вычисляют KL-div между policy и референсной моделью вначале PPO шага...

#communication #dlinnlp #nlp #russian
02.08.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Tkzin Souza
Подписаться

🌝✋🏻Здравствуйте,есть предложение для Тебя! 🚀Заинтересован зарабатывать 100 $ каждый день? 🔁Провожу набор в мою личную команду по зароботку: ▪️Занятость от 2-3 часов в день. ...

#communication #dlinnlp #nlp #russian
04.10.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Oleh Kopyl – serial entrepreneur 🇺🇦
Подписаться

What is the best model for ocr which gives text this format: input – <single_image> output – <entire_text_on_the_image> (not characted by character)? Ideally: - No bboxes - ...

#communication #dlinnlp #nlp #russian
07.11.2023
0
1 ответов
DL in NLP discussion group DL in NLP discussion group / Victoria Latynina
Подписаться

Привет всем, а можно попробовать аккуратно завести тему ИИ конференции, которая прошла на днях? Возможно кто-то из спикеров уже публично выступил и сказал, что их не предупред...

#communication #dlinnlp #nlp #russian
27.11.2022
0
4 ответов
Смотреть еще
DL in NLP discussion group DL in NLP discussion group
Подписаться
Вопросов 76
Ответов 159
Участников 1109
Telegram @dlinnlp_discuss

Обсуждают сегодня

Он в одиночку это дело запилил или была какая-то команда?
Aquinary
12
Вообще кстати бывают такие тулкиты чтобы вот разработал под ОС X, всё оттестировал работает А потом собрал под ОС Y - и там просто без вообще любых изменений заработало?
Serg Gini
14
А тут все сообщения из матрикс сервера видны будут?
Serg Gini
2
всем привет, кто знает нормальный гайд как настроить отладчик в Intelij на Windows?
QUAD69
6
А в чем прикол этого матрикса? @quantumde1
Serg Gini
1
И его забанить админ если что сможет потом?
Serg Gini
1
моста? это теперь так гейт называют?
Karagy
1
А, вообще, знает кто-нить альтернативы D в области безопасных, читабельных ОО-языков?
Nik Lan
14
Работа над эдишенами там какая-то ведется? Или пока что тишина?
Serg Gini
1
приветствую. хочу сделать себе D Playground вопрос: можете подсказать с чего мне следует начать и в какую сторону двигаться? P.S.: я не являюсь программистом... но в небольш...
dd
5
Карта сайта