967 чатов

Комьюнити Binance

React — русскоговорящее с...

Android Developers

Python

Vue.js — русскоговорящее ...

Node.js — русскоговорящее...

DevOps — русскоговорящее ...

JavaScript Noobs — сообще...

Django [ru]

Go-go!

Angular - русскоговорящее...

ntwrk

Верстка сайтов HTML/CSS/J...

phpGeeks

Где взять займ?

Kubernetes — русскоговоря...

Смотреть еще

Kirill

Username @Klhnvich

Телефон +375 (33) 680-90-99

Как скрыть?

Измените конфиденциальность Username и Телефона в настройках Telegram на «Только контакты» или «Никому» и через некоторое время они исчезнут с сайта

19 просмотров

5 вопросов от Klhnvich

Natural Language Processing / Kirill

Ребят, всем привет. Насколько большая разница в скорости инференса ллм между rtx 4090(V100) и A100? Сейчас на v100 запустил saiga2-13b в 4 бит и работает как-то медленно. Где...

#nlp #programming #russian

13.09.2023

10 ответов

Natural Language Processing / Kirill

Ребят, всем привет! Делаю retrieval QA чат-бота на внутренних данных. Есть карточка v100 на 24гб Какую русскую инстракт модельку было бы оптимально на ней использовать? Сейчас...

#nlp #programming #russian

30.08.2023

1 ответов

Natural Language Processing / Kirill

Чуть позже возможно смогу скинуть код тебе Кто нибудь знает, а есть смысл использовать какой-нибудь DeepSpeed для инференса? Будет быстрее?

#nlp #programming #russian

13.09.2023

1 ответов

Natural Language Processing / Kirill

и вообще какие сейчас есть удобные фреймворки чтобы батчить запросы для ллмок? Кто чем пользуется, признавайтесь)

#nlp #programming #russian

13.09.2023