Roman D. 🛰 romad.ru

Друзья, GPT-4 клянется и божится всеми своими предками (я два раза переспросил), что файнтюнинг - это оптимальный метод, чтобы научить Llama консультировать по какому-то БОЛЬШ...

Ещё в Крыму вместо «пакет» обычно используют «кулёк» 😁 то есть на кассе могут спросить: «Ром, тебе кулёк нужен?» 😁 тут уже я начинаю ржать, потому что кулёк - это такой конус ...

@YallenGusev Илья, вопрос по Сайге: - Вы писали что это - "адаптер", и в то же время, в названии - LoRa, но у нас вчера с GPT-4 поднялась эта тема по ходу, в другом контексте,...

...так, ну а если, допустим, создать на основе некоего массива документов, такие же датасеты, какие использовал Илья, для обучения Сайги, то такая модель ведь будет более-мене...

Субботне псто: комраде, а у вас вот не бывает такого, что сидите вы за ноутом, смотрите в монитор, и думаете о том, что врослый вроде человек, а такой херней занимается - все ...

Камрады, я тут как тот вшивый о бане: 1) Таки какая из локальных моделей наиболее хороша для получения мультиязычных эмбеддингов по соотношению скорость/качество? Особенно инт...

Камрады, а можно ли, например, затюнить адаптер для Llama на основе датасета из 100 однотипных текстов по 1000+- токенов каждый, где для половины будет генериться ответ "Да", ...

Ошибка "Trying to get property 'title' of non-object" возникает, когда мы пытаемся обратиться к свойству объекта, которого не существует. В данном случае, скорее всего, пробле...

И это еще не все, только что опытным путем выяснил, что инференс с GGLM Llama (cpp) НЕ распараллеливается при добавлении ядер (работает через llama-cpp-python) и скорость при ...

И еще, друзья, у меня в голове появилась такая устойчивая мысль: - А что если разработчики ChatGPT намеренно дали нам в общем доступе урезанную версию модели/инференса? Поясню...

Народ, кстати, а есть у нас здесь предприниматели от IT? 🤨 Ну, просто любопытно )) Или фрилансы хотя бы))

https://ya.ru/gpt/2 - в Яндексе наконец-то смогли поднять инференс на основе Сайга-2 7b 😄🤣 но речь даже не столько об успехах отечественного ИИ-строения 🤨 сколько о том, что н...

Друзья, а как вообще в моделях устроена цензура? В случае с инференсом еще как-то хоть понятно, а как в моделях? Чт почитать можно? И чем ее можно вылечить? Дообучением?

камрады, кто с AWS работал - сильно это дороже, чем российские VPS? 🤨

n_threads=6, так?

то есть суть не в том чтобы на 10 ядрах обработать генерацию 10 промптов, а в том, чтобы обработку ОДНОГО промпта ускорить в 10 раз на 10 ядрах - это реально ли? это относится...

Друзья, а еще вот какая тема: я ранее писал, что делаю небольшое вспомогательное API к монолитному проекту на Advanced шаблоне в виде модуля, но мне написали, что это надо дел...

Ребят, посоветуйте плз какое-то годное пособие по дебагу в Юй2)) на русском? В доке вообще не понимаю чего написано. У меня приложение вылетает - хочу посмотреть значения пере...

...кстати, насчет тестов: а существуют ли какие-то приложения для функционального тестирования, но именно как приложения с GUI, чтобы конфигурировать запросы и ассерты не путе...

@YallenGusev кстати, есть некий не совсем понятный вопрос - а что у Сайги с размером контекста? Я видел параметры в конфиге но так и непонятно о чем это? Есть ли максимальный ...