куда копать, если и на цпу и с кудой одна и та же скорость лламы2 gguf? (6 токенов в секунду). Использовал llama-cpp-python с cublas, карта работает и грузится, вмещаются все...
Коллеги, имеет ли смысл, если во всех проектах используется один и тот же торч со всеми своими тяжеловесными зависимости, добавить его в системный питон, а венв создавать с ф...
Коллеги, а как-то продакшен классификаторы оптимально можно дообучать кроме как обучать заново? У меня есть несколько Т5 энкодеров, которые я тюню на определённом наборе данны...
нубский вопрос от юзера, можно ли в кубе в upgrade policy поставить условие, что старый контейнер убивается, когда новый начал прослушивать порт? (т.е. в нём нормально загрузи...
Коллеги, терминал в vscode очень ненадёжен, когда делаешь бекспейсы или стрелки влево-вправо. Расходится визуальное представление с фактическим взаимодействием с терминалом. Д...
Добрый день, вопрос от пользователя, вот есть nexus repository manager и есть политика безопасности компании. Компании необходимо, чтобы перед тем как к юзерам попадут артефак...
а я правильно понимаю, что аккумулейшн считается способом "ускорить" обучение, потому что благодаря нему лосс лучше сходится? потому что фактически мы же делаем в n раз меньше...
Коллеги, подскажите, почему в interact llamacpp мы делаем eval системных токенов, но потом их же подаём в generate? (так как там +=). Почему нужно делать и то и другое?
Сори за дилетанский вопрос, Для того чтобы играться с опенсорс llm (без дообучения), можно ли компенсировать качество гпу их количеством?
есть ли какой-то пефт для берта на классификацию? не считая заморозки изначальной модели)
коллеги, хочу использовать фастапи + увикорн для инференса, в примерах вижу что объект-предсказатель делают везде глобальным. Если у меня за пределами функция, которая на вопр...
Вопрос шире, какие могут быть варианты подключения к hdfs для dvc и mlflow (они пишут что им нужен libhdfs) кроме установки клиента хадупа?
Может, @YallenGusev создатель подскажет, почему в infer нет eval, а в interact есть, и почему в interact у нас системный промпт и в eval и в generate прогонятся🙏🏻?
Вот по поводу т5, не понимаю, там же декодер ещё, то есть это сек2сек, как его для классификации использовать?
до 200к если пойти в магазин и купить то лучшая карточка это rtx4090?
Вкладка ports, там где терминал, полностью пустая. До обновления была кнопка forward a port. Так должно быть? Как ещё можно прокинуть?
Вообще нет вариантов получить эти технические токены именно за счёт строки?
вопрос из разряда "лень проверять" - bert tokenizer'у же похрен на повторяющиеся пробелы, табы итд, можно не чистить?
Где можно глянуть список интересных конференций на этот год?
А fuse это что?