Павел

куда копать, если и на цпу и с кудой одна и та же скорость лламы2 gguf? (6 токенов в секунду). Использовал llama-cpp-python с cublas, карта работает и грузится, вмещаются все...

Коллеги, имеет ли смысл, если во всех проектах используется один и тот же торч со всеми своими тяжеловесными зависимости, добавить его в системный питон, а венв создавать с ф...

Коллеги, а как-то продакшен классификаторы оптимально можно дообучать кроме как обучать заново? У меня есть несколько Т5 энкодеров, которые я тюню на определённом наборе данны...

Добрый день, вопрос от пользователя, вот есть nexus repository manager и есть политика безопасности компании. Компании необходимо, чтобы перед тем как к юзерам попадут артефак...

нубский вопрос от юзера, можно ли в кубе в upgrade policy поставить условие, что старый контейнер убивается, когда новый начал прослушивать порт? (т.е. в нём нормально загрузи...

Коллеги, терминал в vscode очень ненадёжен, когда делаешь бекспейсы или стрелки влево-вправо. Расходится визуальное представление с фактическим взаимодействием с терминалом. Д...

а я правильно понимаю, что аккумулейшн считается способом "ускорить" обучение, потому что благодаря нему лосс лучше сходится? потому что фактически мы же делаем в n раз меньше...

Сори за дилетанский вопрос, Для того чтобы играться с опенсорс llm (без дообучения), можно ли компенсировать качество гпу их количеством?

есть ли какой-то пефт для берта на классификацию? не считая заморозки изначальной модели)

коллеги, хочу использовать фастапи + увикорн для инференса, в примерах вижу что объект-предсказатель делают везде глобальным. Если у меня за пределами функция, которая на вопр...

Вопрос шире, какие могут быть варианты подключения к hdfs для dvc и mlflow (они пишут что им нужен libhdfs) кроме установки клиента хадупа?

Вот по поводу т5, не понимаю, там же декодер ещё, то есть это сек2сек, как его для классификации использовать?

Может, @YallenGusev создатель подскажет, почему в infer нет eval, а в interact есть, и почему в interact у нас системный промпт и в eval и в generate прогонятся🙏🏻?

до 200к если пойти в магазин и купить то лучшая карточка это rtx4090?

Вкладка ports, там где терминал, полностью пустая. До обновления была кнопка forward a port. Так должно быть? Как ещё можно прокинуть?

Вообще нет вариантов получить эти технические токены именно за счёт строки?

вопрос из разряда "лень проверять" - bert tokenizer'у же похрен на повторяющиеся пробелы, табы итд, можно не чистить?

Где можно глянуть список интересных конференций на этот год?

А fuse это что?