[:]

Всем привет! Подскажите, что можно использовать для масштабирования больших языковых модлей (LLM) в продакшене для цели рапараллеливания запросов? Описание ситуации: Пытаемся...

Честно, за год так и не понял прикол бэкенда. Задачи однотипные, 99% можно автоматизировать/упростить, но прежде ты намучаешься с тем, что было в легаси, и придёшь к pm со сло...

В гос. проекте по чат-боту (не телеграмм бот, а llm (грубо говоря, локальная chat-gpt, всё довольно серьёзно), есть фича: история чатов с контекстом. Бот должен держать в "мо...

Отвечать без засёра, а по делу. Сами знаем, что это говно. Коллега сделал вот такой json. У него не получилось положить в него вещественные число (1), т.к. ошибка раскодиров...

Умно, наверное, спросить про "почему класть в словарь медленее, чем в переменную", а потом говорить, что не спрашивал даже. Как уже кто-то в чате сказал, "сам что-то себе прид...

Какую функцию pytoch берёт чтобы вывести 10.00GiB? Или вообще откуда это он берёт? "RuntimeError: CUDA out of memory. Tried to allocate 10.00 GiB {...}"

Есть ли либа, которая позволила бы оценить нагрузку на GPU-mem по гиперпараметрам сетки (условно, по конфигу), количеству параметров и размеру датасета? Важно именно сделать э...

Пытаюсь зафайнтюнить saiga и сталкиваюсь с тем, что не понимаю, как правильно подключить модель. От модели есть только GGUF-файл. Что с ним сделать нужно, чтобы вытащить все н...

Как можно слелать по-умному рабочими два случая: await my_func() my_func() , т.е. так, чтобы функция могла быть и асинк и синк одновременно, но в зависимости от наличия awai...

yandex object storage, пробую через boto3 сохранить файл, вылазит вот такая шляпа botocore.exceptions.ClientError: An error occurred (InvalidAccessKeyId) when calling the Put...

Какую функцию pytoch берёт чтобы вывести 10.00GiB? Можно ли это число вытащить до загрузки данных на карточку? "RuntimeError: CUDA out of memory. Tried to allocate 10.00 GiB ...

Есть у кого MLOps чат? Скиньте пж)

Точно можно сделать наследника int и ему добавить метод. Главное, зачем?

Как здесь быть? Какие права нужны? (Yandex cloud) botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied

Как контрить эту ошибку?

А есть ещё американское и чисто-английское произношение. Есть ещё особое произношение — произношение индийцев (индусов). Их ты тоже будешь учить?

А как здесь быть? Какие права нужны? botocore.exceptions.ClientError: An error occurred (AccessDenied) when calling the ListObjects operation: Access Denied

И ещё кто-нибудь может что-нибудь рассказать про NVIDIA A2? Про опыт использования серверов от Selectel для ML?

Я это понял, но мы говорим про "немного" разные ситуации. В чём заключается небезопасность?