Добрый день. Хочу взять RTX 4090. Или есть смысл заморачиваться и искать

с жидкостным охлождением, когда модуль охлаждения отдельно. Может у кого есть какой-то полезный опыт в данной теме?

Если будешь загружать ее на полную и постоянно и не будет напрягать больший шум, и не жалко лишние 30к, то бери жидкостное. Если же тебе чисто свои проекты гонять, не будешь учить сутками, плюс комп где-то рядом с кроватью стоит, то оставь воздух.

для учебы надеюсь?

В основном для учёбы, но хочется учиться по-серьёзному. Для исследований возможностей применения llm.

возможно выгоднее арендовать, смотря скока использовать будешь)

Хочу свою)

4090 хороший выбор для старта. Если планируется долгий трейн всегда можно понизить мощность, чтобы не палить карту. Но 2 бу 3090 будут лучше для LLM из-за общей емкости 48 Гб.

Спасибо за совет. Будут ли нормально работать 4090 и 2080. Если на одной 4090 всё не поместится. И ещё. У меня материнка на 3 карты. Или даст толщина 4090 поставить вторую карту, в данном случае 2080?

Параллельно скорее всего нет

Можно использовать райзеры и выносить карты из системника. У меня сейчас 2 3090 в большом корпусе на райзерах, еще 2 вынесены вне корпуса. 2080 не сильно поможет, Мало памяти слишком. 10+ Гб мало спасают. Плюс она затормозит более быструю карту.

У меня все карты на райзерах PCE 3, 4-х версий длиной 30-40 см. Снижается ли пропускная способность? Не замерял, но это не значительно. Если райзер качественный, то все норм должно быть. Опять же что значит тормозят. Вот я сравнивал свою систему и иммерс.клауд, моя система с новым процем и памятью, на райзерах работает быстрее чем их ксеоновские серверные. Желательно чтобы на мамке все версии слотов были одинаковыми. Плохо когда 1 слот - 5-й, 2-й 4-й, 2 других 3-й версии. Как у меня.

а есть статьи или что-то подобное про всё это? интересна тема, но не знаю как подобраться к ней даже

можно использовать из под разные сетки, то есть это будут 2 разные карты в системе. Можно воспользоваться решениями для распределенных вычислений на гпу, и там можно будет задействовать обе. 2080 в таком случае не будет боттленеком, но все же это будет менее эффективно

Вот здесь собираю информацию, регулярно обновляю https://vc.ru/ml/881777-spravochnik-po-vyboru-gpu-dlya-raboty-s-bolshimi-yazykovymi-modelyami-llama

а ты кстати считал выгодно ли всё это? в отличии например просто платить за 3.5 или 4 гпт?

Ну это примерно как сравнивать покупку помидоров в магазине или выращивать у себя в огороде ))

не ну а если в плане бизнеса, стоит ли заморачиваться интересно, это ведь не только железо но и тех поддержка

С огорода вкуснее

OpenAI легко интегрировать, уже большинство топовых контор забугорных сделали это в свои бизнес процессы и сервисы. Но это там на западе все медовое ) А у нас тут бункерная экономика )) Сегодня доступ есть, завтра сорян через дясяток впн пробивайся, утрирую. Но в целом считаю программистам и бизнесу нужно развивать свою экспертизу в LLM независимо от публичных AI-сервисов. Локальная лама на схожих задача потенциально будет дешевле, чем чатгпт. По некоторым данным в 30 раз дешевле Llama 70B Достигающая точности GPT4. Учитывая что многие задачи можно делать на меньших моделях, то разница будет еще больше. Ну и само собой конфиденциальность данных.

Пук в воздух

Вопрос не корректный. Это все для поднятия в закрытых сетях. А это все корпораты.

Openai api не гарантирует время. Один и тот же по размеру и формату запрос к ChatGPT может исполняться и 10 секунд, и 2 минуты в любое время дня

Хочу выразить большую благодарность за то что ты для нас в том числе делаешь. Всё что ты делаешь нам очень помогает . Ты не зря тратишь своё жизненное время.