Ребята, всем привет! ❓Есть вопрос. Тема трансформеров очень интересна, еще сильнее подогрело

появление ChatGPT и аналогов.

Но многие здесь, и я в том числе, смотрим на локализованные трансформеры.

А имеет ли это смысл? Ведь уже сейчас ясно, что крупные компании обладают намного большими ресурсами для создания и дообучения моделей и предоставления на базе них сервисов.

Так остаются ли тогда ниши для локализованных трансформеров?
Если да, то какие на ваш взгляд?

Заранее благодарю!

Это очень хороший вопрос 🙂

Могу порассуждать. Но конечно же это только мысли. Можно предположить, что всегда будут запросы для локального применения. Так как не всегда нужен суперкомпьютер, чтоб решать тривиальные задачи. Извиняюсь за банальщину Как по мне всегда будут образовываться ниши в которые проще и дешевле будет вписать локальный трансформер, чтоб он крутился внутри, какой-то организации и решал специфические вопросы. Опять же вопрос цены тоже может быть решающим.

Конечно остаются. Там где важна приватность, скорость работы

Спасибо. А какие это задачи? Какие задачи можно делать локально со сравнимым качеством чатджпт... Или иначе, какие задачи не делает или не будет делать чатджпт, которые отдаем локальным трансформерам?

Конечно те задачи, которые служба безопасности не разрешает выносить за пределы контура фирмы, в т.ч. в американский интернет :)

Приватность все меньше кого-то беспокоит. Особенно в мире облачных технологий и соц сетей. Ее уже сейчас нет по факту. То бишь чатджпт еще один облачный сервис, одним из которых вы точно пользуетесь. Скорость. На каком уровне эта скорость нужна? На приемлемом для большинства точно будет. А разные МТС, где скорость нужна больше, и сами гиганты аля яндекс, которые как раз могут свои решения делать.

См локальную работу с logit_bias на каждом inference шаге ради повышения качества ответов или оптимизацию скорости token inference (раза этак в 4) с использованием слабенькой predictive модели.

Не проблема. У нас будет яндекс.джпт, мтс.джпт и тд Буржуям инфа наша не достанется.

Гигачат уже есть))

Хочется верить, что это ирония.

Приватность и локальная версия - наше всё. Щас скоро майнеры начнут продавать свои фермы видеокарт и кто-нибудь выложит в OpenSource датасет для обучения ChatGPT, я прогнозирую - это скоро сольют всё. И тогда мы сможем достаточно дёшево обучить LLAMA2 и другую открытую модель. И делать локальный инференц намного дешевле, чем облачные вычисления. Плюс LoRA. И openai со своим API не нужен будет.

Так же крутил в гг голове подобную идею. Здравая по мне мысль. Думаю уже пишется какой либо iso для использования токена под обучение.

Vast.ai - там уже можно как раз такие бывшие фермы арендовать)

Почему ирония. Это факт. У нас будут свои chatgpt и капилоты, уже есть. Но вопрос не в этом. Для каких задач можно применять локальные трансформеры? И это выгодно? Приватность - не тот тезис, выше писал. Проблема со скорость - это временно. По сути задач, что остаётся локальным решениям?

На самом деле русскоязычная модель имеет смысл, т.к. никто больше под русский язык модель не заточит. Все страны под свои делают или под английский. А использование моделей с английским pre-train на задачах других языков сильно калечит способности модели.

Если вы из лагеря противоборствующих сторон. Не важно из какого. Я пожалуй воздержусь от продолжение бесседы. А вам предлагаю поразмышлять о том, где были бы ваши свои "chatgpt и капилоты", если бы не всё мировое сообщество.

Поддерживаю. В последнее время chatGPT совсем в тыкву превратилась

Это на каких задачах? По моим цифрам только становится лучше Но я русский контекст не тестировал

Там даже не нужен датасет, я выложил сегодня скрипт внутри лекции для базовой генерации 😉