По поводу нехватки памяти - вставлю свои пять копеек :) Когда

Question

По поводу нехватки памяти - вставлю свои пять копеек :) Когда

не хватает памяти - используете средства которые не требуют размещения датафреймов в памяти. (неожиданно но факт)
ПС - ну у нас тоже не хватало памяти - купили терабайт .... и что ? через месяц сново не стало хватать - потому что аналитики как обычно хотят все данные с 2010 года воткунть в модели.
Есть выход - называется БигДата (это не только Ходп):

вот пример использования - можете скачать 80 ГБ данных
и обучить их на ноутбуке с оперативкой в 16 ГБ :)
(правда такой способ работает только на Виндовс серверах)
https://docs.microsoft.com/en-us/sql/machine-learning/tutorials/r-taxi-classification-introduction?view=sql-server-ver16

#programming #r #russian

0

13.07.2022

8 ответов

7 просмотров

Bogdan Avramenko

А в чем именно идеальность?) У линукса есть внятная технология контейнеризации. У винды есть РЕЕСТР - чертова НЕХ из бесконечного кол-ва непонятных хеш-id, с которыми невозможно работать. Хочешь понять, к какой программе этот id? Ищи в интернете, сам не догадаешься.

0

13.07.2022

Evgeny Vlasov

Bogdan Avramenko
Винда как сервер - звучит страшно

Кому и кобыла невеста

0

13.07.2022

Igor Chepelev Автор вопроса

Bogdan Avramenko
А в чем именно идеальность?) У линукса есть внят...

Логи - есть Доменная аутентификация есть Мониторинг есть Можешь пилить какой Именно аналитик запускает слишком нагружающие сервер запросы - и потом Письмо в копию Руководителя Вопрос - Семплировавния решен

0

13.07.2022

Bogdan Avramenko

Ах, это же азур, верно?

0

13.07.2022

Ілія Малекі

Bogdan Avramenko
Ах, это же азур, верно?

Ажур - линукс, они виндовс держат для особенных

0

13.07.2022

Bogdan Avramenko