прикинуть FLOPs от какого-нибудь сетапа а-ля 8xA100 для интересующих нас архитектур и показать сколько камней нужно, чтобы таких же FLOPs добиться на них
что бы побить 8 а100 очень много процов уйдет
Я в интернете накопал, что Xeon gold не выше 3 TFLOPS. Это как gtx 1060
кайф, а можно линку? начну с этого тогда
Я тут смотрел
A100 в TF32 развивает 312 Tflops. Значит, 4 А100 разовьют ~1200Tflops
Не, практика показывает, что так не стакается Будет где-то 800-900
Да, там прирост от каждой карты до полутора раз. По крайней мере у меня было
Но в процессорном эквиваленте минимум штук 400 понадобится я думаю
А вот тут хз Я в целом боюсь обучать процах, т.к. на них держится связь с сервером Отключится видеокарта - сервер будет жить Перегрев процов или утилизация 90%+ могут отправить сервак спать + может отключиться ssh
А самое веселое начинается тогда, когда процессы начинают утикать
спасибо!
Обсуждают сегодня