Привет. Не холивара ради, а заказа для, хочу узнать насколько

Question

(sci)Berloga Bioinformatics, Biology, etc. Club

Привет. Не холивара ради, а заказа для, хочу узнать насколько

страшно собирать машину под обсчёт NGS на AMD. Быстрый гуглёж показал, что есть некие интеловские инструкции AVX-512, которые есть только на паре свежих АМДшных процов, и без них де, остальные процы АМД сильно проигрывают в скорости для не оптимизированных тулзов. При этом, АМД по цене\качеству весьма интересны. По чату по слову "AVX" ничего не нашёл, по "AMD" - рекомендации машин, похожих на желаемую маленькое сравнение с М1. Может кто делал бенчмарки всякие сравнительные? Мол полногеномная сборка - пять секунд на Интел, сутки на АМД. Может вообще надо копить на видяху в сервер.

0

15.05.2023

15 ответов

28 просмотров

Dima Romaniuk Автор вопроса

Arthur Zalevsky
не проще сделать виртуалки в амазоне на аналогично...

Если есть со всем этим опыт - проще. Мне проще спросить у спецов.

0

15.05.2023

Arthur Zalevsky

ну вы задаете очень узкий вопрос про поддержку специфичных инструкций (которая не может взяться из воздуха, и должна быть заложена в конкретное ПО (нативно или через библиотеки типа intel mkl - уже другой вопрос)) при этом даже не пишите какой софт/пайплайн вы используете. какой ответ вы ожидаете ¯\_(ツ)_/¯

0

15.05.2023

Dima Romaniuk Автор вопроса

Arthur Zalevsky
ну вы задаете очень узкий вопрос про поддержку спе...

Да я сам ещё вокруг выбора софта кружу, так что тут с двух сторон затык, пардон. Пусть будет Hisat2 как пример софта, использую его для выравнивания парных ридов по 150, для локуса в районе 5 млн оснований.

0

15.05.2023

Daniel Igumnov

Dima Romaniuk
Да я сам ещё вокруг выбора софта кружу, так что ту...

Не почувствуете разницы Понял бы, если бы стар на гпу хотели гонять, а так вообще забейте

0

15.05.2023

Dima Romaniuk Автор вопроса

Daniel Igumnov
Не почувствуете разницы Понял бы, если бы стар н...

Супер, тоесть взять проц по душе, вложиться в ССД и РАМ допом, а про ГПУ забыть?

0

15.05.2023

Daniel Igumnov

Dima Romaniuk
Супер, тоесть взять проц по душе, вложиться в ССД ...

Ну почему забыть. Изображение же на монитор выводить надо) Просто я не помню, чтобы была разница, на чем хисат гонять. Особенно, если локус в 5 млн всего

0

15.05.2023

Arthur Zalevsky

Dima Romaniuk
Да я сам ещё вокруг выбора софта кружу, так что ту...

ни в одном из обсуждений именно hisat2 avx не всплывают. но гуглится тонна других тулов, которые активно эксплуатируют векторизацию. так что на ваш исходный вопрос ответит только нативное тестирование. хотя бы в формате - на одной машине собраться с avx и без и сравнить разницу.

0

15.05.2023

Daniel Igumnov

А разве топовые или околотоповые процессоры есть с буквой G? Я не знаю, что там сейчас на рынке , виноват

0

15.05.2023

Arthur Zalevsky

Daniel Igumnov
А разве топовые или околотоповые процессоры есть с...

для просто выводить консоль на экран обычно достаточно видеоконтроллера, встроенного в BMC (норма для материнских плат для рабочих станций/серверов) :) хотя мы даже не знаем категории железа, которую ТС рассматривает)

0

15.05.2023

Dima Romaniuk Автор вопроса

Arthur Zalevsky
для просто выводить консоль на экран обычно достат...

СуперМикро формат

0

15.05.2023

Arthur Zalevsky

Dima Romaniuk
СуперМикро формат

ну супермикро выпускают все, что душе угодно) так что это не то, чтобы сильно сужает пространство)

0

15.05.2023

Y K

Тут надо иметь в виду следующие соображения: 1. Современные десктопные интеловские процессоры - адище для вычислительных программ (ну или Вы сами выключите все недоядра, и останетесь на обычном 8-ядернике): в одном кристалле разные архитектуры с разным объёмом кэша/частоты и т.д. Xeon сильно недотягивают до серверных AMD по числу/скорости ядер 2. Что бы Вы ни купили, предстоит изрядная возня с компиляторами - либо Intel One со всеми библиотеками (уже легально бесплатен под Linux, ура!), либо с примерно тем же самым (компилятор + библиотеки) для AMD. Если возьмёте готовые бинарники, в случае NGS ничего страшного не произойдёт, в случае программ типа gromacs можно потерять до 60% скорости. 3. SSD реально нужен только для хранения геномов и геномных индексов, для остального лучше RAID на обычных дисках (если мы экономим, конечно). 4. Для сборки геномов deNovo и для множественных выравниваний нужно реально много памяти (в зависимости от генома и программ, но минимум, я так понимаю, 512G. 5. Если не будете заниматься Machine Learning, не тратьте заранее деньги на видеокарту - она в NGS не используется практически никак. 6. В молекулярной динамике и квантовой химии - надо ВСЕ деньги вложить в НЕСКОЛЬКО видеокарт можно с небольшим объёмом памяти, но максимальным суммарным количеством GPU-процессоров. 6. Для ML купите RTX A6000 (48G памяти решают при построении моделей), и на остаток на что хватит, процессор практически неважен.

0

15.05.2023

Georgii Ozhegov

Deepvariant и GLnexus вроде умеют с видеокартой работать, так что кое где и в NGS она нужна :)

0

16.05.2023

Y K

Georgii Ozhegov
Deepvariant и GLnexus вроде умеют с видеокартой ра...

Гораздо лучше быть богатым и здоровым, но....

0

16.05.2023