Привет! Подскажите, почему разница между первым перемножением двух матриц размером 1024х1024

и последующими ≈ в 15тыс. раз? Что там происходит на GPU в начальный момент..

8 ответов

10 просмотров

Прогрев )

ну тут скорее всего первичная инициализация буферов (???) и подобное я не мастак, но думаю из-за этого первая итерация медленная

а не кажется ли, что использовать Instant + elapsed для бенчей плохая идея?. есть же cargo bench + скрипты бенча

и далее, вы уверены, что ваши матрицы сразу оказались на gpu?. на каком моменте? на new/rand или в момент их первого использования это так, чисто на фигня/подумать вопрос (апи не знаю:) ) === немного оффтопа, но начал вопрос не я. про приложение сказать ничего не могу. и даже не обязательно эпл, но на армах действительно есть нейронные ОТДЕЛЬНЫЕ модули проца. и в самых обычных телефонах они моментом встречаются. сам я их никогда не использовал 😅

Денис Котляров
и далее, вы уверены, что ваши матрицы сразу оказ...

Не сразу, но учитывая скорости передачи данных на GPU это должно быть несколько мс, никак не 480. И почему тогда нет разницы между перемещением двух матриц 512х512 (т.е. всего 2МБ) и 512 таких же матриц – все это занимает одинаковое время. Более вероятно, что CUDA что-то компилирует, разворачивает граф вычислений или типа того

𝕬𝖑𝖊𝖎𝖘𝖙𝖊𝖗 𝕱.
Не сразу, но учитывая скорости передачи данных на ...

да, забыл, компиляция же еще.. но в любом случае, при сравнении с cpu эти аппарат телодвижения тоже надо учитывать.

Загрузка матриц из хоста на карту занимает долгое время.

Temirlan Обязательно
Загрузка матриц из хоста на карту занимает долгое...

Не должно быть так много https://habr.com/ru/companies/dbtc/articles/498374/

Похожие вопросы

Обсуждают сегодня

Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
Ребята, всем привет. Подскажите, пожалуйста, можно ли как-то через бота понять, что этого бота добавили в группу\канал и выдали ему права администратора?
Artem Stormageddon
9
Привет всем! Почему этот код не срабатывает при добавлении или удалении пользователя из чата? bot.on('chat_member', async (ctx) => { console.log(ctx); }) bot.launch({allo...
Alexander
7
Всем привет. Не понимаю, в чём тут шутка юмора. Убирается только разрешение на send_messages. А send_media_messages остаётся. Как сделать, чтобы оба убирались? await b...
Alexander
2
Есть тут кто занимается разработкой серваков майна? Или знакомые
meow *
3
'frakturBold' => ['𝖆', '𝖇', '𝖈', '𝖉', '𝖊', '𝖋', '𝖌', '𝖍', '𝖎', '𝖏', '𝖐', '𝖑', '𝖒', '𝖓', '𝖔', '𝖕', '𝖖', '𝖗', '𝖘', '𝖙', '𝖚', '𝖛', '𝖜', '𝖝', '𝖞', '𝖟', '𝕬', '𝕭', '𝕮', '𝕯'...
Roma
4
Есть ли лимиты на кол-во вебхук по домену? Стоит в данный момент 900+ ботов и бывает бот перестает отвечать (не приходят вебхуки) 🐒 Помогает только перезапуск
ᅠ [ Кому не ответил, дублируйте ]
11
а что делать если тебя убивают на картах?
Yarik yarik kyda ti lezesh
43
Товарищи, здравствуйте Подскажите, пожалуйста, может кто-нибудь сталкивался с такой задачей Через вебапку можно сканировать qr-код, а есть ли возможность считывать nfc?
Artem Stormageddon
8
Карта сайта