Кто-То победил тормоза при конвертации в numpy ответа от torch? outputs.to('cpu')

Question

Нейронные сети (AI Community)

Sергей

Кто-То победил тормоза при конвертации в numpy ответа от torch? outputs.to('cpu')

<- тормоза тут
ans = outputs.numpy()

добавление после to('cpu') строчки torch.cuda.synchronize() не помогает

0

19.08.2023

8 ответов

66 просмотров

Лис Электронщик

строчка должна быть до

0

19.08.2023

Sергей Автор вопроса

Лис Электронщик
строчка должна быть до

А в гайдах пишут, что после. Если до - вообще ничего не меняется

0

19.08.2023

Лис Электронщик

Sергей
А в гайдах пишут, что после. Если до - вообще ниче...

а вот ты сделай до, а потом померяй время от синхронизации до получения тензора в нампае

0

19.08.2023

Sергей Автор вопроса

Лис Электронщик
а вот ты сделай до, а потом померяй время от синхр...

s2 = time() torch.cuda.synchronize() outputs = outputs.to('cpu') step2 += time() - s2 s3 = time() ans = outputs.numpy() step3 += time() - s3 так?

0

19.08.2023

Sергей Автор вопроса

Sергей
s2 = time() torch.cuda.synchronize() outputs = out...

0

19.08.2023

Sергей Автор вопроса

Sергей

Это несколько итераций

0

19.08.2023

Sергей Автор вопроса

Sергей

Ах да, это среднее за все итерации. То есть, каждую итерацию считает среднее за предыдущие

0

19.08.2023

Лис Электронщик · Accepted Answer

Лис Электронщик

какой размер ответов-то?

0

19.08.2023

Похожие чаты

Кто-То победил тормоза при конвертации в numpy ответа от torch? outputs.to('cpu')

8 ответов

Похожие вопросы