Уточнение - как будто препроцессинг текстовых фичей в процессе запуска

model.fit(pool) идет в один поток на CPU. У меня сейчас это занимает время сравнимое с общим обучением на GPU.

Это by design или у меня что-то не так настроено?

а что top (task manager) говорит?

top - 07:58:30 up 14 days, 27 min, 0 users, load average: 1.17, 1.10, 1.09 Tasks: 10 total, 2 running, 8 sleeping, 0 stopped, 0 zombie %Cpu(s): 2.1 us, 0.1 sy, 0.0 ni, 97.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 64142.3 total, 16988.8 free, 35227.1 used, 11926.4 buff/cache MiB Swap: 32768.0 total, 32764.5 free, 3.5 used. 29997.9 avail Mem PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 378 root 20 0 68.1g 32.9g 277288 R 100.0 52.6 128:33.01 python 1 root 20 0 3984 2988 2760 S 0.0 0.0 0:00.01 bash 19 root 20 0 3984 3116 2820 S 0.0 0.0 0:00.00 bash 341 root 20 0 12192 2368 2108 S 0.0 0.0 0:00.00 sshd 347 root 20 0 9084 6232 5520 S 0.0 0.0 0:00.09 ssh 356 root 20 0 549440 106500 18644 S 0.0 0.2 0:15.26 jupyter-noteboo 1206 root 20 0 4476 3796 3204 S 0.0 0.0 0:00.14 bash 1219 root 20 0 4476 3860 3268 S 0.0 0.0 0:00.14 bash 1231 root 20 0 6360 3452 2916 R 0.0 0.0 0:01.57 top 1239 root 20 0 3724 3164 2328 S 0.0 0.0 0:03.38 watch Работа в один поток

да, там код так написан :-\

Спасибо! А я правильно понимаю, что если я сделаю токенизацию (и, возможно, другую предобработку из стандартных компонент catboost) отдельным предварительным шагом (чтобы организовать кэширование), то ее нельзя будет добавить в модель cbm и мне придется в inference коде ее воспроизводить?

да, всё так