Distributed Learning доступен только с CLI? Если нет, то почему-то не

могу найти такого в доке по питону
И есть ли возможность посадить такое на Ray/Dask/Что угодно другое, хотелось бы иметь одинаковую инфраструктуру для всего

Заранее спасибо

Есть CLI с ручной настройкой workerов. Есть обучение на Spark (включая PySpark). Dask тоже есть в планах, но пока реализация не очень быстро продвигается.

А есть что-то среднее? Типа запустить воркеры через CLI и потом через python подключиться к ним? Потому что я этого в доке не увидел

такого нет либо cli + cli, либо питон + питон

Жалко, очень жалко

Распределенный гридсерч можно и на Ray наколхозить. Вот как с оптуной быть, не знаю, с обучением уже сказали

Оптуна в рее есть А чтобы отдельно оптуну поднять нужен dask

Кинешь линк на то как рей колхозить на кэтбуст? А то я что-то не нашел

По аналогии можно попробовать https://docs.ray.io/en/latest/tune/examples/tune-xgboost.html

Это не распределенное, это запуск тюна на локальной тачке

А чем Spark/PySpark не подходит?

К этому очень много вопросов 1) Я обучаю через CV, чтобы ТОЧНО не было переобучения 2) Я обучаю каждый раз через Optuna чтобы добиться лучших результатов, был момент что даже select features и пермутацию использовал на каждой итерации, чтобы получить найбольший возможный результат Второе еще решаемо через spark, а вот первое я не уверен что в Spark версии такой метод вообще присутствует

Ну? Тюним на множестве локальных тачек, только свое распределение одинакового множества параметров