Бывало ли среди пользователей Kaggle, чтобы foreach сбрасывал сессию, если

Question

Бывало ли среди пользователей Kaggle, чтобы foreach сбрасывал сессию, если

делаешь например registerDoParallel(cores = 3) ? Одно ядро работает в сессии, но 5 минут задача на 100 объектов. А когда 4 ядра — уже 1.5 минуты. Но как только запускаю функцию — кэггл все сбрасывает и начинай сначала.

#programming #r #russian

0

28.07.2023

7 ответов

19 просмотров

Stan Автор вопроса

Andrey
The number of physical CPU cores is only 2 on Kagg...

Щас смешно даже. Semnet window принадлежит пакету corpustools. Я его предварительно загрузил. Как только в таком виде настраиваю — Кэггл включает дурака.

0

28.07.2023

Stan Автор вопроса

Stan

Щас смешно даже. Semnet window принадлежит пакету ...

Есть физический комп, но там столько данных, что хочу распараллелить. А future позволяет, допустим, на ксеоне сделать так, чтобы две функции работали параллельно? Это и есть то, что обозначается как асинхронное исполнение?

0

28.07.2023

Andrey

Stan
Есть физический комп, но там столько данных, что х...

library(future) library(furrr) future::plan("multisession", workers = 12) И затем future_map - мне вот этого обычно достаточно

0

28.07.2023

Stan Автор вопроса

Andrey
library(future) library(furrr) future::plan("mult...

А как настроить число ядер? Или пакет сам решает, сколько ядер подключать?

0

28.07.2023

Andrey

Stan
А как настроить число ядер? Или пакет сам решает, ...

вот же workers = 12

0

28.07.2023

Ilya Shutov

Stan
Есть физический комп, но там столько данных, что х...

не совсем понятно «две функции параллельно», но могу предположить, что многоуважаемого дона может спасти %<-%. См детали в https://www.jottr.org/2016/07/02/future-user2016-slides/

0

28.07.2023

Andrey · Accepted Answer

Andrey

The number of physical CPU cores is only 2 on Kaggle (4 virtual cores). ` возможно поэтому

0

28.07.2023

169 похожих чатов

Бывало ли среди пользователей Kaggle, чтобы foreach сбрасывал сессию, если

7 ответов

Похожие вопросы