Всем привет! Cкрипты в сессии r-studio и по расписанию через

Question

Всем привет! Cкрипты в сессии r-studio и по расписанию через

CRON по-разному работают, в чем может быть дело?
Конкретно, скачиваю файл:
fread("myserver.com/file.csv", colClasses = "character")
В сессии R-studio скачивает нормально весь файл в 50mb, через крон - в разы меньше - каждый раз заканчивая на ~2mb.

Включал verbose и showProgress - различий в логах никаких, просто скачивание заканчивается на объеме 5-10% файла каждый раз, и скрипт идет дальше.

Пробовал read.csv и прочие - результат такой же, в какую сторону смотреть?
Это все вертится на виртуалке на google cloud, Ubuntu 18,04

#programming #r #russian

0

28.12.2021

4 ответов

7 просмотров

Alеx 🤼‍♂️ Автор вопроса

Zen Quant
судя по описанию, срабатывает ограничение на время...

Не думаю, что ограничение именно по времени, т.к. другие скрипты могут работать до получаса ожидая, например, ответа от сервера или собирая много данных. в виртуалке у CRON дефолтные настройки, насколько я помню, ничего не менял. команда выглядит так 15 14 * * * /usr/lib/R/bin/Rscript '/myPathToScript/script.R' >> '/myPathToScript/script.log' 2>&1

0

28.12.2021

Zen Quant

Alеx 🤼‍♂️
Не думаю, что ограничение именно по времени, т.к....

Если крон настроен корректно, и другие задания выполняются правильно, тогда я бы посмотрел в сторону замены fread на httr с verbose = TRUE, и в лог выводите статус соединения.

0

28.12.2021

Alеx 🤼‍♂️ Автор вопроса

Zen Quant
Если крон настроен корректно, и другие задания вып...

спасибо, попробую. fread скачивает файл на диск через curl_download, может быть в этом причина?

0

28.12.2021

Zen Quant · Accepted Answer

судя по описанию, срабатывает ограничение на время выполнения скрипта в кроне. Но в дефолтной конфигурации дистрибутива, насколько я знаю, таких ограничений нет. Нужно больше информации о том, как настроен крон в виртуалке, и как запускается задание в crontab.

169 похожих чатов

Всем привет! Cкрипты в сессии r-studio и по расписанию через

4 ответов

Похожие вопросы