Привет) Подскажите, плиз) Часто приходится использовать функцию ymd_hms() из пакета

Question

Привет) Подскажите, плиз) Часто приходится использовать функцию ymd_hms() из пакета

lubridate, чтобы перевести строку в dttm.

Но на больших данных она очень медленно отрабатывает. Есть альтернативы побыстрее? Тут не раз обсуждались разнообразные иные пакеты, для работы со временем...

#programming #r #russian

0

14.12.2021

13 ответов

24 просмотра

Марк Автор вопроса

Daniel
А все dttm уникальные?

не факт, могут и повторяться

0

14.12.2021

Daniel

Марк
не факт, могут и повторяться

Какая доля повторяющихся?

0

14.12.2021

Марк Автор вопроса

Daniel
Какая доля повторяющихся?

никогда не проверял. Всегда же возможно, что два разных клиента совершили одно и то же действие в одно время. Это может сильно варьировать от датасета к датасету

0

14.12.2021

Daniel

Марк
никогда не проверял. Всегда же возможно, что два р...

Я понял, ну в этом конкретном случае вряд ли поможет, но у меня была очень похожая проблема - только я использовал функцию parse_date из parsedate. Это более умный аналог функции с тем же названием из readr. И более медленный, конечно. Так вот - я использовал мемоизацию, потому что у меня часто повторялись даты в моей задаче - это оочень сильно сэкономило время выполнения. memoised_fun <- memoise::memoise(медленная_функция)

0

14.12.2021

Ilya Shutov

вот тут я писал ответы почти на весь спектр подобных вопросов: https://habr.com/ru/post/555126/

0

14.12.2021

Марк Автор вопроса

Ilya Shutov
вот тут я писал ответы почти на весь спектр подобн...

эээх, подозревал, что вы скинете эту статью :)) Надо все таки взять себя в руки, прочитать и разобраться со временем. Спасибо :))

0

14.12.2021

Ilya Shutov

Марк
эээх, подозревал, что вы скинете эту статью :)) На...

а что удивительного? вопросы в чате задаются одни и те же. и ответы на них тоже примерно одни и те же.

0

14.12.2021

Ilya Shutov

Марк
эээх, подозревал, что вы скинете эту статью :)) На...

Марк, надо делать преобразование времени в группировке — самый эффективный шаг на реальных данных. Решение ровно такой задачи я показывал @helby_helby , там ускорение раз в 100 получилось, если не ошибаюсь.

0

14.12.2021

Марк Автор вопроса

Ilya Shutov
Марк, надо делать преобразование времени в группир...

что то не припомню обсуждения такого. ок, поищу )

0

14.12.2021

Ilya Shutov

Марк
что то не припомню обсуждения такого. ок, поищу )

возможно, частный был

0

14.12.2021