плиз в лс
Пишет, что типы данных неправильные?
Зачем тебе даск? Если он у вас не в проме, и даже нигде не развернут - лучше вообще про него забыть А если развернут - проще спросить у тех, кто разворачивает у вас. В целом даском пользуются полтора землекопа, не слышно про него нигде ничего
Позвольте не согласиться. Dask очень много там, где решают задачи комбинаторной химии. По крайней мере мы делали продукт - аналог coiled и спрос на него был. В агротехе (где я сейчас) на dask куча всего для обработки geospatial data.
не позволяю. Dask нужен ток коммунити, но не индустрии. Если кто-то затащил его в прод, это не значит что надо было
Что за комьюнити он нужен? Какой индустрии он не нужен? Затащили в прод - потому что с ним задача решалась быстрее, чем без него. Я не "за" dask, но тема не раскрыта.
питон коммунити, дсам, дашникам.. DE он не нужен, скорее вреден
Кстати, соглашусь с @Filatovw, что на dask удобно строить пайплайны по работе с пространственными данными за счёт библиотек geopandas и dask-geopandas. Под Spark, конечно, есть, Apache Sedona (бывший GeoSpark, если я правильно понимаю) и ещё несколько решений вроде GeoTrellis под Scala, но насколько они широко распространены, тоже вопрос.
Спарком просто можно любую хрень в параллельной обработке гонять. Даже rm -rf на полсотни машин
Кстати, не знал, потому что как раз больше по dask. Dask действительно только Python-код параллелит. Но всё равно интересно, можно ли под Pyspark удобно поставить geopandas и прочие столь необходимые вещи.
Обсуждают сегодня