А как-то можно несильно геморно сгенерить жирный датафрейм на ярд

Question

записей?
val df = 1.to(1000000000).toDF("digit") чет приунывает

#hadoop #russian #software

0

05.08.2021

13 просмотров

((1 to 100000).toDF("id") crossJoin (1 to 10000)).toDF("x)).withColumn(тут всякий контент)

0

05.08.2021

Забыл, первому ДФ надо сделать репартишен, чтобы партиции были приемлемые, не сильно напряжет

0

05.08.2021

Evgenii Kuznetcov · Accepted Answer

А если так? sc.parallelize(1 to 1000).flatMap(i => 1 to 1000).flatMap(i => 1 to 1000).toDF()

0

05.08.2021