timestamp с милисекундами, и нужно скастить его к спарковскому TimestampType. Пробую через `.withColumn("kafka_inserted", (col("kafka_inserted_int") / 1000).cast(TimestampType))` Но на выходе все равно даты за 1970 год, как по умному можно сделать каст?
там есть функция типа такого должно быть withColumn("time", to_timestamp("col"))
Обсуждают сегодня