Ребята, никто не сталкивался со странным поведением функции парсинга дат

Question

Ребята, никто не сталкивался со странным поведением функции парсинга дат

в spark?

Суть: Есть поток данных в формате json из кафка топика, эти сообщения считываются spark streming джобой, парсится и кладется в таблицу. С некоторого времени, при не изменных параметрах джобы (jar, cluster info, spark-version, etc), часть данных перестало парситься (null значения ) для коллонки created (TimestampType). Пытался решить это тем, что колонку created в схеме сделал StringType - не помогло.

При этом, если эту же самую логику запустить через Databricks ноутбуки - данные парсятся нормально
В чем может быть проблема? (Грешил на изменения версий jar на стороне Dbx, но проверка - показало что не в этом проблема)

#hadoop #russian #software

0

01.03.2022

1 ответов

12 просмотров

Sergey Sheremeta · Accepted Answer

Sergey Sheremeta

а точно версия кластера Databricks не изменялась? имею в виду Databricks Runtime

0

01.03.2022

52 похожих чатов

Ребята, никто не сталкивался со странным поведением функции парсинга дат

1 ответов

Похожие вопросы