Коллеги, привет! Помогите с ошибкой пожалуйста Есть источник, который хочу загрузить в

спарк
query: |
select order_id
, transaction_id
, created
from orders.v_orders
where date(created) between date('{date_from}') and date('{date_to}')
schema:
order_id: string
transaction_id: string
created: timestamp


Читаю так:

(spark.read
.format("jdbc")
.option("url", conn_uri)
.option("dbtable", f'({_render_jinja_template(template=query, settings=settings)}) as alias')
.schema(_prepare_schema(schema)) # преобразовано в строку вида 'colname1 type, colname2 type ...'
.load()
.createOrReplaceTempView(spark_alias)
)


Но натыкаюсь на ошибку:

pyspark.sql.utils.AnalysisException:
The user-specified schema doesn't match the actual schema:

user-specified:
created TIMESTAMP,order_id STRING,transaction_id STRING,
actual:
order_id STRING,transaction_id STRING,created TIMESTAMP.

If you're using
DataFrameReader.schema API or creating a table, please do not specify the schema.
Or if you're scanning an existed table, please drop it and re-create it.


Подскажите, куда покопать?
Спасибо

1 ответов

6 просмотров

Попробуй убрать schema и обернуть запрос в (...) t

Похожие вопросы

Обсуждают сегодня

Сonst magicTgHTML = (text, entities) => { let processedText = text; let offsetShift = 0; entities.forEach(entity => { const { offset, length, type, url, ...
Андрей
1
Чет мне ссыкотно опять Rainlab.User в проект ставить. Кто знает, опять наотъебись все сделали или после обнов пользоваться можно?
Black Cat
10
это группа токсиков или тех кто помогает?
Ибрагим
9
В смысле более затратная? Общая стоимость владения лошадью меньше, чем автомобиля. В среднем.
Sergej R
10
Можете помочь с этим, я тут использую Джанго как ОРМ для бота, но бот запускать не хочет, уже всезде перерыл не могу решить, может кто то сталкивался?
Ибрагим
4
коллеги привет. уже второй день бьемся об заклад с одной ошибкой, может вы сталкивались с таки странным поведением? есть тестовый сервер, на который паблишим релизную версию W...
Magzhan
11
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
всем привет. подскажите. сделал политику, он верхнеуровневая. раздал права только на TEST2 (полные). вопрос - можно ли сделать так, чтобы был доступен только TEST2, а остально...
Андрей Сергеев
5
t.me/<username> и tg://user?id=<id> отваливаются по понятным причинам
Denis 🐍|👑 | darling! 🥰
7
Слушайте, а при создании навигации на Tailor рили нельзя определять активный пункт навигации, как в Static Pages?
Pavel Lautsevich
11
Карта сайта