Не могу понять, почему athena/glue видят мои таймстемпы вот таким

Question

Не могу понять, почему athena/glue видят мои таймстемпы вот таким

образом "+52522-12-12..." +52522 это год если что. Конвертнул с помощью пандас из csv в parquet. Пандас показывает, что колонка имеет тип datetime64.
Crawler тоже распознал как timestamp, но в афине вот такое
сталкивался кто-нибудь с подобным или это лучше к датасатанистам?

#aws #database #russian #software

0

22.10.2020

2 ответов

8 просмотров

Danil Автор вопроса

Al T
Show create table покажете?

CREATE EXTERNAL TABLE `webprd_iis`( `s_ip` string, `cs_method` string, `cs_uri_stem` string, `cs_uri_query` string, `s_port` bigint, `cs_username` string, `c_ip` string, `cs_user_agent` string, `cs_referer` string, `cs_host` string, `sc_status` bigint, `sc_substatus` bigint, `sc_win32_status` bigint, `time_taken` bigint, `datetime` string) PARTITIONED BY ( `hostname` string, `svc` string) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' LOCATION 's3://***WEBPRD/IIS/' TBLPROPERTIES ( 'CrawlerSchemaDeserializerVersion'='1.0', 'CrawlerSchemaSerializerVersion'='1.0', 'UPDATED_BY_CRAWLER'='iis-logs-parquet', 'averageRecordSize'='6', 'classification'='parquet', 'compressionType'='none', 'objectCount'='196', 'recordCount'='13488318', 'sizeKey'='171943168', 'typeOfData'='file')

0

22.10.2020

Al T · Accepted Answer

Al T

Show create table покажете?

0

22.10.2020

61 похожих чатов

Не могу понять, почему athena/glue видят мои таймстемпы вот таким

2 ответов

Похожие вопросы