Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Народ привет! А кто-то сталкивался с импортом сырых дынных? Нужна
тулзовина, которая умеет распарсить данные, подобрать лучший типа для хранилища и может сгенерить мета-данные. Например в сырых данных есть leading zeros, но мы понимаем, что это bigint условно, а leading zeros - просто фича представления этих данных. Или процент вроде 49,67% можно смоделировать как float. 0.4967, а 49,67% - это представление. Хорошо бы иметь при этом метаданные, которые можно использовать дальше. Например инфу, что данная колонка - это процент в формате XX.XX%
3 ответов
Проприетарные решения такое, вероятно, умеют. Мешок правил натравил на данные, и тулза схему правильную создала На практике я не доверяю таким решениям. Несколько проектов было на виду с мега-идеей любое рандомное говно парсить автомагически. Ничего не взлетело в итоге, только schema on read А для data discovery можно заливать все как стринг. Чтобы "осмотреться" типа
Denis
Borovikov
Автор вопроса
Проприетарные решения такое, вероятно, умеют. Мешо...
а open source есть что-то такое? как это вообще называется? data cleansing?
а open source есть что-то такое? как это вообще на...
Data type/schema discovery?
Похожие вопросы
Обсуждают сегодня