Вчера говорили про ETL и Data Engineering и вот сегодня на

Question

Вчера говорили про ETL и Data Engineering и вот сегодня на

очередном курсе (от SkillFactory) я там в беседе с ментором сказал не могу понять как имплементировать знания в практику — мою практику. И она сказала, что мне нужно посмотреть как настраивать архитектуру СУБД, Data Engineering

Можете посоветовать, пожалуйста?

Конкретно моя проблема: у меня есть табличные данные в csv объемом ~1ГБ о грузоперевозках по железной дороге. Данные структурированы. Но не могу их обработать потому, что Excel не тянет вообще (датасет поделен на файлы по 50 МБ).

Может кто дать практический совет, пожалуйста?

На данный момент есть навыки Python, SQL (отправлять запросы и тд, синтаксис)

#database #programming #russian #software

0

21.02.2021

8 ответов

16 просмотров

Sergei L

Edward Azizov
а в чём проблема при помощи pandas обработать? тут...

В том, что пандас не стоит много денег, а другое стоит

0

21.02.2021

Husan Автор вопроса

Edward Azizov
а в чём проблема при помощи pandas обработать? тут...

до pandas еще не дошел... в алгоритмах и ООП пока углубляюсь))) надо глянуть

0

21.02.2021

Edward Azizov

Husan
до pandas еще не дошел... в алгоритмах и ООП пока ...

просто у вас вопрос был о том, как на практике применить обработку данных вот и советую пандас конечно, можете написать (со знанием алгоритмов и ооп) свой функционал, если есть желание. читать csv, задавать типы, обрабатывать там

0

21.02.2021

Husan Автор вопроса

Edward Azizov
просто у вас вопрос был о том, как на практике при...

писать свое нет ни времени, ни желания)) запрос простой — делать сортировку, фильтр и тд SQL отлично с этим справляется, но как настроить у себя на компе не могу понять

0

21.02.2021

Edward Azizov

Husan
писать свое нет ни времени, ни желания)) запрос пр...

загуглите pandas если уже есть опыт в питоне, знакомство с ним будет на изи и почти 90% ваших запросов на обработку табличных данных можно будет сделать им

0

21.02.2021

Edward Azizov

Husan
писать свое нет ни времени, ни желания)) запрос пр...

плюс его более "низкоуровневый аналог" numpy

0

21.02.2021

Husan Автор вопроса

Edward Azizov
загуглите pandas если уже есть опыт в питоне, знак...

понял пора начинать тогда

0

21.02.2021