Здравствуйте. Вопрос имею я. Пишу програмку для парсинга данных, в

итоге получаю словарь(например компьютер1 и для него 10 пар ключ значение, и таких компьютеров штук 10). Далее с этими данными, мне нужно: использовать для создания графиков например на 30 дней по каждому ключу значению. Вопрос, как мне правильно использовать получаемые словари, делать выгрузку каждого компьютера в json? csv? бд? Не могу понять как правильно загуглить свой вопрос, так как не сильно знаком со сбором статистики

маркеплейс парсишь?

сильно мимо, данные с оборудования, скорость температура датчиков, примерно так

А строить графики в чём планируешь?

все варианты приемлемы, другой вопрос что ты будешь с этим делать

с этим тоже вопрос, чем лучше удобнее, тк данных будет видимо много

в итоге эти данные будут выведены в html форме с фласком типа вебморды, аля мини сайт

тогда наверно лучше цсв или бд. и туда и туда можно удобнее дописывать, а в бд еще можно и вытаскивать по нужной дате. строить графики можно с помощью даш или стримлит. (я только даш юзал)

Ну это вопрос, с которого стоит начать. Погуглить там, как эту задачу в твоей сфере обычно решают другие люди

к сожалению уже нанимал разработчиков, 3 раза кинули, в итоге деньги уплочены продукта нет, поэтому в свободное время приходится самому как то пробовать

не очень понимаю, зачем ты это делаешь, что за датчики и для чего собирается информация, но ты на питоне можешь наколбасить экспортер для прометея (prometheus), а прометея заставить собирать метрики из твоего экспортера рядом поднять графану, чтоб напилить дашборд и красиво графики по метрикам смотреть

по поводу бд, тоже есть вопросы, как правильно формировать таблицы, тоесть под каждый комьютер 1 датчик1 таблицу? ведь к примеру если все датчики (10 шт) будут в одной таблице компьютер 1, там будет миллион строк :) ну это я образно

звучит как right way, но сложновато ему думаю будет

почитай про временные ряды, их назначение и возможности для потсгреса есть расширение, называется timescaleDB

надо освоить реляционные базы и правила нормализации. над каждым кейсом думать надо

читал, сложно, неудобно в развертывании, есть необходимость в простой установке и запуску

спасибо, почитаю

спасибо почитаю, но постгрес сложен для меня, mysql, sqlite, sqlalchemy более менее знакомы

постгрес это всего лишь адаптер бд. если ты используешь орм (алхимия) , то тебе в принципе не важно какой адаптер

чего

?

О_о постгрес адаптер..?

окей,я понял если хочешь реализовать хранение метрик в реляционной базе, то посмотри, как это заббикс делает, как строит индексы и вычисляет агрегированные значения для их демонстрации в разном временном масштабе, у него там для этого отдельные таблицы там щас в последних версия тоже временные ряды прикручивают, но в ветке 5.х их вроде не было

ребят, уделите пожалуйста еще немного мыслей :) может еще что подскажете. К примеру пандас подойдет? Как вообще это правильно называется, формирование статистики? получение данных для статистики? или это big data какая то, формирование массива данных

ну ты просто складываешь статистику в цсв

график построить хочешь?

графики, под каждый датчик каждого компьютера за срок примерно 3 дней. Что бы вы понимали, компьютеры взяты как условное понятие, для простоты обьяснения

а, что из цсв что из базы можно данные в пандас датафрейм перевести, отсюда графики можно строить и в матплотлиб и в даш

я понял, в общем нужно почитать получше про панду и про даш. Спасибо

в моем представлении все еще прозе взять какую-нибудь систему мониторинга, наколбасить под нее эскпортер и на основе собираемых данных нарисовать дашборды с графиами, какие захочется но да, для этого можно взять пандас или даже упороться с матплотлиб

с помощтю чего можно "нарисовать дашборды с графиами" ?

я получаю данные из страницы формата xml, какие то решений не находил, к написанию проги лично, пришел после того как выяснил, что код придется довольно часто менять, тк как xml тоже меняется

для прометея / виктории метрикс рисовать можно в графане (прям мышкой), она очень мощная в этом плане, это специальный инструмент для рисования и хранеия дашбордов для заббикса есть вебгуй на пхп (поставляется вместе с заббиксом), он менее мощный, но там тоже можно прям мышкой накликать xymon // nagios пожалуй предлагать не буду, они сильно устарели ))

спасибо

я ничего не знаю о твоей задаче, о требованиях и предметной области, так что не могу посоветовать что-то сверх того, что уже озвучил выше

это ты описал техническую реализацию, а не задачу ))

так, была бы реализация не было бы вопросов :) словари я получаю, вопрос как их лучше использовать для длительного хранения и накопления данных