Привет всем, подскажите утилитку которой можно нагенерить терабайт данных для

postgress?

Python

эх, я так и думал

Есть же python faker

у меня там особенность, система FreeBSD

pgbench еще

Postgres?

для каких целей? можно и /dev/urandom сохранять

пробовал, то ли я не понял как юзать, у меня он сгенерил терик данных, а когда я его закрыл он их удалил)))))

ну хоть csh

протестить фичи ZFS со снапшотами а после восстановления проверить целощность данных

Так онижь и не нужны. Генерация нагрузки

понял

не будет работать.

а зачем тогда терабайт данных?

надо еще проверить за сколько оно этот террабайт отправит через zfs send на бекап сервер

я проверил с малыми обьемами, это классно работает, а еще вот те оффф рекомендации https://people.freebsd.org/~seanc/postgresql/scale15x-2017-postgresql_zfs_best_practices.pdf

ну так это же разные задачи, быстрее будет что то типа cat /dev/urandom » test file

Знаете ли, синтетика, сильно отличается от реальности

да, но лучше так чем угадывать

не работает, под нагрузкой, кароч, ты пытаешься изобрести велосипед с квадратными колёсами, это будет работать в крайне редких кейсах, на специфичных бд

Согласен

какой велосипед, почитай PostgreSQL + ZFS Best Practices and Standard Procedures

размер не важен, проверь под нагрузкой, да, на фре зфс стабильнее, но это не отменяет необходимости бэкапов, если что.

так я ж не спорю, и они будут, тут просто база будет очень жирная, и с очень важными данными, по этому хочется сделать несколько каскадов безопасности хранения

тогда лучше ufs2, если она ещё жива.

уже придется на ZFS, к ней шли долгими экспериментами =) но суть понял, спасибо

Посоветуйтесь с комрадами тут https://t.me/sds_ru

Если у тебя база с важными данными — найми опытных DBA, которые ужэ делали проекты с важными данными. Можно индивидуально поискать, можно, кого там, Перкону, Пгпро, Гитинского, ЕДБ, Цытуса подрядить. Сильно других вариантов в постгресе нет. Получить знания по надёжному тамагоченью постгреса за пару месяцэв — нереально вообще никак.

да, но вот я в процессе так сказать, все сложнее чем я думал, ибо как в файловой системе ZFS как и в самом PostgreSQL можно очень много чего настроить для надежности, но там еще оч легко перегнуть, и тогда все будет тупить, тонкая грань)

Вообще, первая вещь для надёжности постгреса, которую требуется настраивать — это мониторинг. Вторая — инжэнера, который будет знать, что делать с жёлтыми индикаторами мониторинга.

это уже готово=) в целом это самое базовое

прпвда, вместо изобретения велосипеда наймите DBA, иначе придётся дорого заплатить за восстановление, если оно будет возможно и даунтайм гарантирован.

Тебе показалось (что готово). Это просто слишком сложно, чтобы человек, который задаёт вопросы вроде "как сгенерить тэрабайт данных" мог это сделать в принцыпе.

Этот вопрос задан не для того чтобы узнать как, у услышать еще варианты от других людей, и возможно из-за этого изменить свое мнение и свой подход, именно так работает - "учиться на ошибках других"