Всем привет, мне надо загрузить таблицу в bigquery, я делаю

дамп
psql -U user -d db --csv -c "select * from table" > table.csv

но в таблице есть лишние символы, в файле table.csv строка выглядит так
178,Хрустим сырное ассорти,"Недельная приоритизация пепсико^M
",2021-07-19 15:52:01.906741,2021-07-19 15:52:21.821889,AdLabs,2021-07-22,2021-08-04,{4690388008062},f,boost_in_categories,

в таблице table
id | name | comment | created_at | updated_at | client | start_at | expire_at | codes | hidden | kind | keywords
-----+------------------------+-----------------------------------+----------------------------+----------------------------+--------+------------+------------+-----------------+--------+---------------------+----------
178 | Хрустим сырное ассорти | Недельная приоритизация пепсико\r+| 2021-07-19 15:52:01.906741 | 2021-07-19 15:52:21.821889 | AdLabs | 2021-07-22 | 2021-08-04 | {4690388008062} | f | boost_in_categories |
| | | | | | | | | | |
(1 row)

подскажите как можно при дампе убрать символ ^M и перенос строки или что бы убрать \r+ и файле не было ^M и переноса строки?

sed? А если нужно в самом PostgreSQL — вместо select * from table напишите запрос, который будет удалять ненужные символы из "проблемных" полей.

sed как вариант, но думал какими-то штатными средствами PG обойтись) вот смотрю, как написать запрос, который будет удалять ненужные символы а через ESCAPE можно как-то?

https://postgrespro.ru/docs/postgresql/14/functions-string

Тут хватит и replace — просто разберитесь, что это за символ(ы).

что-то до конца не могу разобраться, пробую вот так psql -U user -d db -c "select *, regexp_replace(comment, E'[\\n\\r]+', ' ', 'g') from table where id = '178'" id | name | comment | created_at | updated_at | client | start_at | expire_at | codes | hidden | kind | keywords | regexp_replace -----+------------------------+-----------------------------------+----------------------------+----------------------------+--------+------------+------------+-----------------+--------+---------------------+----------+---------------------------------- 178 | Хрустим сырное ассорти | Недельная приоритизация пепсико\r+| 2021-07-19 15:52:01.906741 | 2021-07-19 15:52:21.821889 | AdLabs | 2021-07-22 | 2021-08-04 | {4690388008062} | f | boost_in_categories | | Недельная приоритизация пепсико | | | | | | | | | | | | (1 row) как бы replace убирает символ, но как теперь что бы вывод из replace заменил вывод из comment? или я не туда копаю и все намного проще?) символы откуда взялись - это виндовый перенос строк (

> как бы replace убирает символ, Не вижу этого. По-моему, настоящий символ переноса строки как был, так и остался, нет?

Потому что select *, regex... Замените * на перечень полей и вместо comment вставьте replace

А, нет, всё правильно — я посмотрел на первое поле (подумал, что уж поля-то правильно расставлены), а на запрос — нет, а зря. Т.е. https://t.me/pgsql/346147

туплю? psql -U user -d db -c "select comment, regexp_replace(replace, E'[\\n\\r]+', ' ', 'g') from table where id = '178'" ERROR: column "replace" does not exist LINE 1: select comment, regexp_replace(replace, E'[\n\r]+', ' ', 'g'...

в итоге сделал вот так psql -U user -d db --csv -c "select id,regexp_replace(name, E'[\\n\\r]+', ' ', 'g') As name,regexp_replace(comment, E'[\\n\\r]+', ' ', 'g') As comment,created_at,updated_at,client,start_at,expire_at,codes,hidden,kind,regexp_replace(keywords, E'[\\n\\r]+', ' ', 'g') As keywords from table" > table.csv может быть есть какой-то лучший вариант, но так дампится и заливается в BigQuery