169 похожих чатов

Ребят, привет. Работал кто-то с редактированием биг квери непосредственно из таблиц? Есть

клиенты, хочу парочку их больших таблиц перевести в бигквери, с этим проблем нет, но ищу, как научить их редактировать / добавлять конкретные строки в бигквери из удобного интерфейса (желательно из таблиц), там как обычно бухгалтеры, которым нужен простой и доступный инструмент.

31 ответов

68 просмотров

Как минимум можно через таску это делать. А, вообще, в идеале, нужно сохранять пулы данных. Напрмиер, они заполняют за день Таблицу и ты ее кладешь в пул. Как она там будет хранится — дело десятое.

А, ну, и непосредственно данные не редактируются. В идеальном мире ты их положил и они такие и есть.

Eugeny-Namokonov Автор вопроса
Alexander Ivanov
Как минимум можно через таску это делать. А, вообщ...

Ну видишь, там осложняется тем, что данные нужны всегда актуальные для других таблиц, всякие отчеты и тд

Eugeny Namokonov
Ну видишь, там осложняется тем, что данные нужны в...

Это не про BQ. Я бы рассмотрел обычную СУБД. Или, что вообще круто, YDB или еще какую-то Cloud DB

Eugeny Namokonov
Ну видишь, там осложняется тем, что данные нужны в...

Проблема ясна. Ты можешь перезаливать массив сколько влезет, но это самая дорогая операция в BQ. Например, замена одной ячейке в строке по середине потребует от тебя разрыва массива, замены строки и нового слияния. Такое себе. Иногда проще снести массив и залить заново.

Выбрать строку, нажать "редактировать", вызвать окно с формой, сохранить. При сохранении можно либо ключ из строки использовать или из меты

Есть же апдейт

В таблице, как я понял

Dmitriy
Есть же апдейт

Не, там какая-то опа была с этим DML. Не все там так просто. Кстати, а через коннектор ТАблиц разве нельзя редактирвоать?

Eugeny-Namokonov Автор вопроса
Dmitriy
В таблице, как я понял

Смотри, вот у нас было 100к строк в таблице и она умирала Мы взяли и перетащили их в бигквери, теперь в таблице у нас 0 строк, но коннектор с бигквери, который позволяет строить сводные и выгружать данные (ну видели этот новый коннектор, наверное) И вот наша задача - добавить несколько новых строк в бигквери, а потом найти несколько старых и их изменить.

Alexander Ivanov
Не, там какая-то опа была с этим DML. Не все там т...

Проблемы с апдейтом возникают, когда стримишь данные в бк. Тогда им нужно отлежаться

Eugeny-Namokonov Автор вопроса
Eugeny Namokonov
Смотри, вот у нас было 100к строк в таблице и она ...

Как скриптами это делать - понятно, я ищу юзер френдли решение для тех, кто с этим будет работать 🙂

Eugeny-Namokonov Автор вопроса
Alexander Ivanov
Не, там какая-то опа была с этим DML. Не все там т...

Через коннектор только отображение, как я понял

Eugeny Namokonov
Смотри, вот у нас было 100к строк в таблице и она ...

Кажется, моё решение с редактированием строки через выделение и форму ещё подходит

Dmitriy
Кажется, моё решение с редактированием строки чере...

Лишь бы был ключ, по которому провести апдейт

Eugeny-Namokonov Автор вопроса
Dmitriy
Кажется, моё решение с редактированием строки чере...

Ну чтобы строку редактировать, ее надо сначала выгрузить из бигквери, ведь так?

А оно точно оправдано? 100k строк?

Eugeny-Namokonov Автор вопроса
Роман Игнатов
А оно точно оправдано? 100k строк?

Количество строк будет расти, сейчас у этих ребят есть удобная система в таблицах, к которой удалось прийти, но из-за увеличения объема данных в компании все или умерло или скоро умрет Поэтому пришла идея отправить данные в бд (необязательно в бигквери) и также продолжить с этим все работать через таблицы Добавлять новые данные, иногда менять старые и строить разные отчеты, которые уже созданы и которые берут данные из кучи табличек

Eugeny Namokonov
Количество строк будет расти, сейчас у этих ребят ...

Евгений, можно написать админки листы и давать юзерам грузить данные из bq с предварительными фильтрами по времени и тд. После редактирования гнать эти данные обратно. Такое делали

Eugeny Namokonov
Количество строк будет расти, сейчас у этих ребят ...

Помнишь бота у брадобрея? Там была история с хранением данных в файле в json формате, вместо того чтобы в таблицу ходить всё время.

Eugeny-Namokonov Автор вопроса
Роман Игнатов
Помнишь бота у брадобрея? Там была история с хране...

Хранить все в json файлах, которые лежат на гугл диске и просто их редактировать? А что, как вариант. И бесплатно)

Eugeny Namokonov
Хранить все в json файлах, которые лежат на гугл д...

Нет, хранить на Диске как минимум лишнее. Но можно хранить в OS, и работа с ним не намного сложнее чем с Drive API

Eugeny Namokonov
Хранить все в json файлах, которые лежат на гугл д...

В одном zip файле с разбивкой данных на файлы по годам, месяцам. Свой коннектор писать.)

Eugeny-Namokonov Автор вопроса

Точно, я совсем забыл про этот вариант. Кажется, что 100к-200к строк как раз для таких файлов.

Зачем коннектор?

Eugeny Namokonov
Точно, я совсем забыл про этот вариант. Кажется, ч...

Ну, если у тебя гарантированные структуры, то можно не каждую запись, а все записи за день. Но это все одинаково, что через OS, что через коннектор из Таблиц

Alexander Ivanov
Зачем коннектор?

Так выразился. Сделать свой формат хранения.

Чтение с диска самый медленный способ.

Eugeny-Namokonov Автор вопроса
volond
Чтение с диска самый медленный способ.

Самый медленный это из таблицы брать данные

Eugeny Namokonov
Самый медленный это из таблицы брать данные

Не знаю но можно проверить JSON vs таблица через API

volond
Не знаю но можно проверить JSON vs таблица через A...

У него 100к строк. Там нужно специальное окружение, чтобы это быстро читать

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта