Ребят, привет. Работал кто-то с редактированием биг квери непосредственно из таблиц? Есть

клиенты, хочу парочку их больших таблиц перевести в бигквери, с этим проблем нет, но ищу, как научить их редактировать / добавлять конкретные строки в бигквери из удобного интерфейса (желательно из таблиц), там как обычно бухгалтеры, которым нужен простой и доступный инструмент.

Как минимум можно через таску это делать. А, вообще, в идеале, нужно сохранять пулы данных. Напрмиер, они заполняют за день Таблицу и ты ее кладешь в пул. Как она там будет хранится — дело десятое.

А, ну, и непосредственно данные не редактируются. В идеальном мире ты их положил и они такие и есть.

Ну видишь, там осложняется тем, что данные нужны всегда актуальные для других таблиц, всякие отчеты и тд

Это не про BQ. Я бы рассмотрел обычную СУБД. Или, что вообще круто, YDB или еще какую-то Cloud DB

Проблема ясна. Ты можешь перезаливать массив сколько влезет, но это самая дорогая операция в BQ. Например, замена одной ячейке в строке по середине потребует от тебя разрыва массива, замены строки и нового слияния. Такое себе. Иногда проще снести массив и залить заново.

Выбрать строку, нажать "редактировать", вызвать окно с формой, сохранить. При сохранении можно либо ключ из строки использовать или из меты

Есть же апдейт

В таблице, как я понял

Не, там какая-то опа была с этим DML. Не все там так просто. Кстати, а через коннектор ТАблиц разве нельзя редактирвоать?

Смотри, вот у нас было 100к строк в таблице и она умирала Мы взяли и перетащили их в бигквери, теперь в таблице у нас 0 строк, но коннектор с бигквери, который позволяет строить сводные и выгружать данные (ну видели этот новый коннектор, наверное) И вот наша задача - добавить несколько новых строк в бигквери, а потом найти несколько старых и их изменить.

Проблемы с апдейтом возникают, когда стримишь данные в бк. Тогда им нужно отлежаться

Как скриптами это делать - понятно, я ищу юзер френдли решение для тех, кто с этим будет работать 🙂

Через коннектор только отображение, как я понял

Кажется, моё решение с редактированием строки через выделение и форму ещё подходит

Лишь бы был ключ, по которому провести апдейт

Ну чтобы строку редактировать, ее надо сначала выгрузить из бигквери, ведь так?

А оно точно оправдано? 100k строк?

Количество строк будет расти, сейчас у этих ребят есть удобная система в таблицах, к которой удалось прийти, но из-за увеличения объема данных в компании все или умерло или скоро умрет Поэтому пришла идея отправить данные в бд (необязательно в бигквери) и также продолжить с этим все работать через таблицы Добавлять новые данные, иногда менять старые и строить разные отчеты, которые уже созданы и которые берут данные из кучи табличек

Евгений, можно написать админки листы и давать юзерам грузить данные из bq с предварительными фильтрами по времени и тд. После редактирования гнать эти данные обратно. Такое делали

Помнишь бота у брадобрея? Там была история с хранением данных в файле в json формате, вместо того чтобы в таблицу ходить всё время.

Хранить все в json файлах, которые лежат на гугл диске и просто их редактировать? А что, как вариант. И бесплатно)

Нет, хранить на Диске как минимум лишнее. Но можно хранить в OS, и работа с ним не намного сложнее чем с Drive API

В одном zip файле с разбивкой данных на файлы по годам, месяцам. Свой коннектор писать.)

Точно, я совсем забыл про этот вариант. Кажется, что 100к-200к строк как раз для таких файлов.

Зачем коннектор?

Ну, если у тебя гарантированные структуры, то можно не каждую запись, а все записи за день. Но это все одинаково, что через OS, что через коннектор из Таблиц

Так выразился. Сделать свой формат хранения.

Чтение с диска самый медленный способ.

Самый медленный это из таблицы брать данные

Не знаю но можно проверить JSON vs таблица через API

У него 100к строк. Там нужно специальное окружение, чтобы это быстро читать