что с данными что-то не так? Не правильный тип поля, например. Как решаете?
впрочем это касается не только php
У нас несколько ETL, в самом простом виде пишем в tsv заливаем, без особой проверки - данные не критичные и их потеря допустима. Другой etl - читает protobuf данные, потом преобразует в RowBinary У них всех есть очередь в простом варианте две папки - "ожидают" и "обработанные" - перемещение из одной в другую после успешной загрузки, если происходит ошибка то руками можно поправить и перезалить. Использование формата типа protobuf - решает проблему формата полей и структуры данных, позволяет версионность.
Вариант 1. Удаление таблицы и заливка данных заново Вариант 2. Deattach "битых" данных и заливка их заново
Обсуждают сегодня