как очень простой сценарий последовательного обогащения данных. Просто сделайте несколько таблиц с разным уровнем "обогащенности" и пусть каждый скрипт берет из одной таблицы, обогащает данные и кладет в следующую.
Это тоже обдумываю. Но как быть с отделением обработанных от необработанных данных? Скажем добавили урлы. А потом пошли скачивать картинки, а какие-то не скачиваются. Их бы или удалить или пометить как-то..
Мне советавали наращивать обогащённость. Т.е. сначала таблица со столбцами, id, a, b, потом id, a, b, c, потом id, a, b, c, d. а я про другое: id, a, b id, c id, d
Обсуждают сегодня