Сколько за раз будете забирать строк?
планируется 1 запрос - одна строка в системе будет отрабатывать таск с процессом загрузки данных в систему, в рамках которой нужно менять внешний ид на внутрений. Задачи не регулярные Может прийти одновременно от 1000 до 100000 позиций, предстоит их обработать за один присест, в общей сложности ожидаю от 1000 до 100000 запросов к бд на одну задачу по загрузке данных , может быть серия задач У меня две таблицы, одна на 35к записей, вторая на 76к извините если тупые вопросы задаю)
вся таблица поместится в 25м, 300блоков, все это будет в кэше индекс повесить и вся оптимизация
Дойдете до 35М одна таблица, 74М вторая тогда вернемся к вашему вопросу на счет nosql баз)
Если ничего не оптимизировать, и при нормально сети -- то будет одна-две тысячи запросов в секунду. То есть пара минут на весь ваш комплект -- довольно немного. Если нормально более-менее написать -- чтобы сервер эти списки брал хотя бы пачками по 100 -- то будет раз в 50 быстрее.
Обсуждают сегодня