Всем привет, имеется проект в котором идут небольшое кол-во паралельных

запросов в 1 таблицу, заметил что при каждой выборке запрос работает все медленней и медленней, может подсказать в какую сторону копать?

Это сказки, тебе надо просто разобраться с запросами со скоростью их выполнения по одному. Найди запрос который тебя не устраивает по времени и присылай его текст а также ddl таблиц которые участвуют в запросе Ну и в конце вопрос Что тебя не устраивает Почему и описание

Запрос в некотором роде простой, у нас есть таблица брендов (в ней 19 759 262 записей), запрос идет такого рода: SELECT id, name, FROM brands WHERE name IN (тут может быть до 10тыс элементов) AND platfrom_id = ? DDL таблицы: create table brands ( id int unsigned auto_increment primary key, name varchar(255) not null, url text null, created_at timestamp null, updated_at timestamp null, external_id bigint unsigned null, platform_id int unsigned null ) collate = utf8mb4_unicode_ci; create index brand_name on brands (name); create index brands_external_id_index on brands (platform_id, external_id); create index brands_id_index on brands (id); create fulltext index brands_name_index on brands (name);

Ну это херовый запрос. Если у тебя в ин 10.000 записей твой запрос будет возвращать примерно 10.000 записей. Это никому не нужно соответственно тебе надо выбросить этот запрос и писать другой Запрос который бы выбирал те данные которые реально нужны пользователю по реальным критериям поиска

Проблема в том что это идет импорт товаров раз в 24 часа, мне дается файлик где 10тыс строк, где просто названиями указано названия бренда, для правильной связи мне нужно находить идентификатор который есть в базе, если есть советы как сделать правильней, то подскажи)

Ну и нужного индекса у тебя нет для этого запроса нужен индекс name, платформа ID

Если это импорт товаров Ничего страшного что там он будет долгим этот запрос а быстрым он не будет потому что 10.000 записей

Если тебе нужно находить какие-то связи - это джоин, Но у тебя его нету в запросе поэтому я тебе ничего сказать про это не могу Я ничего не понял

Грубо говоря, у меня есть файл, в котором содержаться характеристики товаров, например возьмем бренд, в самом файле он имеет строковое значение, для того чтобы мне импортировать товар, мне нужно переставить строку на идентификатор бренда, из-за этого я выбираю сразу 10тыс, пробовал делать по 250, но результат все тот-же

почему сначала не импортировать сырые данные без обработки во временные таблицы .. а потом уже выполнять доб обработку ?

Если что ,я опять тут ничего не понял

Так там нету пока никакой дополнительной обработки

Грубо говоря дополнительная обработка, это поиск по имени бренда и перестановка его на идентификатор бренда

Ну покажи запрос и таблицы тогда будем обсуждать

у него явно есть ... он сначала берет данные их файла . .потом лепит их в запрос в IN и фигачит этот километроый запрос в БД .. и потом уже данные оттуда использует дальше

Да, так и происходит, а какой вариант предлагаете вы?

Я предлагаю чтобы мы не гадали Что там у тебя происходит Ты должен прислать эти запросы и описание таблиц

Так вот же я скидывал) Или что-то другое нужно?

уже предложили .. не IN а JOIN и отделить загрузку от обработки

JOIN на название бренда?

да всё на тот же name

Тогда Расскажи что это за запрос и для чего он используется Вот тут ты писал всякое Грубо говоря, у меня есть файл, в котором содержаться характеристики товаров, например возьмем бренд, в самом файле он имеет строковое значение, для того чтобы мне импортировать товар, мне нужно переставить строку на идентификатор бренда, из-за этого я выбираю сразу 10тыс, пробовал делать по 250, но результат все тот-же Тут никакого поиска бренда по имени и пацановке его идентификатора нет

Мне приходит файл, который содержит продукты. Я пробегаю по этому файлу и собираю названия брендов После того как я полностью пробежался по всем товара в файле, то я отправляю запрос SELECT id FROM brands WHERE name IN (тут может быть до 10тыс названия) AND platform_id = ? Это мне нужно для того чтобы потом в другую таблицу products, записать продукт с идентификатором бренда

Но бренды же В каждой строчке разные...

Не всегда, могут быть одинаковые бренды у разных товаров, по этому я отправляю только уникальные названия

Ну хорошо Почему бы не залить весь файл товаров в базу данных например во временную таблицу и затем уже с ним в этой таблице разбираться искать бренды и всё такое

Вот до этого я не додумался) Звучит как хороший вариант, просто хотел услышать и другие методы решения для текущей задачи, но на ум пришла только пихать все названия в запрос

Попробуй идти от >> Это мне нужно для того чтобы потом в другую таблицу products, записать продукт с идентификатором бренда Чего именно не хватает для этой операции, и почему ее (информации) нет во входном файле