208 похожих чатов

Всем привет. Есть проблема - при большой выборке (порядка 15 тыс

строк из таблиц пользователей) делаю много доп запросов на сбор статистики по этим пользователям из других таблиц. Делаю сбор данных, но процесс крэшится.
Логов нигде нет, пробовал делать выборку по оффсетам и лимитам в цикле - то же самое.
В инспекторе памяти mysqld занимает в какой-то момент весь тред, и потом просто рушится процесс.
Никто с такой ерундой не сталкивался?
Задача простая - сделать выборку пользователей и информации из связанных таблиц в highload блоках.
Но такая простая задача просто крешится. На гридах информация выводится (дублриую ее туда) но там есть оффсет и лимит и все записи выбирать не нужно.

15 ответов

30 просмотров

Т.е. даже одного пользователя не можете выбрать с нужными данными?

Евгений-Семашко JDPlex Автор вопроса
Антон (code-pilots)
Т.е. даже одного пользователя не можете выбрать с ...

Да нет, выбираются. Где-то рандомно просто крашится все.

может его система убивает потому что он много оперы начинает жрать, тогда смотри в логах системы, а не логах mysql, потому что в логах mysql ты тупо увидиш рестарт

Евгений Семашко JDPlex
Да нет, выбираются. Где-то рандомно просто крашитс...

вот как было однажды у меня при попытке сфинксом проиндексить очень большую таблицу

В смысле вы 15 тыс записей выгребаете, а потом по ним запросы делаете? А как именно делаете?

Евгений-Семашко JDPlex Автор вопроса
Eugene Zhukov
В смысле вы 15 тыс записей выгребаете, а потом по ...

По каждому юзер айди делаю ещё 3 запроса. Потом собираю все в массив.

Евгений Семашко JDPlex
По каждому юзер айди делаю ещё 3 запроса. Потом со...

У меня все нормально было. Я писал пошаговый перенос данных. Выгрузка всех юзеров со всей инфой, выгрузка всех таблиц заказов, доставок, оплат и пр. Ни разу не упал. Может на хостинге лимит для mysql очень низкий?

Евгений Семашко JDPlex
По каждому юзер айди делаю ещё 3 запроса. Потом со...

я бы на месте сервера не просто упал, а принципиально подниматься не стал. ну почему каждый раз одно и то же? соберите ID-ники в массив, затем разбейте на страницы по 500 и выполняйте запрос для всей страницы

Евгений-Семашко JDPlex Автор вопроса
Eugene Zhukov
я бы на месте сервера не просто упал, а принципиал...

Да, не, там проблема не совсем в этом, но в плане оптимизации да. Код просто пока без изменений перенёс.

Eugene Zhukov
я бы на месте сервера не просто упал, а принципиал...

страницы намного тяжелее по шагам разбивать, а можно и не попасть в таймаут.

Eugene Zhukov
я не говорил о пошаговке

человек же выгружает 15к юзеров с кучей доп инфы, там хоть как по шагам придется

Антон (code-pilots)
человек же выгружает 15к юзеров с кучей доп инфы, ...

а я о том, как убить сервер за хит даже при использовании пошаговки. Посмотрите метод \Bitrix\Iblock\Component\Base::loadPrices - поймете, о каких я страницах

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта