Гайс, есть табличка небольшая, нужно вытащить около 3.5кк записей (это

Question

Гайс, есть табличка небольшая, нужно вытащить около 3.5кк записей (это

где-то за 3 месяца). Потом там про суммировать одно поле.
Так вот, я попробовал через LazyCollection, через query chunk разбивал по 1к записей, запрос выполнялся где-то 2-3 часа и в итоге упало с ошибкой коллекции, говорит мол памяти не хватает. Как быть?)

#backend #laravel #php #programming #russian

0

20.08.2021

11 ответов

10 просмотров

Даниил

so easy

0

20.08.2021

ᴅᴍɪᴛʀʏ ᴇᴠɢᴇɴɪᴇᴠɪᴄʜ Автор вопроса

там группировку сложную сначала надо сделать, потом считать сумму

0

20.08.2021

Daniil Zobov

есть несколько вариантов: 1) один или несколько view из нужных тебе таблиц на чистом SQL, где отобразишь только нужные тебе данные для группировки, затем запрос к этому view и считай. Это явно быстро. 2) построчно - долго и геморройно и все равно придется за памятью следить

0

20.08.2021

Maxx

а без Collection, через $query->cursor() — никак?

0

20.08.2021

Niko Las

Память не от этого течëт скорее всего. А от того, что результат в памяти держится.

0

20.08.2021

Yushkevich Vitaly

+ Можно ещё через map reduce обсчитывать данные на чанках. Но это все про «костыли обработки olap данных на oltp таблицах»

0

20.08.2021

Egor Gruzdev

курсор не спасет от перегруза базы и объедания памяти не на стороне php, а драйвера который заберет данные из базы (приэтом сожрав память сервера), а потом дозировано будет отдавать в php

0

20.08.2021

Maxx

эмм... это какой драйвер так делает? о.О хочу узнать, чтобы выпилить везде, куда руки доходят =)

0

20.08.2021

Egor Gruzdev

cursor в любом случае заберет все данные что база отдала, сохранит их на уровне драйвера, который взаимодействует между php и базой (например mysqlnd или pdo_mysql), а потом начнет построчно отдавать в php и создавать модели, потому и очень нужно аккуратно, в документации даже сноска есть по этой части.

0

20.08.2021

Maxx

эх, так и не нашёл, в PDO для какой СУБД происходит подобное кэширование. если в каком-нибудь Informix или Firebird — пускай, не жалко =) порылся в общем коде — https://github.com/php/php-src/tree/master/ext/pdo — тоже ничего подобного не нарыл. наверное плохо смотрел.

0

20.08.2021

Павел Ланчев · Accepted Answer

Павел Ланчев

а зачем тащить все 3,5кк записей? sum(column) не подойдёт ?

0

20.08.2021

170 похожих чатов

Гайс, есть табличка небольшая, нужно вытащить около 3.5кк записей (это

11 ответов

Похожие вопросы