Мы щас о чем спорим? я нить разговора потерял. Что

Question

DotNetRuChat

Тимур Гарифулин

Мы щас о чем спорим? я нить разговора потерял. Что

я запрашиваю не разом всю инфу, а по чуть-чуть?
Ответ - жирные сущности, коллекция во много-много гб.

#backend #dot #programming #russian

0

16.06.2023

8 ответов

34 просмотра

Dmitriy Bobrovskiy

Ну, тут стоит тогда посмотреть в сторону подхода исполнения OAsyncEnumerable. Кстати, 50 тасков ровно столько же говна в память нальют, сколько и один запрос, если что.

0

16.06.2023

Тимур Гарифулин Автор вопроса

Oleg Safonov
Не спорим, пытаемся понять, какая проблема изначал...

Ок, я понял. Фича предназначена для огромного количества Loan. Настолько огромного, что подгрузить все сразу и держать в памяти - не вариант. Тем более логика там довольно сложная, куча всякой вложенности. Я вот сразу с легкостью не скажу, а какие данные мне понадобятся для всей этой обработки. То что я заинклудил только 2 сущности - это я только благодаря ошибкам понял, какие надо.

0

16.06.2023

Dmitriy Bobrovskiy

Тимур Гарифулин
Ок, я понял. Фича предназначена для огромного кол...

Ваша проблема в том, что 1) изначально база плохо спроектирована, 2) Вы зачем-то пытаетесь всё равно тащить весь набор данных в память, хотя и многими запросами, что тоже явно бессмысленно - памяти не хватит, 3) Вы не пытаетесь разбить данные на блоки и обрабатывать каждый блок отдельно.

0

16.06.2023

Michael Snytko

Dmitriy Bobrovskiy
Ваша проблема в том, что 1) изначально база плохо...

докинуть памяти и все пучком

0

16.06.2023

Тимур Гарифулин Автор вопроса

Dmitriy Bobrovskiy
Ваша проблема в том, что 1) изначально база плохо...

Хорошо, подумаю над тем, как эти данные выделить в блоки

0

16.06.2023