170 похожих чатов

Мы щас о чем спорим? я нить разговора потерял. Что

я запрашиваю не разом всю инфу, а по чуть-чуть?
Ответ - жирные сущности, коллекция во много-много гб.

8 ответов

20 просмотров

Не спорим, пытаемся понять, какая проблема изначально. Текущее решение (которое выглядит как костыль, имхо) достаточно шаткое и как видим ненадёжное.

Ну, тут стоит тогда посмотреть в сторону подхода исполнения OAsyncEnumerable. Кстати, 50 тасков ровно столько же говна в память нальют, сколько и один запрос, если что.

Тимур-Гарифулин Автор вопроса
Oleg Safonov
Не спорим, пытаемся понять, какая проблема изначал...

Ок, я понял. Фича предназначена для огромного количества Loan. Настолько огромного, что подгрузить все сразу и держать в памяти - не вариант. Тем более логика там довольно сложная, куча всякой вложенности. Я вот сразу с легкостью не скажу, а какие данные мне понадобятся для всей этой обработки. То что я заинклудил только 2 сущности - это я только благодаря ошибкам понял, какие надо.

Тимур Гарифулин
Ок, я понял. Фича предназначена для огромного кол...

Ваша проблема в том, что 1) изначально база плохо спроектирована, 2) Вы зачем-то пытаетесь всё равно тащить весь набор данных в память, хотя и многими запросами, что тоже явно бессмысленно - памяти не хватит, 3) Вы не пытаетесь разбить данные на блоки и обрабатывать каждый блок отдельно.

Тимур-Гарифулин Автор вопроса
Dmitriy Bobrovskiy
Ваша проблема в том, что 1) изначально база плохо...

Хорошо, подумаю над тем, как эти данные выделить в блоки

Тимур-Гарифулин Автор вопроса
Dmitriy Bobrovskiy
Ваша проблема в том, что 1) изначально база плохо...

А я кстати не очень понимаю 2-й пункт. Почему я пытаюсь тащить весь набор данных? мне кажется, что я подтягиваю только то, что нужно.

Тимур Гарифулин
А я кстати не очень понимаю 2-й пункт. Почему я пы...

Если Вам надо достать и обработать N записей, то что N записей достать, что N = K*M записей параллельно - однохуйственно.

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Доброе утро! Не совсем понятно как установить счетчик яндекс метрики на сайт. И потом ещё цели проставить?
Евгения
18
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Кто-нибудь знает, как считается нагрузка на цпу? И что такое вообще "нагрузка на цпу"? вот, например, есть у цпу какой-то clock, настроенный на 3 ГГц --- Что значит "нагрузка...
Toideng
15
Можно ли написать свою библиотеку "socket" на каком либо языке ассемблера с нуля не используя сишние библиотеки ? Или это самоубийство ?
123🪐
15
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
PopOs or Linux Mint for a noob starter? Also do you have any articles on how to safely dual boot Windows 10 alongside it? I've heard there are a bunch problems that can occur...
Senator
16
Карта сайта