Наверное не получать 50к записей за раз?

22 ответов

24 просмотра

да это раз в сутки для пересчета, на джаве драйвере все ок отрабатывает

разве это какая-то проблема может быть? это же мало

dnacd 🦜
интересно просто

например процедура, которая пару миллионов строк перекладывает из монго куда-нибудь 5 раз в день

Константин Шапран
например процедура, которая пару миллионов строк п...

так лучше всё равно порционно это делать, а не всё сразу

dnacd 🦜
так лучше всё равно порционно это делать, а не всё...

это единственный способ, т.к. иначе все 2млн будут в памяти, а это мало какая память переживет

Константин Шапран
это единственный способ, т.к. иначе все 2млн будут...

ну вот. тогда и вопрос, зачем сразу 50к записей, если для пересчёта всех записей, то существуют другие методы, чем вытаскивать с бд 50к записей просто так

dnacd 🦜
ну вот. тогда и вопрос, зачем сразу 50к записей, ...

50к это мало. что значит другие методы, кроме как вытаскивать данные из бд?)

Константин Шапран
50к это мало. что значит другие методы, кроме как ...

ну для пересчета существует db.collection.count если я правильно понял слово "пересчёт"

dnacd 🦜
ну для пересчета существует db.collection.count ес...

где я его использовал?) для получения кол-ва строк конечно тупо все строки качать

Константин Шапран
где я его использовал?) для получения кол-ва строк...

не ты, просто человек выше сказал, что ему надо 50к записей для пересчета раз в день, вот я и интересуюсь ибо сам в монге новоиспечённый +- )

dnacd 🦜
не ты, просто человек выше сказал, что ему надо 50...

конечно тут не имелось ввиду получать кол-во записей))

Константин Шапран
где я его использовал?) для получения кол-ва строк...

не для подсчета количества, там ещё js код который их обрабатывает, для пересчета я бы count юзал) но вот проблема что count тоже 1к возвращает)

Nick
Проверяйте условие выборки

да первым делом проверил, все ок

Антон
screenshot да первым делом проверил, все ок

Так каунт значит нормально возвращает. Остается только то как обходите результат в цикле

Nick
Так каунт значит нормально возвращает. Остается то...

это скрин с драйвера на джаве, там все ок, а если через нативный на js то максимум 1к

Антон
это скрин с драйвера на джаве, там все ок, а если ...

Тогда не путайте, на лицо то что условия разные или базы разные. Уберите условие выборки и оставьте просто find() и проверьте будет ли проблема

Nick
Тогда не путайте, на лицо то что условия разные ил...

блин сорян) оказалось что в env другая бд была) проверил на основной все окей) 5сек для выборки и подсчета

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
1. https://www.kaggle.com/code/ahmadrezagholami2001/housing-estimation-linear-regression 2. https://www.kaggle.com/code/ahmadrezagholami2001/uncovering-quality-in-wines-logis...
Ahmadreza
1
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Карта сайта