1. Если уже здесь идет conditional join, то зачем его

Question

1. Если уже здесь идет conditional join, то зачем его

делать по абсолютному расстоянию, а потом ещё и последующую фильтрацию, если можно прям на этапе слияние задать условие евклидового расстояния ? 2. conditional join (как и любой другой) в любом случае изначально cross join в реляционной схеме, если я не ошибаюсь. В любом случае для каждого элемента из А нужно пройтись по каждому элементу из B (тем более, если условие функциональное, то никакой оптимизатор не поможет)

#programming #python #russian

0

05.02.2022

2 ответов

21 просмотр

Ihor Автор вопроса

Если уж прям нехватка памяти и нужно всё в pandas, то можно подробить датафрейм и распаралелить вычисления

0

05.02.2022

Ilya Shutov · Accepted Answer

хорошие вопросы. 1. можно. но не все такое могут поддержать + вычислительная нагрузка куда выше, чем два числа вычесть. 2. да нет же.. подольется только то, что проходит условие. — существенная экономия памяти и времени. а вообще есть еще внутренние оптимизации, потому что нормальный инструмент один раз на входе отсортирует элементы. вот грубая аналогия — приходите в магазин. нужны вам помидоры. лежит 10 сортов. сначала определились что подходит по отношению цена/качество, потом идете к конкретному лотку и там выбираете подходящие.

169 похожих чатов

1. Если уже здесь идет conditional join, то зачем его

2 ответов

Похожие вопросы