Да, это я знаю. Я собрал в пайспарке Блум фильтр как жаба объект. Но никак не могу с ним собрать скала юдф без использования своего пакета
Я к сожалению не понимаю что это значит; пример полагаю поможет
Делаю так bloomfilter = test._jdf.stat().bloomFilter('column', 10000, 0,02) В скале я сделал так val filter = udf( (x: String) => bloomfilter.mightContains(x))
А почему нельзя сделать удф отдельно, добавить спарку жарку и вызвать из пуспарка?
У тебя так, скорее всего, удфка будет между процессами передавать кучу данных 😔
Так изи , я же говорю про рантайм
А какую задачу это решает? Думаешь, оно сильно быстрее будет, чем пуспарковский contains (или как его там)
Ну раз изи, зачем идти трудным путем
хм а зачем так? т.е. из петона вызвал жаву а потом в жаве использовать петон?
Нет в петоне блум фильтра
что значит что в скале сделано так: val filter = udf( (x: String) => bloomfilter.mightContains(x)) ?
Обсуждают сегодня