unsafe с offheap связывает и с проектом tungsten. UnsafeHashedRelation это все таки на другую тему ? есть ключевые слова по которым почитать можно?
Она так называется, да, но в хипе. Я тоже спрашивал, потому что думал, что в оверхед должна пойти. Оказалось, всё правильно, есть параметр spark.memory.offHeap.enabled, когда true, тогда UnsafeRow размещаются в оверхед, иначе (default) в хипе
ok. до сенсора я эксперементировал с spark.memory.offHeap.enabled=true но преимуществ на 2.4.7 не прочуствовал, вернул в false
Обсуждают сегодня