с таким вот сталкивался - есть жоба, которая считает бигдату, и запускается время от времени, скажем 2-3 раза в месяц. Под этой жобы - огромен. Представим, что он хочет 120Г памяти при том, что стандартные ноды кластера имеют 128Г. так вот, чего хотелось бы - когда эта жоба хочет запуститься - создавать исключительно для неё большую ноду, ранить её там, а когда она закончила - убивать большую ноду. Мне копать в сторону стандартного скейлера или есть какие-то более специализированные тулзы для такой задачи?
юзайте какой-то спарк + hdfs для таких задач - дешевле будет
Тейнты, не ?
тейнт + автоскейлинг
Обсуждают сегодня