Ну вот когда у вас local metastore ещё нужно гарантировать

что у единую версию везде используете,
трифт в этом плане стабильней,
бывают вопросы с переездом, но +/- 1 версию обычно умеет держать

были косяки совместимостью 3го местастора со 2.4 клиентом, видел даже тикеты, но вроде пофиксили уже

сама схема базы данных несколько раз уже менялась даже на второй цифре (видел накатывание некоторых политик в пределах 2.х ветки), не говоря о больших изменениях на мажорных версиях

то как политики настроить на ту кашу что в базе я вообще слабо представляю

поэтому можно ли использовать local metastore?
- да, можно, для небольших команд, где мало пользователей и малое количество систем (условно 1 спарк)
- нет, если у вас сотни пользователей и много различных систем ходит (spark, impala, presto и пару других систем ещё для заливки данных), так как в этом случае контроля никакого

Да, в спарке даже разных версий по-разному запись в таблицы метастора происходит

эту дерби бд для локального метастора грохнуть не получится так же?

дерби это embedded обычно, то есть про шаринг вообще речи не идёт