2000 элементов полученное значение отличается от того, что рассчитывает Эксель уже в первом знаке после запятой.
Посчитал по самой известной формуле: сложил все значения и разделил на количество, но все равно видна разница.
Есть идеи в чем может быть проблема?
а какая точность у BigDecimal?
Ну и по второму моему вопросу явное указание точности на BigDecimal учавствующих в операциях деления помогло добиться нужного результата: int CALC_SCALE = 12; prev.getAvg().setScale(CALC_SCALE, HALF_UP); По спеке scale BigDecimal будет таким, сколько значений после запятой у него присутствует после создания объекта. В моем случае не больше 4 было, а обычно 2 и меньше, потому и набегала разница.
Обсуждают сегодня