Заходит как-то разраб в бар и спрашивает: - Вот у меня

Question

Заходит как-то разраб в бар и спрашивает: - Вот у меня

есть датадог и куча хостов, хосты репортят п95, п99 и п100, из функций агрегации только среднее, максимальное, минимальное и сумма. У меня же нет особых способов приблизительно рассчитать настоящие п95 и п99 для всей системы? Или среднее мне худо-бедно скажет этот показатель? Предполагаем, что реальное распределение там условно непрерывная функция без скачков.

#metrics #programming #russian

0

20.09.2023

7 ответов

23 просмотра

Pavel Zheltouhov

я подумал еще: А с чего ты взял, что распределения непрерывны и одинаковы на каждом сервере? В общем случае, так делать нельзя из-за того, что у распределения времени обработки запросов при сбоях, как правило, поменяется форма. Появляются какие-нибудь новые горбы и тд. Все это не соответствует определению процентиля. Но ведь это же дашборд как бы SLA? Все, что можно уверенно сказать: при сбое, среднее из нескольких точно вырастает. в том числе и 95 процентиль.

0

21.09.2023

Timofey Larkin

Ну а простые арифметические манипуляции с метрикой доступны? Типа (metric - avg) ** 2? Это уже квадрат отклонения, если распределение себя "хорошо ведёт", можно в первом приближении считать его нормальным (Гауссовым). Два среднеквадратичных дадут п97.5. Провалидировать применимость подхода можно на отдельном хосте и сравнить с известными п95 и п99.

0

22.09.2023

Floppy Disk

почему среднее? имхо что то такое должно быть при реальном расчёте

0

22.09.2023

Pavel Zheltouhov

Timofey Larkin
Ну а простые арифметические манипуляции с метрикой...

Имхо, нормальное распределение наоборот редко встречается в компьютерных системах. Хотя советский стандарт и подразумевал, что только оно и останется в памяти студента (ядерщика?) Эрланга, всякие странные многомодальные и тд.

0

22.09.2023

Timofey Larkin

Pavel Zheltouhov
Имхо, нормальное распределение наоборот редко встр...

Ну, кстати, валидация по известным п95/п99 подскажет, насколько применимо нормальное распределение.

0

22.09.2023

Pavel Zheltouhov

Так-c, я решил все-таки разобраться и сляпал симулятор. Фокус действительно есть, но быстро перестает работать, сбойная группа сильно отличается. можешь далее побаловаться, если там понятно написано https://gist.github.com/pavlozt/cde4ea1c98bde9dca8791df0b5736178

0

22.09.2023

Pavel Zheltouhov · Accepted Answer

Pavel Zheltouhov

Не очень понятно, но кажется, ответ зависит от того, полностью ли случайно и равномерно распределяется трафик. Число запросов тоже записывается? Взвешенное среднее ведь можно посчитать?

0

20.09.2023

171 похожих чатов

Заходит как-то разраб в бар и спрашивает: - Вот у меня

7 ответов

Похожие вопросы