Привет, а ты про какой то конкретный statsd-proxy спрашиваешь? Или это общий вопрос из разряда - такие вообще есть? Как с ними жить?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  уже разобрался спрашивал про обычный из коробки у statsd
О, и как он тебе? Большие нагрузки тянет?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  как раз завтра хочу один из высоконагруженных сервисов натравить, пока одна прокся и один statsd справляются надеюсь так и будет.. не хочу заморачиваться с балансировщиком и австоскейлингом пока 180к запросов приходит
180к/сек?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  ща гляну за какой интервал, а то бегло смотрел
Когда решишь это всё начать скейлить, можешь посмотреть на вот эту штуку: https://github.com/avito-tech/bioyino. Она у нас 900 миллионов в минуту тянет (чуть чуть осталось до лярда).
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  а пардон, то 180к пакетов)) в общем мизерная пока нагрузка
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  😨 спасиб, погляжу думал только эта прокся существует
Ну это не прокся, а распределённый кластер statsd, но да, такой тоже есть и уже давольно давно.
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  у нас проблема просто изначально с перезатиранием метрик, прокся в этом помогает вопрос пока о перфоменсе не стоял, но учту
Перезатирание, это когда 2 statsd сервера отправляют разные значения агрегатов по одной и тоже же метрике?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  именно)
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  и когда две и более тачек с одинаковым хостнеймом пушут в один и тот же статсд
Да, понятно, в bioyino такого не происходит, так как там все инстансы находятся в кластере и обмениваются данными друг с другом. А результаты агрегации отправляет только выбранный по внутреннему конценсусу лидер. То есть фактически отправка данных происходит 1 раз за интервал.
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  и в кластере они гарантируют уникальность каждой полученной метрики? а то вот что у прокси есть It uses a consistent hashring to send the unique metric names to the same StatsD instances so that the aggregation works properly.
А с каким типом вы отправляете эти метрики?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  каунты очень часто годжи тоже не брезгуем
При этом названия метрик абсолютно одинаковые с обеих машин?
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  да
Это вроде шардирование, если не путаю. Т.е. если нода падает, половины метрик за период не будет.
 Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                      
                      
                        
                          Stefan
                          
                        
                      
                    
                    
                    
                    
                      Автор вопроса
                    
                    
                  ну пока с одной игрался нодой, перезапускал её, выпадала постоянно из таргета(зафлудило сильно амазоновский резолвер) метрики +- при этом шли какие-то, полностью не ослеп
Обсуждают сегодня