статистики в тестировании, для которой я хочу собрать материал об использовании тестовых метрик в командах тестирования. Для этого я прошу Вас поделиться информацией о том:
* какую статистику о тестировании вы собираете и анализируете на постоянной основе
* какая статистика была собрана лишь однажды, но оказалась очень полезной для понимания сути происходящего
Например:
* график найденных багов за определенный отрезок времени (неделя, месяц, квартал, год)
* график с количеством выполненных тест-кейсов
* график с количеством запущенных тест-ранов с количеством failed/success build’ов и времени выполнения каждого тест-рана
* рейтинг самых время затратных для выполнения тест-кейсов
Я буду очень благодарен каждому, кто поделится примерами графиков, которые вы создаете на основании собранных метрик тестирования. Ответ не должен быть максимально развернут или как-то аргументирован. Мне важно лишь узнать какую статистику собирают и используют на практике другие команды и какие самые популярные виды графиков, построенные на основании собранных тест данных
Ссылка на опрос: https://goo.gl/forms/a8QGMF0tO0PGfoyW2
Или вы можете дать ответ прям в этом топике: http://software-testing.ru/forum/index.php?/topic/36229-statistika-v-testirovanii/
Ответы в Telegram'e так же приветствуются
С уважением,
Евгений.
Я бы посоветовал немного перефразировать, из "использования статистики в тестировании" в сторону "использования статистики тестирования". Возможно это, конечно, только в моей голове так, но первая формулировка больше про использование статистических данных о продукте в ходе его тестирования (условный data-driven), а второе - про метрики самого тестирования как процесса. Конечно развернутое объяснение примеров проясняет всё, но тем не менее.
Если по теме: у нас сейчас автоматически собирается время прохождения тестов и ранов, багрейт на регрессии, среднее время прохождение теста. Данные этим мы, конечно же, используем примерно никак, потому что нафиг они не нужны. :)
Хм.. ну я смотрел подобный доклад, но он был больше о технической стороне вопроса. Кстати и нашёл доклад Доклад Артёма Ерошенко - расказал больше про то чем ему помогла Grafana для статистики/аналитики автотестов
Обсуждают сегодня