207 похожих чатов

Коллеги, помогите советом. Я перехожу из ручного тестирования в автоматизированное. Дали уже

имеющиеся автотесты API, мол, смотри как у нас сделано.
В этих автотестах сделано так. Из базы берётся текст запроса и этим стреляют в API. Полученный ответ сверяют с ответом, когда-то ранее записанным в базу.

API отвечает за создание отчётов, и есть отчёты, которые подбивают статистику за полгода-год, так и те, что формируют данные за вчера.

С одной стороны, если надо протестировать API, то, наверное, это самое простое решение.

С другой стороны, я как ручной тестировщик, помню, что такое эффект пестицида, и что для его избегания нужно постоянно варьировать тестовые данные. Тут же получается, что тестовые данные меняются хорошо если раз в полгода.
Я думаю о том что бы каждый раз при запуске автотестов данные должны бы подтягиваться из разных, не зависящих друг от друга источников, что бы формировать тестовый эталонный набор, с которым проводить сверку.

Я помню, что самые худшие автотестеры вырастают из хороших тестеров, поэтому прошу совета.

Как правильно?

2 ответов

15 просмотров

Подход описанный выше звучит вполне нормально. Особенно, если он давно применяется, то ответить на вопрос о его адекватности просто - проверьте пропущенные баги. Много их было? Пропущены они были из-за того, что данные одинаковые? Насколько сильно улучшила бы вариация данных отлов проблем?

Тимур, тоже присоединюсь с ответом. Выясните точную цель автотеста. Это было "покрыть все" или это регрессионка с целью "просто проверить, что не отвалилась функция". Сами понимаете, для разных целей будут разные наборы данных. Для последнего варианта именно тот, который вы описали - "проверить только что-то и убежать" 😊

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта