207 похожих чатов

Коллеги, помогите советом. Я перехожу из ручного тестирования в автоматизированное. Дали уже

имеющиеся автотесты API, мол, смотри как у нас сделано.
В этих автотестах сделано так. Из базы берётся текст запроса и этим стреляют в API. Полученный ответ сверяют с ответом, когда-то ранее записанным в базу.

API отвечает за создание отчётов, и есть отчёты, которые подбивают статистику за полгода-год, так и те, что формируют данные за вчера.

С одной стороны, если надо протестировать API, то, наверное, это самое простое решение.

С другой стороны, я как ручной тестировщик, помню, что такое эффект пестицида, и что для его избегания нужно постоянно варьировать тестовые данные. Тут же получается, что тестовые данные меняются хорошо если раз в полгода.
Я думаю о том что бы каждый раз при запуске автотестов данные должны бы подтягиваться из разных, не зависящих друг от друга источников, что бы формировать тестовый эталонный набор, с которым проводить сверку.

Я помню, что самые худшие автотестеры вырастают из хороших тестеров, поэтому прошу совета.

Как правильно?

2 ответов

5 просмотров

Подход описанный выше звучит вполне нормально. Особенно, если он давно применяется, то ответить на вопрос о его адекватности просто - проверьте пропущенные баги. Много их было? Пропущены они были из-за того, что данные одинаковые? Насколько сильно улучшила бы вариация данных отлов проблем?

Тимур, тоже присоединюсь с ответом. Выясните точную цель автотеста. Это было "покрыть все" или это регрессионка с целью "просто проверить, что не отвалилась функция". Сами понимаете, для разных целей будут разные наборы данных. Для последнего варианта именно тот, который вы описали - "проверить только что-то и убежать" 😊

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Насколько моя реализация Exercise 1 плохая? data MessageType = Info | Warning | Error Int deriving (Show, Eq) type TimeStamp = Int data LogMessage = LogMessage ...
= ?
10
Кстати вопрос. Проанализировав свои проекты я понял, что в наиболее ценных из них Асм использовался для организации real-time процессов (внутри DOS). А какие есть способы сего...
Alexander Morozov
18
Я не очень много работал с потоками, тут возник вопрос - если будет одновременный доступ к памяти из двух разных потоков, это само по себе приведет к ошибке?
The Bird of Hermes
25
Карта сайта