Круто, интересно, спасибо! Только возникает вопрос: зачем их запускать на каждом пулл реквесте, а не запускать периодически/постоянно отдельно и потом ассоциировать баги со старыми мерджами. Фаззер на пулл реквесте, вроде, с намного большей вероятностью найдет ошибку в коде, не связанном с этим пулл реквестом, и она будет потеряна, при этом успев напугать/раздражить автора.
1. У фазера включена агрессивная проверка запросов из новых тестов. То есть, он в первую очередь проверяет как раз то, что добавлено в PR. 2. Мы думаем, что скоро закроем все найденные проблемы, а новые в старом коде будут находиться редко: https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+is%3Aopen+label%3Afuzz
OK. А как отслеживаются несвязанные (промежуточные) фейлы в PR-ах?
Пока просто каждый фейл отсматриваем вручную.
Вот пример, где помогает агрессивный фазинг новых тестов: https://github.com/ClickHouse/ClickHouse/pull/21329
Обсуждают сегодня