Тестовое покрытие: разбираем по полочкам

Тестовое покрытие как основная метрика работы тестировщика

Работа команды тестировщиков, как и любого другого подразделения, нуждается в измерении объемов работы (по крайней мере, для ценообразования услуг IT-компании для заказчика). Требуется не просто количество багов (которое характеризует скорее качество разработки), а показатель для тестирования продукта в целом.

Этот показатель – тестовое покрытие. Оно оценивает, насколько продукт покрыт тестовыми процедурами. Он простой для вычисления и в то же время наглядный.

Что такое тестовое покрытие

Тестовое покрытие (Test Coverage) — это процент выполненного тестирования требований или кода от их общего объема. Например, если у нас 1000 требований, а тестами мы смогли проверить 700 из них, значит, тестовое покрытие требований составляет (700/1000)*100% = 70%. Аналогично с тестовым покрытием кода (там расчет идет через количество условий/переходов).

Тестовое покрытие – исторически один из первых показателей, установленных для оценки объемов работы тестировщиков с точки зрения продукта.

Для чего нужно

Это очень показательная метрика. С ее помощью можно:

• Рассмотреть бюджет проекта в зависимости от уровня проверки качества продукта;
• Установить цель проекта по объему тестирования;
• Также установить цель проекта по качеству (при устранении всех багов);
• Зафиксировать требования, не покрытые тест-кейсами;
• Сформировать такие тест-кейсы и чек-листы, чтобы они смогли обеспечить максимально возможное покрытие;
• Исключить из работы те тест-кейсы, которые не улучшают покрытие.

Как мы уже сказали, есть два основных вида данного показателя – требований и кода. Рассмотрим их детальнее.

Формула расчета тестового покрытия требований

Этот показатель отражает, какая доля требований была протестирована. Для того, чтобы он был более объективен, нужно, чтобы требования к ПО были атомарны (не пересекались).

Формула для расчета тестового покрытия требований:

ТПТ = (ПКТ/ОКТ)*100%,

Где ПКТ – количество покрытых тестами требований, ОКТ – общее количество требований.

Формула расчета тестового покрытие кода

Этот показатель отражает, какая доля кода была протестирована. Для того, чтобы он был более объективен, нужно определить те строки кода, которые задействованы для реализации тестовых сценариев.

Формула для расчета тестового покрытия кода:

ТПК = (ПКС/ОКС)*100%,

Где ПКС – количество покрытых тестами строк, ОКС – общее количество строк кода.

Может ли достигать 100%

В очень и очень редких случаях, когда ПО небольшое, а его качество должно быть запредельным. Вообще говоря, 100% — это идеал, к которому надо стремиться. Современное ПО настолько сложное, что достигнуть 100% практически невозможно. Если продукт имеет покрытие 80% — это считается очень хорошим показателем. 

Вообще говоря, цель по тестовому покрытию устанавливается в каждом проекте индивидуально (исходя из его специфики). 

Как можно улучшить показатель

Для этого есть несколько способов:

• Выбор правильных методик тестирования;
• Автоматизация части кейсов;
• Создание тест-кейсов на базе уже найденных дефектов;
• Анализ кода (метод серого/белого ящика).

Резюме

Тестовое покрытие – важный показатель работы тестировщиков. Он бывает двух видов: по покрытию требованиям и по покрытию кода. Этот инструмент помогает поставить цели для IT-команды и контролировать их достижение.