Попарное тестирование

Pairwise testing для Quality Assurance

Попарное тестирование (Pairwise testing, All-pairs testing) – это техника тест-дизайна, в которой тест-кейсы формируются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров. Тестирование в таком случае производится методом черного ящика.

Основы метода попарного тестирования

Метод попарного тестирования базируется на гипотезе, что подавляющее большинство дефектов ПО возникает, когда взаимодействуют два входных параметра. 

Следовательно, надо проверить не все возможные комбинации параметров, а только такой набор комбинаций, в котором каждая пара параметров встретится хотя бы раз. Таким образом, техника попарного тестирования позволяет значительно сэкономить на количестве тестов.

Те тесты, которые будут закончены неуспешно, дадут информацию для анализа и дальнейшего поиска багов по принципу пестицида.

Пример использования попарного тестирования

Допустим, у нас Интернет-магазин, в котором можно купить букеты цветов (для простоты – в каждом одинаковое количество штук). Предположим, что там есть следующие входные параметры для заказа букета:

1. Цветы: Розы, Гвоздики, Ромашки (3 значения);
2. Дополнительное оформление: С оформлением, Без оформления (2 значения);
3. Выдача букета: Доставка, В офисе (2 значения);
4. Оплата: Наличные, По карте (2 значения).

Если бы мы хотели составить все возможные комбинации, то получится 3 х 2 х 2 х 2 = 24 сценария.

По методу попарного тестирования нам нужно, чтобы в наборе сценариев были все комбинации, где параметры хотя бы раз пересекутся друг с другом попарно. Здесь подойдет вот такой набор:

№	Цветы	Доп. оформление	Выдача букета	Оплата
	Розы	С оформлением	Доставка	Наличные
	Розы	Без оформления	В офисе	По карте
	Гвоздики	С оформлением	В офисе	Наличные
	Гвоздики	Без оформления	Доставка	По карте
	Ромашки	С оформлением	Доставка	По карте
	Ромашки	Без оформления	В офисе	Наличные

Проверим, например, пересечение параметров «Выдача букета» и «Оплата». Там по 2 значения, значит, они образуют 4 попарных комбинации:

1. Доставка & Наличные;
2. Доставка & По карте;
3. В офисе & Наличные;
4. В офисе & По карте.

Проверяем – все эти 4 комбинации есть в таблице, значит, мы их протестируем. Аналогично можем убедиться, что здесь присутствуют все возможные попарные комбинации и для других пар входных параметров.

Выгода от применения попарного тестирования

В вышеприведенном примере получилось, что вместо 24 сценариев нам потребуется проверить только 6, т.е. сэкономили 75% по их количеству. Если бы в параметрах были числовые значения (например, количество цветов в букете), то возможных значений и комбинаций было бы на порядки больше. Для целей попарного тестирования мы бы могли воспользоваться разбиениями на классы эквивалентности, и тогда процент экономии тестов был бы еще выше.

Отсюда вывод: чем больше параметров и их значений – тем больше экономия на количестве проверок. Это очень важно для масштаба тестового покрытия.

Есть ли инструменты для автоматизации попарного тестирования

Да. Следующие инструменты помогут автоматически рассчитать комбинации для попарного тестирования:

• PICT
• IBM FoCuS
• ACTS
• Hexawise
• Jenny
• Pairwise от Inductive AS
• VPTag

Резюме

Тестировать все возможные комбинации входных значений IT-продукта — слишком накладно. Для того, чтобы значительно уменьшить количество тестов без существенной потери качества, имеется метод попарного тестирования. Эффективно им пользоваться научат на курсах онлайн-обучения тестированию.