[ISTQB] 제4장 테스트 기법 (2)

 

4.3 화이트박스 테스트 기법

-테스트 대상의 내부 구조를 기반으로 하는 테스팅 기법이다.

-모든 테스트 레벨에서 적용할 수 있지만, 아래의 두 가지 코드 관련 기법은 단위 테스트 레벨에서 가장 일반적으로 사용된다.

​

​

4.3.1 구문 테스팅과 커버리지

구문 테스팅은 잠재적으로 실행 가능한 구문을 실행

​

 

​

4.3.2 결정 테스팅과 커버리지

- 결정 테스팅은 코드에 존재하는 결정문을 실행하고, 결정문의 결과에 따라 실행되는 코드를 테스트한다.

- 결정문에서 시작되는 제어 흐름을 따라 실행

(ex. IF문에서 결과가 참인 경우와 거짓인 경우; CASE문에서 가능한 모든 결과)

​

​

 

4.3.3 구문 및 결정 테스팅의 가치

​

100% 구문 커버리지

- 코드에 존재하는 모든 실행 가능한 구문을 최소한 한 번씩은 테스트했다는 것

- 모든 결정 로직을 테스트했다는 것을 보장하지는 않음

- 구문 커버리지는 실행되지 않은 코드의 결함을 찾는데 유용

- 조건에 상관없이 문장을 한번씩만 실행하면 됨

​

100% 결정 커버리지

- 결과 참인 경우와 거짓인 경우를 포함한 모든 결정 결과가 실행되었다는 것

- 명확한 거짓 구문이 명시되지 않은 경우도 포함 (IF문에 else 문이 없는 경우)

- 결정 커버리지는 참과 거짓 결과 모두를 테스트하지 않은 코드의 결함을 찾는데 유용

- 조건의 조합과 상관없이 분기문의 참/거짓을 한번씩만 실행하면됨

​

=> 100%결정 커버리지는 100%구문 커버리지를 보장한다. (반대는 성립하지 않음)

​

​

​

​

💡 커버리지에 대한 설명

ㄴ 커버리지를 높이면 결함이 줄어들어 품질이 높아짐

ㄴ 리스크를 반영해 커버리지를 높이면 테스트의 완성도가 높아짐

ㄴ 커버리지는 어떤 커버리지인지 명시해 주지 않으면 의미가 없음

ㄴ 테스트케이스의 수를 늘린다고 커버리지를 높일 수 있는 것은 아님

​

💡 커버리지 간 강도/포함관계

경로 커버리지 > 다중 조건 커버리지 > 변경 조건/결정 커버리지 > 조건/결정 커버리지 > 조건 커버리지 > 결정(분기) 커버리지 > 구문 커버리지

=> 조건 커버리지가 결정 커버리지 보다 강도는 세지만, 둘 사이의 포함관계가 없다.

=> 커버리지의 목표 수치를 제시하는 국제 표준은 없다.

 

커버리지 포함 관계

​

​

​

💡 코드 커버리지란?

- SW코드의 어떤 부분이 실행됐고 어떤 부분이 실행되지 않았는지 결정하는 분석 기법이다.

- 구문 커버리지, 결정 커버리지, 조건 커버리지, 다중 조건 커버리지, 경로 커버리지 등이 포함된다.

- 경로 커버리지는 100%달성이 불가능 하다

​

💡 결정 커버리지(DC)와 조건/결정 커버리지(C/DC) 100%를 달성하는 TC 수는?

일반적으로 같다. (개별 조건이 and/or로 묶여있지 않은 경우)

​

💡 순환 복잡도(싸이클로메틱 복잡도) : 코드의 복잡성, 기본 경로의 개수를 의미한다.

ㄴ 분기분 + 1

ㄴ 엣지 - 노드 + 2P (P: 흐름이 끊긴 부분의 수)

ㄴ 순환 복잡도가 3~7일때, 잘 구조화된 프로그램

​

💡 제어 흐름 테스팅

ㄴ 100% 결정 커버리지를 달성할 수 있다.

ㄴ 결정 포인트 간의 논리 흐름을 고려함

ㄴ 결정 포인트 내부의 조건은 고려하지 않음/결정커버리지만 관심있음

​

💡 조건 커버리지 : 개별 조건의 참/거짓

💡 결정 커버리지 : 전체 조건의 참/거짓

💡 조건/결정 커버리지 : 개별 조건 + 전체 조건의 참/거짓

​

💡 MC/DC 커버리지의 최소 TC 수 : 개별 조건식 + 1

​

​​

 

---

 

​

4.4 경험 기반 테스트 기법

- 해당 기법을 적용하는 경우, TC는 테스터의 기술 역향, 직관, 유사 애플리케이션에 대한 경험을 기반으로 도출

- 체계적인 다른 기법으로는 쉽게 찾아내기 어려운 테스트를 식별하는 데 도움

- 이 기법으로 달성하는 커버리지와 효과성은 다양하게 나타난다.

- 커버리지를 평가하기 어려울 수 있으며 측정이 불가능할 수도 있다.

​

​

4.4.1 오류 추정

(1) 애플리케이션의 과거 동작

(2) 발생하기 쉬운 오류의 유형

(3) 다른 애플리케이션에서 발생한 장애

등을 포함한 테스터의 지식을 기반으로 오류, 결함 및 장애를 예측한다.

- 발생가능한 오류 목록을 작성하고, 그것의 원이 되는 결함을 발생시키는 테스트를 설계한다.

​

​

​

4.4.2 탐색적 테스팅

- 비공식 테스트를 테스트 실행 중에 동적으로 설계, 실행, 기록하고 평가한다.

- 때로는 세션 기반 테스팅을 사용하여 활동을 구성 > 탐색적 테스팅을 정해진 시한(time-box)동안 수행하며, 테스트 차터를 활용해 방향을 설정한다.

- 명세가 충분하지 않거나 적은 경우, 테스팅에 시간적 압박이 있을 때, 공식적인 테스팅 기법을 보완 하는데 유용하다.

- 다른 기법과 통합하여 사용할 수 있다.

​

​

​

​

4.4.3 체크리스트 기반 테스팅

- 체크리스트에 기록된 테스트 컨디션을 커버하기 위해 테스터가 테스트를 설계, 구현, 실행한다.

- 사용자에게 무엇이 중요한지에 대한 지식 또는 소프트웨어가 실패하는 이유와 방법에 대한 이해를 기반으로 작성

- 다양한 테스트 유형을 지원하기 위해 작성할 수 있음

(ex. 구체적인 TC가 없는 경우, 대략적인 지침과 일관성을 제공)

​

​

​

​

​

​

​

💡 분류 트리 기법

ㄴ 명세가 거의 없는 경우, 시스템을 트리 형태로 분석하고 경험적으로 TC를 도출

ㄴ 경험 기반 테스트 설계 기법

ㄴ 블랙박스 형태로 테스팅이 이루어지며, 명세를 근거로 작성할 수 있지만, 비공식적인 기법이다.

ㄴ 안전 우선 시스템이나 애플리케이션의 일부 또는 전체를 테스팅하는데 적합

​

​

💡 탐색적 테스팅

ㄴ 대체로 정해진 시간에 수행 (시간 촉박할 때 사용하므로)

ㄴ 테스트 차터(charter)를 기반으로 수행

ㄴ 문서화를 최소화 하여 수행

ㄴ 애드혹(ad-hoc)테스팅과 유사한 개념이지만, 주어진 임무/목표/결과물이 있다는 점에서 다름

ㄴ 기본적인 형식과 절차가 있음

ㄴ 직관을 중요하게 여김

ㄴ 세션 종료 후 팀원끼리 회고하는 자리를 갖는다. (이슈 보고, 경험 공유)

ㄴ 탐색적 테스팅은 테스트 걸꼐 기법으로 분류하지 않는다.

ㄴ 휴리스틱한 테스트 접근법

​

💡 비기능 품질 특성 : 신뢰성, 사용성, 효율성, 유지보수성, 이식성, 기능성

​

💡 체크리스트 (checklist)

ㄴ 테스트하고 평가해야 할 내용과 경험을 분류해 나열해 놓은 것

ㄴ 체크리스트와 테스트케이스를 구분하는 기준 중 하나는 '보장성(Coverage)' 제공 여부로 볼 수 있다.

​

* 테스트 설계 기법을 선택하는 기준 : 리스크 레벨(risk level)​

​

---

[심화]

​

* SoS(System. of System)

ㄴ 대규모 시스템 통합, 여러 개발사가 제공하는 시스템을 통합, 10개이상의 고객사..

 

* SoS에서 요구사항 누락 방지를 위해 => 테스트 전략 수립 과정, 조기 테스팅, 개발 초기부터, 요구 사항 정의 시 테스트 시나리오 도출 의 방식을 활용해야 한다.

​

* 콜랩스드 결정 테이블(collapsed dicision table), 논콜랩스드 결정 테이블(non-collapsed dicision table)

예제 조건)

1) 건강 검진을 받겠다고 답변한 사람은 2만 5천원 할인

2) 4가지 건강 검진(BMI, 혈압, 글루코스, 콜레스테롤) 중 한 가지 라도 받는 경우 2만 5천원 추가할인

3) 4가지를 모두 받으면 6만원 할인

- 콜랩스드 결정 테이블 : 진단을 받겠다고 답변하고 4가지 건강검진 중 한가지를 받음 (4가지) + 진단을 받겠다고 하고 받지 않음 (1가지) + 진단을 받지 않음 (1가지) = 총 6가지

- 논콜랩스드 결정 테이블 : 진단을 받지 않은 경우(1가지) + 진단을 받고, 4가지 검진 중 1개 이상 받는 경우(16가지) = 총 17가지

(개념을 잘 모르겠다.. 이해가 안된다...ㅜㅜ)

​

* 1-와이즈 커버리지를 100% 달성하기 => 모든 값을 최소 한번씩만 커버하는 테스트케이스를 만들면 된다.

​

* '결함 기반 테스트 설계 기법'의 토대는 기존 발견한 결함을 분류하고 분석하는 것이다.

​

* 코드 유지보수성 개선 기준

- 순환복잡도 : CC >= 10

- 응집도 : CH == low

- 결합도 : CP == high

- 주석률 : CO <= 10

- 중복코드 : RE >= 9

​

 

 

---

Reference

https://m.blog.naver.com/PostList.naver?blogId=jing_new_&tab=1