애플리케이션 품질 최적화 솔루션:
HP Quality Center
2009.06
HP BTO 솔루션 사업
㈜엔씨아이
TEL : 02-2638-7688 fAX : 02-2638-7687
www.ncicom.co.kr
HP Software offering
Business outcomes
STRATEGY
APPLICATIONS
OPERATIONS
Demand and portfolio
management
Quality Assurance
Business service management
Project and Portfolio
Management Center
Quality Center
Business Availability Center
CIO office
ITSM
SOA transformation
Performance validation
SOA Center
Performance Center
CTO office
SAP, Oracle, SOA, J2EE, .NET
-2-
Service Management
Center
Change and
Configuration Center
Service-driven operations
Operations
Center
Network Mgmt.
Center
Quality Center within the SDLC
Where HP AD solutions fit in the SDLC
DEVELOP
DESIGN
Business
Requirements
Development
/ Coding
Testing
Requirements
Unit
Testing
Develop Use and
Test Cases
QUALITY CENTER
TEST
System / Integration
UAT
Performance
Testing
Tuning
GO
NO-GO
PERFORMANCE
CENTER
IT GOVERNANCE CENTER
- Process supported by HP Optimization Centers
- Process supported by HP Quality Centers
MANAGE
LAUNCH
Manage
SLAs
Monitor
User Performance
Provide
Diagnostics
Align IT to the
Business
BUSINESS
AVAILABILITY CENTER
HP Quality Center
HP Quality Center™
Dashboard
TestDirector
요구관리 사항
시험계획
시험수행
기능시험
QuickTest
Professional
결함관리
확장SAP, SOA
비즈니스 프로세스 테스팅
WinRunner
Accelerators for SAP, Oracle, 보안
Service Test
Foundation
데이터 리포지터리 공유
워크플로우
중앙 집중화 관리
오픈 API
Foundation
Managed Services
결함
내부구축
Test Management 솔루션:
TestDirector
HP Quality Center
HP Quality Center™
Dashboard
TestDirector
Requirements
Management
Test Plan
Test Lab
Functional Testing
QuickTest Professional
Defect
Management
Business Process Testing
Accelerators for SAP, Oracle, Security
WinRunner
Foundation
Shared Data Repository
Central Administration
Workflows
Open APIs
Delivery Options
HP Managed Services
Combination
In-house Deployment
반복적인 품질 관리 프로세스
TestDirector는 품질관리 프로세스에 대한 효율적인 관리를 통해 프로젝트 적용 및
변경 적용에 대한 리스크를 최소화합니다.
PMO와 정렬
요구사항 관리
비지니스
요구사항
테스트
요구사항
품질 최적화
테스트케이스
작성 및 자동화
테스트
시나리오
실행
Defects
테스트
전략
Use Case
정의
테스트 계획
성능 최적화
Performance
Test
Issues
테스트 분석
결함 보고
Diagnose
Problems
설계 & 개발
품질 관리 저장소
Test Director
for Quality Center


모든 테스트 자산 관리의 중심
품질 프로세스를 위한 조직 및 구성
운영단과 연결
요구사항과 연계
Go
No-Go
품질 관리
Quality Management – 표준 테스트 공정 관리
• 특징
Managemen
t
QA Team
-표준화된 글로벌(Global) 테스트 공정 관리 솔루션
-웹 기반 테스트 관리 솔루션
-테스트 관리 데이터베이스로 품질 정보의 실시간
공유 및 재사용
• 주요기능
PMO
Development
-테스트 요구사항 관리(Requirement Tab)
-테스트 케이스 설계 및 스크립트 관리 (Test Plan
Tab)
-테스트 실행 및 결과 관리 (Test Lab Tab)
-버그 및 결함 관리 (Defect Tab)
-위 각 단계 별 표준 보고서 및 공정 분석 기능
-Requirement , Test Case, Test Result, Defect 간의
상호 연관성 및 커버리지 분석
Quality Management – QA 프로세스 전 공정에 대한
표준화된 프로세스 제공
• 요구사항 관리
– 분석/설계 시 비즈니스 요건정의에서 테스트 요구사항 정의 => 테스트 계획 수립.
– 업무 및 화면단위로 요구사항 Hierarchy 구성 => 테스트 커버리지 구성
– 테스트 요구사항의 중요 점검 방법 기술 => 요구사항 만족도 점검 기준.
– 테스트 케이스 수행 상태 모니터링 => 테스트 수행 상태 점검 및 진도 체크.
• 테스트 계획 관리
–
–
–
–
테스트
테스트
테스트
테스트
요구사항에 의한 테스트 케이스 도출 => 업무별, 기능별 테스트 Repository 구성
케이스 상세 설명 및 업무 영역 정의(Custom Field 사용)
시나리오 작성 및 각 스텝 별 체크 포인트 작성
자동화 판단 및 스크립트 생성
요구사항관리
요구사항과 테스트 케이스 연결
Quality Management – 업무요구사항 Import
• 요구사항과 테스트 케이스 생성 편의를 위한 Import 기능 제공
– Word, Excel 형태의 요구사항을 Word add-in/Excel add-in을 통해 TestDirector에 import 기능 제공
– Word, Excel 형태의 테스트 케이스를 Word add-in/Excel add-in을 통해 TestDirector에 import 기능
제공
– Excel 형태의 결함을 Word add-in/Excel add-in을 통해 TestDirector에 import 기능 제공
• Word 문서 Import 기능 화면
• Excel 문서 Import 기능 화면
Quality Management – QA 프로세스 전 공정에 대한
표준화된 프로세스 제공
• 테스트 실행 관리
– 테스트 실행 그룹인 테스트 셋 구성
– 테스트 실행 업무 분장 및 실행 순서 정의
– 수동, 자동 테스트 케이스 실행
–자동 실행 수행으로 24x7 기능 테스트 수행
– 테스트 실행 결과 이력 관리
테스트 실행 스케줄링
수행결과 이력관리
Quality Management – LoadRunner 테스트 케이스 및
수행 결과 관리
Quality Management – QA 프로세스 전 공정에 대한
표준화된 프로세스 제공
• 결함 관리
-결함에 대한 원인 추적
-비슷한 유형의 결함 분석
-다양한 형태의 결함 보고서 자동 작성
-그래프를 통한 결함 유형 및 트렌드 분석
결함 리스트 화면
결함 Comment
결함 설명
Quality Management – 실시간 보고서 및 그래프 제공
• 보고서 및 그래프
-다양한 형태의 보고시 및 그래프를 실시간으로 작성
-실시간 데이터를 직접 드릴다운해서 분석해 볼 수 있음
개발자별 결함 발생 비율
프로젝트 진행기간 동안의 결함 트렌드
Quality Management – 웹기반 Admin 화면제공
•
도메인/프로젝트 관리 화면
•
데이터베이스 관리 화면
•
사용자 연결 화면
•
Configuration 관리 화면
Quality Management – ADLC 관리도구와의 연동
• ADLC(Appliction Development Life Cycle) 관리도구와의 연동을 위한 Open API 제공
- 3rd party 솔루션과의 연동을 위한 synchronizer 제공
- Rational, MS, Merant, Serena, CA, Telelogic 등
QuickTest Pro
WinRunner
LoadRunner
TestDirector
LRMetro
3rd Party Test Tools
Repository
Open API
Version
Control
Defect
Tracking
Help
Desk
Code
Modeling Coverage
Requirements
Management
Dashboard – 실시간 프로젝트 현황 파악
다중
프로젝트
비교
사용자
역할에
따른 화면
정의
비즈니스
로직에 따라
손쉽게
Configuration
사용자
관점의
실시간
데이터 제공
Dashboard – KPI를 이용한 프로젝트 Health check
Dashboard – 다중 프로젝트 비교
TestDirector 도입 효과
• 테스트 전체 공정의 통합 관리
•
요구사항 관리, 테스트 계획과 실행 관리, 결함 관리
• 시간과 위치에 제약 없이 테스트 관리 정보의 실시간 공유
•
웹 기반(Internet Explorer, Netscape)의 테스트 정보 관리
• 테스트 전체 공정의 산출물 관리
•
요구사항, 테스트 케이스, 결함, 어플리케이션 개발 정보 등의 자료 관리
• 다양한 품질 분석 리포트 실시간 제공
•
테스트 커버리지, 결함율 등의 품질분석
• 표준화된 테스트 관리 및 비용 절감
•
•
•
표준화된 테스트 관리를 통한 애플리케이션 품질 향상
운영단에서 발견되는 결함율 감소
같거나 더 적은 인원으로 4배 이상의 테스트 수행
기능 테스트 자동화 솔루션:
QuickTest Professional
HP Quality Center
HP Quality Center™
Dashboard
TestDirector
Requirements
Management
Test Plan
Test Lab
Functional Testing
QuickTest
Professional
WinRunner
Defect
Management
Extensions
SAP, SOA
Business Process Testing
Service Test
Accelerators for SAP, Oracle, Security
Foundation
Shared Data Repository
Central Administration
Workflows
Open APIs
수작업 Functional Test 의 문제점
제한된 테스트 일정과 인력으로
테스트 생산성과 어플리케이션 품질 저하
다양한 사용자 환경(데이터, 플랫폼)의 테스트 실행이 어려움
회귀(반복) 테스트의 생산성 문제 발생
테스터와 개발자간의 어플리케이션 결함 재현이 어렵고 많은 시간
낭비
QuickTest Pro – 3세대 자동화 솔루션
• MS Windows GUI 어플리케이션에 대한 기능 테스트 자동화 솔루션
• Record/Replay 형 2세대 솔루션에서 한단계 진화된 3세대 기능테스트 자동화
솔루션
Database server
Web server/TD app server
Browser Client
QuickTest Pro – 테스트 자동화 지원 환경
WinRunner
QuickTest Pro
Classic
Custom C/S
• PowerBuilder
10.5
• Delphi 7
Common
Web-Related Environments
• IE, Netscape
• JDK, Java Foundation Classes,
AWT
• ActiveX
Custom Client Server
ERP/CRM
• PeopleSoft
Windows
• Siebel 5, 6
GUI Clients
• Oracle GUI Forms
• Windows/Win32
• Visual Basic
• Stingray
• VisualAge Smalltalk
ERP/CRM
• Oracle: 11i
• JD Edwards Web Client
Legacy
• 3270 , 5250 Emulators
• vt100
Operating Systems
• Windows 98, 2000, NT, ME, XP
Windows vista
Emerging
ERP/CRM
• SAP
• Siebel 7.x
• PeopleSoft
8.x
.NET
• WinForms
• WebForms
• HTC/Viewlink
• Delphi 8 .NET
Winforms
Web Services
Macromedia Flex
Wireless
Firefox browser
Curl, AJAX,
MiPlatform
QuickTest Pro – 손쉬운 반복 테스트
• 키워드보기(Keyword View)를 통한 직관적인 스크립트
-스크립트의 가독성이 높고, 유지보수가 쉬움
• GUI를 통한 입력 데이터 파라메터화
-반복 테스트를 위한 데이터를 쉽게 관리
• Data Table을 통한 반복 테이터 관리
-Excel sheet와 유사한 Data Table 기능을 통해 데이터를 쉽고 간편한게 관리
QuickTest Pro – 스크립트 유지보수의 용이성
• Active Screen을 이용한 스크립트 유지보수
-스크립을 다시 레코딩하지 않고도 단계 생성기를 통해 로직을 추가
-실행 결과를 자동으로 인식할 수 있도록 하는 체크포인트(표준 검사점)를 삽입
QuickTest Pro - 다양한 형태의 결과 검증
•GUI Object checkpoints
- GUI 오브젝트의 상태 체크
•Database checkpoints
-
입력된 데이터가 데이터베이스에 제대로
저장되었는지 Query문을 통해 확인
데이터베이스 쿼리 위저드를 통해 쉽게 확인할 수
있도록 함
•Bitmap checkpoints
- 이미지에 대한 체크
•XML checkpoints
- XML 데이터를 parsing 하여 원하는 attribute 값을
확인
•Table checkpoint
- 테이블의 각 Cell 값을 확인
•Accessibility checkpoints
- Link등에 접속이 가능한지를 체크
•… and more ..
-
QuickTest Pro - 객관적인 테스트 결과 자료
테스트 결과 리포트
- 런타임 데이터
테스트 결과 리포트
- 테스트 결과 및 결과 화면
기능 테스트 자동화 솔루션 도입 효과
• 다양한 개발/운영 환경의 테스트 커버리지 향상
여러 클라이언트와 운영 환경의 테스트 커버리지 향상
• 테스트 스크립트를 이용한 테스트 실행속도 향상
테스트 팀은 테스트 실행 시간 절감, 주어진 테스트 일정 준수
• 소프트웨어의 기능 결함 재현 용이
개발자에게 기능 결함 재현을 손쉽고 정확하게 제공하므로 개발자의 결함 파악 및
수정 용이
• 사람으로 인한 테스트 에러율을 현저하게 줄여줌
사람이 테스트 함으로 인해 발생할 수 있는 테스트의 품질 저하를 줄여줌
Quality Center 적용 ROI
• 품질 프로세스 전체를 관리
• 품질을 대표해주는 KPI를 실시간 파악할 수 있도록 해 준다
• 비즈니스 분석가를 포함한 품질 프로세스 상의 모든 역할에 필요한 애플리케이션 제공
• 같거나 적은 인원으로 최대 400% 까지 테스트를 수행할 수
있다*
• 운영환경에서 결함을 최대 75% 감소시킴*
• 단일 프로젝트 ROI 350% ; 3년간 ROI 1800% (IDC)
*based on HP engagements
적용사례
D Computer 적용 사례
“컴퓨터 제조 프로세스에 TestDirector를 이용함으로써,
생산성 향상 및 프로젝트 당 $4700 이상의 투자대비효과를
보았다. ”
World’s Largest PC Manufacture Company
Challenge
Solution
Results
• Time-to-Market 요구 (제품 개발 일정 주기 축소요구)
• 결함으로 인한 고객지원 서비스 비용 증가 및 브랜드 인지도 감소
• TestDirector
• PC 제조 과정에서의 결함 획기적인 감소
• 결함 감소로 인한 부대 비용 감소 효과
• 테스트 소요 비용 자체의 감소 – 프로젝트 당 약 $4700 절약 효과
D Computer - ROI 분석
프로세스
TD 미사용 (시간)
TD 사용 (시간)
감소 효과 (%)
감소 비용
테스트 계획 작성과 정보
관리
40 hrs
8.5 hrs
78 %
$1,480
테스트 실행 결과 보고와
정보 관리
40 hrs
2.5 hrs
94 %
$1,762
결함 요약 보고와 정보
관리
40 hrs
1.5 hrs
96 %
$1,809
프로젝트 테스트 진척도
보고와 정보 관리
200 hrs
3 hrs
98 %
$9,259
320 hrs
15.5 hrs
366%
$14,310/3
project
합
계
ROI 기준치
테스트 인건비 :
프로젝트당 테스트케이스 수 :
프로젝트 수 :
$47/HR
500
3
VodaFone
“We improved our time to market by 40% within a
year.”
World’s Largest Mobile Operator
Challenge
Solution
Results
• Performance issues with billing platform
• Time to market urgency
• Resource constrained
• Performance Center
• Quality Center
• Automated testing, reduced manual contractors by 350%
• Improved time to market by 40%
• Improved quality by 1300% (bugs, defects, problems)
SK Telecom
“We reduced risk of mission critical application delivery”
SK Telecom, the world leading Mobile Service Provider
Challenge
Solution
• Mission Critical Application의 Open System으로의 Down Sizing
• 단위테스트, 시스템 테스트, 통합 테스트 등의 다양한 테스트 프로세스에
대한 통합 운영 및 관리를 통한 어플리케이션 품질 향상
• 테스트 자동화를 통한 반복 테스트에 대한 생산성 향상
• Quality Center : TestDirector, QuickTest Pro
• 프로젝트 내 표준 테스트 프로세스 정립과 이에 대한 시스템을 통한 관리를
Results
통해 프로세스 강제화
• 효율적인 요구사항 관리를 통한 품질 보증활동 강화
• 시스템 및 통합 테스트 시, 테스트 자동화를 통해 테스트 결과에 대한 객관성
확보 및 반복 테스트에 대한 생산성 증가
SUMMARY
“HP now stands as the uncontested leader in the
ASQ market.(HP는 ASQ 시장에서 논의의 여지가
없는 리더로서 일어섰다.)”
IDC
“HP is the clear leader in the distributed testing
space. (HP는 분산환경에 대한 테스팅분야에서
분명한 리더이다.)”
Gartner
감사합니다