SPASVO

1. 測(cè)試體系方案
1.1. 概述
本節(jié)旨在論述如何在XX用戶(hù)建立測(cè)試體系以促進(jìn)和加強(qiáng)測(cè)試管理和測(cè)試流程，提高測(cè)試質(zhì)量，保證銀行IT產(chǎn)品品質(zhì)，終達(dá)到更好地為金融客戶(hù)服務(wù)的目標(biāo)。

測(cè)試體系是圍繞測(cè)試活動(dòng)開(kāi)展制定的一系列規(guī)程、指南、標(biāo)準(zhǔn)、模板，用于管理和規(guī)范測(cè)試過(guò)程，通過(guò)引入測(cè)試體系可以引入更好地測(cè)試方法來(lái)優(yōu)化測(cè)試細(xì)節(jié)；可以通過(guò)規(guī)定和規(guī)范加強(qiáng)流程化管理；可以通過(guò)定義指標(biāo)、標(biāo)準(zhǔn)更準(zhǔn)確地反映測(cè)試、評(píng)估測(cè)試。

1.2. 總體思路
詳細(xì)描述以解決現(xiàn)有不足為目標(biāo)并結(jié)合銀行測(cè)試管理的現(xiàn)狀而設(shè)計(jì)的測(cè)試管理總體解決方案的理念、思路、實(shí)現(xiàn)的方式方法。

根據(jù)上一節(jié)對(duì)XX商行測(cè)試工作的現(xiàn)狀和現(xiàn)實(shí)環(huán)境的分析，我們了解到在行里建立符合現(xiàn)狀和現(xiàn)需求的測(cè)試體系，并在該測(cè)試體系的指導(dǎo)下建立一批技術(shù)過(guò)硬的IT測(cè)試團(tuán)隊(duì)的必要性。本節(jié)將著重描述測(cè)試體系建設(shè)的整體規(guī)劃和發(fā)展路線圖。

1.2.1. 測(cè)試內(nèi)容補(bǔ)充
為了進(jìn)一步提高測(cè)試的覆蓋度，保證系統(tǒng)質(zhì)量，需要不斷豐富測(cè)試的內(nèi)容，使用“自底向上”的方式檢驗(yàn)系統(tǒng)各個(gè)層面上的正確性和可靠性。在已有的UAT測(cè)試的基礎(chǔ)上增加FT測(cè)試、SIT測(cè)試以及非功能性測(cè)試，非功能性測(cè)試包含的內(nèi)容有：性能測(cè)試、兼容性測(cè)試等等。

1.2.2. 初步模型選型
建立測(cè)試體系的第一步是選擇適應(yīng)于目前情況的測(cè)試模型。與當(dāng)前情況相符合主要是指研究目前開(kāi)發(fā)項(xiàng)目和系統(tǒng)的特點(diǎn)，其中包括：項(xiàng)目需求的規(guī)模，對(duì)測(cè)試周期的要求，以及項(xiàng)目所選擇的開(kāi)發(fā)模型。

測(cè)試模型的選型目標(biāo)主要是當(dāng)前比較常用和成熟的測(cè)試模型：

瀑布模型

V模型

W模型

迭代模型

進(jìn)化模型

RUP模型（增量迭代）

在選型過(guò)程中，需要選擇多種不同的模型以滿(mǎn)足現(xiàn)實(shí)中不同的開(kāi)發(fā)需求，選型的方法可以參考選擇一個(gè)主模型以適應(yīng)IT項(xiàng)目、一個(gè)子模型以適應(yīng)新特性開(kāi)發(fā)、需求變更或緊急情況應(yīng)急處理。

，選型完成后，可根據(jù)自身的需要對(duì)模型定義的測(cè)試階段進(jìn)行刪減和補(bǔ)充。

1.2.3. 引進(jìn)有效的測(cè)試方法
1.2.4. 建立規(guī)程與標(biāo)準(zhǔn)
在選擇適合的測(cè)試模型后，測(cè)試活動(dòng)被劃分為多個(gè)測(cè)試階段和多種針對(duì)不同測(cè)試目的的測(cè)試。例如：

單元測(cè)試

集成測(cè)試

功能測(cè)試（FT）

系統(tǒng)測(cè)試（SIT）

用戶(hù)驗(yàn)收測(cè)試（UAT）

1.3. 體系建立
1.3.1. 建設(shè)目標(biāo)
建立測(cè)試體系的目的是為測(cè)試工作制定周密的管理計(jì)劃，為測(cè)試工作建立標(biāo)準(zhǔn)化流程和標(biāo)準(zhǔn)化文檔，為測(cè)試單位提供運(yùn)行的流程和規(guī)范�？紤]到本項(xiàng)目的特點(diǎn)，我們知道該項(xiàng)目的測(cè)試工作需要橫跨不同的業(yè)務(wù)系統(tǒng)，不同系統(tǒng)之間存在著網(wǎng)狀的數(shù)據(jù)流。這種系統(tǒng)的復(fù)雜性為測(cè)試管理工作提出了嚴(yán)峻的挑戰(zhàn)，據(jù)此我們需要通過(guò)建立測(cè)試體系的方法規(guī)范化測(cè)試流程，使得復(fù)雜的聯(lián)調(diào)測(cè)試變得易于跟蹤和控制，從而達(dá)到降低項(xiàng)目風(fēng)險(xiǎn)的目的。

建立測(cè)試體系的第一步是要確定一個(gè)生命周期模型從整體的角度描述整個(gè)項(xiàng)目。

1.3.2. 項(xiàng)目管理過(guò)程
將項(xiàng)目的測(cè)試管理分為五個(gè)階段和一個(gè)日常事務(wù)檢查表，對(duì)每個(gè)階段的工作任務(wù)進(jìn)行說(shuō)明，包括時(shí)間點(diǎn)、任務(wù)、提交物等。提供該體系給項(xiàng)目管理人員作為測(cè)試項(xiàng)目管理手冊(cè)，對(duì)整個(gè)項(xiàng)目的測(cè)試工作進(jìn)行系統(tǒng)的管理、監(jiān)督。

1.3.3. 流程與控制
該體系是針對(duì)項(xiàng)目具體實(shí)施過(guò)程的，對(duì)大運(yùn)會(huì)項(xiàng)目的測(cè)試過(guò)程實(shí)施，在各個(gè)里程碑階段，我們將使用以下體系進(jìn)行項(xiàng)目測(cè)試過(guò)程的執(zhí)行，包括：里程碑接口、里程碑輸入信息、參與角色、工作過(guò)程、工作內(nèi)容、輸出信息等。

1) 初始階段

初始階段主要是給客戶(hù)做測(cè)試過(guò)程和測(cè)試標(biāo)準(zhǔn)的介紹，加強(qiáng)客戶(hù)對(duì)測(cè)試過(guò)程和測(cè)試標(biāo)準(zhǔn)的了解。

面向?qū)ο螅簩?duì)象為項(xiàng)目參與人員（包括管理人員和技術(shù)人員）。

介紹內(nèi)容：

介紹測(cè)試過(guò)程

介紹測(cè)試策略

介紹測(cè)試方法和特點(diǎn)

介紹測(cè)試結(jié)果評(píng)估、分析方法

2) 需求分析階段

前期接口：

初始階段完成，項(xiàng)目組認(rèn)可所使用的測(cè)試過(guò)程、方法等；

基本的測(cè)試范圍（功能測(cè)試、性能測(cè)試、自動(dòng)化測(cè)試等）和使用何種測(cè)試工具等基本達(dá)成一致。

輸入：

被測(cè)系統(tǒng)的開(kāi)發(fā)文檔

被測(cè)系統(tǒng)的客戶(hù)文檔

參與角色：

在測(cè)試項(xiàng)目中，開(kāi)發(fā)廠商，CSC專(zhuān)家，和測(cè)試組都有眾多人員的參與，這里闡述了各方在項(xiàng)目中需要的角色和各自的職責(zé)。

階段過(guò)程：

測(cè)試計(jì)劃階段的基本過(guò)程如下：

測(cè)試需求制定過(guò)程：

略

輸出：

項(xiàng)目測(cè)試計(jì)劃

項(xiàng)目相關(guān)標(biāo)準(zhǔn)

項(xiàng)目測(cè)試需求

3) 案例設(shè)計(jì)階段

前期接口：

測(cè)試設(shè)計(jì)人員都參與了系統(tǒng)的詳細(xì)培訓(xùn)

測(cè)試設(shè)計(jì)人員參與了測(cè)試工具的培訓(xùn)，掌握了測(cè)試工具的試用

輸入：

項(xiàng)目測(cè)試計(jì)劃

項(xiàng)目相關(guān)標(biāo)準(zhǔn)

項(xiàng)目測(cè)試需求

階段過(guò)程：

略

定義測(cè)試策略：考察應(yīng)用程序、系統(tǒng)環(huán)境和測(cè)試資源等以決定測(cè)試目標(biāo)。

分解測(cè)試對(duì)象：將AUT（被測(cè)應(yīng)用程序）分解成具體的測(cè)試單元（可被測(cè)試的模塊和功能）。

定義測(cè)試案例：確定每個(gè)模塊所需的測(cè)試類(lèi)型，添加基本的定義描述。

建立需求覆蓋：將具體的測(cè)試案例和需求建立覆蓋關(guān)系。

設(shè)計(jì)測(cè)試步驟：為每個(gè)測(cè)試案例添加測(cè)試步驟。測(cè)試步驟描述測(cè)試的操作、檢查點(diǎn)和預(yù)期輸出。

分析測(cè)試案例：評(píng)審所有測(cè)試案例以確保符合測(cè)試目標(biāo)。

輸出：

測(cè)試案例

4) 執(zhí)行階段

前期接口：

測(cè)試案例設(shè)計(jì)并審核完畢

輸入：

測(cè)試案例

階段過(guò)程：

輸出：

測(cè)試執(zhí)行記錄

缺陷記錄單

缺陷跟蹤匯總表

缺陷跟蹤：

匯報(bào)缺陷記錄

跟蹤缺陷修改情況

回歸測(cè)試直到缺陷得到恰當(dāng)處理（是否進(jìn)行缺陷跟蹤要根據(jù)客戶(hù)要求不同而定）

5) 總結(jié)分析階段

前期接口：

測(cè)試執(zhí)行工作完成

輸入：

測(cè)試執(zhí)行記錄

缺陷記錄

缺陷跟蹤匯總表

階段過(guò)程：

本階段包含四個(gè)步驟：

整理數(shù)據(jù)：整理測(cè)試過(guò)程數(shù)據(jù)和缺陷數(shù)據(jù)，以備分析之需。

分析數(shù)據(jù)：根據(jù)收集整理的測(cè)試過(guò)程數(shù)據(jù)和缺陷數(shù)據(jù)對(duì)測(cè)試過(guò)程和系統(tǒng)情況進(jìn)行分析。

編制總結(jié)分析報(bào)告：對(duì)項(xiàng)目進(jìn)行總結(jié)，在整理數(shù)據(jù)和分析數(shù)據(jù)的同時(shí)即可進(jìn)行該項(xiàng)工作，待數(shù)據(jù)分析完成后，將分析結(jié)果增加到報(bào)告中，并將總結(jié)分析報(bào)告提交給開(kāi)發(fā)部，業(yè)務(wù)部，以便開(kāi)展項(xiàng)目評(píng)估工作。

調(diào)查客戶(hù)滿(mǎn)意度：總結(jié)完成后，由開(kāi)發(fā)部，業(yè)務(wù)部人填寫(xiě)滿(mǎn)意度調(diào)查表，調(diào)查結(jié)果供測(cè)試過(guò)程改進(jìn)和項(xiàng)目評(píng)估參考。

項(xiàng)目評(píng)估：由項(xiàng)目雙方（開(kāi)發(fā)部，業(yè)務(wù)部和測(cè)試組）相關(guān)人員一起，根據(jù)評(píng)估項(xiàng)及其統(tǒng)計(jì)數(shù)據(jù)對(duì)項(xiàng)目完成情況進(jìn)行評(píng)估。

略

輸出：

測(cè)試總結(jié)分析報(bào)告

項(xiàng)目評(píng)估報(bào)告

1.3.4. 項(xiàng)目測(cè)試標(biāo)準(zhǔn)
1) 缺陷相關(guān)標(biāo)準(zhǔn)

嚴(yán)重級(jí)別：

5 緊急

導(dǎo)致操作系統(tǒng)崩潰（如Win NT/2000 的籃屏、Win 98 的系統(tǒng)致命錯(cuò)誤等）

導(dǎo)致操作系統(tǒng)不響應(yīng)

程序退出沒(méi)有釋放資源

導(dǎo)致其它應(yīng)用程序出現(xiàn)異常（如無(wú)法啟動(dòng)、不響應(yīng)、異常退出）

卸載時(shí)不提示客戶(hù)確認(rèn)即刪除公用程序（DLL 等）

其它導(dǎo)致操作系統(tǒng)或其它應(yīng)用程序異常的情況

造成重大安全隱患情況（如機(jī)密性數(shù)據(jù)的泄密）

4 很高

程序掛起

程序異常退出

系統(tǒng)無(wú)法正常安裝、卸載或升級(jí)

其它導(dǎo)致被測(cè)系統(tǒng)本身出現(xiàn)無(wú)法正常運(yùn)行的錯(cuò)誤

3 高

導(dǎo)致輸出的數(shù)據(jù)錯(cuò)誤（數(shù)據(jù)內(nèi)容出錯(cuò)、格式錯(cuò)誤、無(wú)法打開(kāi)等）

導(dǎo)致其它功能模塊無(wú)法正常執(zhí)行，如：

功能不完整或功能實(shí)現(xiàn)不正確；

導(dǎo)致數(shù)據(jù)終操作結(jié)果錯(cuò)誤

文件或數(shù)據(jù)傳輸不完整或不正確

對(duì)數(shù)據(jù)格式不進(jìn)行檢測(cè)

提示語(yǔ)句易誤導(dǎo)用戶(hù)，造成數(shù)據(jù)丟失等重大問(wèn)題

其它導(dǎo)致被測(cè)應(yīng)用系統(tǒng)其它模塊無(wú)法正常運(yùn)行或出現(xiàn)錯(cuò)誤結(jié)果的情況

2 中等

影響當(dāng)前操作結(jié)果

數(shù)據(jù)修改后沒(méi)有保存提示

系統(tǒng)出錯(cuò)提示不正確或沒(méi)有捕獲系統(tǒng)出錯(cuò)信息

數(shù)據(jù)的重要操作（如刪除、添加等）沒(méi)有提示

其它影響被測(cè)模塊/功能正常執(zhí)行的情況

1 低

頁(yè)面布局不合理

字體不一

錯(cuò)別字

語(yǔ)言不一致（如：中英文混合）

頁(yè)面提示不明確

系統(tǒng)易用性不好

其它對(duì)被測(cè)模塊功能實(shí)現(xiàn)沒(méi)有影響的情況

缺陷導(dǎo)入階段：

1. 需求階段

未能真正了解客戶(hù)需求，功能描述不正確

需求定義有二義性

需求中遺漏客戶(hù)功能需求

2. 概要設(shè)計(jì)階段

架構(gòu)設(shè)計(jì)不正確

業(yè)務(wù)流程設(shè)計(jì)錯(cuò)誤

3. 詳細(xì)設(shè)計(jì)階段

功能模塊間數(shù)據(jù)格式定義不一致

開(kāi)發(fā)規(guī)范

4. 編碼階段

5. 其它

缺陷優(yōu)先級(jí)：

3 必須修改

2 將要修改

1 有時(shí)間則改

0 未分配

缺陷類(lèi)型：

程序錯(cuò)誤

環(huán)境設(shè)置

重復(fù)記錄

需要完善

不可重現(xiàn)

并非問(wèn)題

1.4. 測(cè)試體系涵蓋的其它內(nèi)容
1.4.1. 規(guī)范和強(qiáng)化測(cè)試子流程
略

1.4.2. 規(guī)范和強(qiáng)化測(cè)試流程
測(cè)試流程可分為兩支：

自動(dòng)化測(cè)試流程；

手工測(cè)試流程。

1.4.3. 標(biāo)準(zhǔn)化、規(guī)范化測(cè)試對(duì)象
在測(cè)試活動(dòng)中通過(guò)標(biāo)準(zhǔn)化、規(guī)范化測(cè)試資源使測(cè)試資源可以被共享和重用。

如果測(cè)試對(duì)象缺乏必要的標(biāo)準(zhǔn)化、規(guī)范化，會(huì)導(dǎo)致測(cè)試案例等測(cè)試對(duì)象無(wú)法共享。例如，很多測(cè)試團(tuán)隊(duì)的測(cè)試案例編寫(xiě)缺乏規(guī)范，導(dǎo)致：

測(cè)試案例“個(gè)性化”、“個(gè)人化”，只有自己才能夠“看懂”自己的測(cè)試案例來(lái)進(jìn)行測(cè)試執(zhí)行，其他的測(cè)試工程師無(wú)法使用其他人的測(cè)試案例來(lái)進(jìn)行測(cè)試；

測(cè)試設(shè)計(jì)人員和測(cè)試執(zhí)行人員無(wú)法分離，高成本的測(cè)試設(shè)計(jì)人員必須自己來(lái)執(zhí)行測(cè)試案例，而不能使用低成本的測(cè)試執(zhí)行人員來(lái)執(zhí)行測(cè)試案例，導(dǎo)致無(wú)法達(dá)到很好的勞動(dòng)組合，提高工作效率，也大大占用了經(jīng)驗(yàn)豐富的測(cè)試設(shè)計(jì)人員的時(shí)間。

對(duì)于測(cè)試過(guò)程也需要進(jìn)行控制，只有進(jìn)行測(cè)試對(duì)象的標(biāo)準(zhǔn)化、規(guī)范化，才能夠進(jìn)行測(cè)試案例評(píng)審，進(jìn)一步提升測(cè)試案例的質(zhì)量。

1.4.4. 測(cè)試對(duì)象復(fù)用，降低測(cè)試成本
測(cè)試對(duì)象復(fù)用，主要指測(cè)試案例復(fù)用、測(cè)試腳本復(fù)用、測(cè)試計(jì)劃復(fù)用。

1.4.5. 建基于模型驅(qū)動(dòng)的自動(dòng)化測(cè)試架構(gòu)
一般情況下，如果一個(gè)測(cè)試需要執(zhí)行3次以上，那么自動(dòng)測(cè)試的成本能夠和手工測(cè)試持平。隨著執(zhí)行測(cè)試的不斷增加（特別是后期的回歸測(cè)試），測(cè)試成本大大小于手工測(cè)試執(zhí)行。

隨著測(cè)試技術(shù)的發(fā)展，很多測(cè)試腳本能夠通過(guò)灰盒測(cè)試方法，通過(guò)自動(dòng)轉(zhuǎn)換程序技術(shù)來(lái)自動(dòng)生成，能夠把測(cè)試工作大大提前，并且測(cè)試腳本的編寫(xiě)成本大幅度下降。

1.4.6. 定制流程管理缺陷，定制查詢(xún)
實(shí)現(xiàn)缺陷流程定制化。根據(jù)項(xiàng)目特點(diǎn)，定制有針對(duì)性的缺陷管理流程。為每一個(gè)測(cè)試角色分配缺陷處理的權(quán)限。使得每個(gè)測(cè)試人員的分工更明確，人員配置更合理。

在缺陷跟蹤之前定制查詢(xún)。通過(guò)定制常用的查詢(xún)規(guī)則，例如：當(dāng)日提交給我待解決的缺陷、所有解決的缺陷等等，測(cè)試員和開(kāi)發(fā)人員將有針對(duì)性地關(guān)注缺陷，測(cè)試經(jīng)理也可以即時(shí)了解問(wèn)題解決情況。

基于Test Center的測(cè)試體系可以劃分為8個(gè)子模塊，見(jiàn)下圖。

缺陷管理模塊：

支持缺陷管理流程，可以定制缺陷管理流程，支持缺陷流程的是一個(gè)工作流；

可定制的缺陷過(guò)濾器。用戶(hù)根據(jù)自身的需要定義過(guò)濾器。通過(guò)輸入查找條件，將查詢(xún)規(guī)則定義為過(guò)濾器。通過(guò)這種方式，用戶(hù)可以更快地找到自己所關(guān)心的缺陷，例如“剩余的沒(méi)解決的缺陷”之類(lèi)；

支持缺陷報(bào)告，缺陷報(bào)告以圖表和圖的方式展示處于各個(gè)狀態(tài)的缺陷，以及各個(gè)緊急程度分類(lèi)上的缺陷。缺陷報(bào)告還提供了缺陷關(guān)閉、打開(kāi)曲線圖，用以了解每日缺陷的關(guān)閉和打開(kāi)趨勢(shì)。

1.4.7. 生成測(cè)試報(bào)告
生成詳盡的測(cè)試報(bào)告，包括執(zhí)行情況、缺陷情況、需求達(dá)成情況使得項(xiàng)目重要干系人即使了解項(xiàng)目進(jìn)程，了解問(wèn)題的分布情況，即時(shí)分析和規(guī)避開(kāi)發(fā)風(fēng)險(xiǎn)。

1.4.8. 測(cè)試環(huán)境管理
管理開(kāi)發(fā)和測(cè)試資源，使用預(yù)約的方式將資源分配給人員和組，為資源分配提供管理和監(jiān)控的解決方案。