Alina Avadani于2008年加入了一家專注醫(yī)療保健信息領(lǐng)域(移動保健,遠(yuǎn)程保健,電子保。┑能浖_發(fā)公司,自此她的QA職業(yè)生涯開始了。重點是用瀑布模式手工測試桌面及web應(yīng)用程序。2012年,她加入了XING(社交網(wǎng)絡(luò)平臺)公司執(zhí)行手工測試和自動化,并在敏捷環(huán)境中提升了她的專業(yè)知識和實踐工作。她足智多謀,有創(chuàng)意且擅長解決問題,經(jīng)常能想出新的和創(chuàng)新的方法去解決分配給她的項目。她熱衷技術(shù),喜歡與別人合作創(chuàng)造驚奇的事物。認(rèn)真享受軟件測試的樂趣時,她一心專注于質(zhì)量和按時交付。她曾參與組織Iasi(http:// tabaradetestare.ro / )上的第一期“測試訓(xùn)練營”,她還是NRG測試比賽“佳整體軟件測試,功能與性能“獎隊的一員 。 | |
Katharina Gillmann自2012年一直在XING股份公司擔(dān)任QA經(jīng)理。在此之前,Katharina 學(xué)習(xí)重點是機(jī)器人的計算機(jī)科學(xué)。她那段時間對機(jī)器人杯特別感興趣。她努力了5年,與B-Human隊3次奪得世界機(jī)器人杯。卡塔琳娜在加入XING公司前對軟件測試過程產(chǎn)生了濃厚興趣。出于這個原因,她在MeVis醫(yī)療解決公司(一家開發(fā)用于檢測乳腺癌的軟件的醫(yī)療公司)當(dāng)了五年軟件測試人員。Katharina 目前專注于敏捷環(huán)境內(nèi)Web應(yīng)用程序的軟件測試。 |
許多組織機(jī)構(gòu)在軟件開發(fā)過程中重點(或一心只)關(guān)注測試的功能方面。大多數(shù)情況下,可用性測試排得很靠后,且只在發(fā)布前不久甚至發(fā)布后才進(jìn)行。為了盡早地提高對產(chǎn)品可用性的反饋,我們將常見的測試方法運(yùn)用到我們公司組織的一次測試比賽里了。
實用性意味著什么?
“很大程度上,使某物可用是使用它毫無障礙”。這是可用性測試手冊中對可用性的定義,接著里面還寫到“用戶可以用他或她希望能夠做的方式去做他或她想要做的事,沒有一絲阻礙,猶豫或疑問“[1]。因此,我們想出了一個基于此定義的內(nèi)部測試比賽的主意。
組織一次內(nèi)部測試比賽的動機(jī)
可用性通常是通過A / B測試,內(nèi)部UX測試階段,或beta測試檢查的。但這些概念耗時且相對很昂貴。此外,在beta測試階段分析產(chǎn)品可用性時,我們遇到了一些限制,如不能實際觀察用戶,不能減少探索范圍。
至少有兩種主要途徑執(zhí)行可用性測試:crowd測試及開發(fā)團(tuán)隊內(nèi)的測試。一個公司自己的開發(fā)團(tuán)隊的可用性測試可以處理早期反饋,但仍帶有局限性,比如該團(tuán)隊測試一個它已開發(fā)的產(chǎn)品有著高于平均水平的風(fēng)險,且可能并不客觀。這意味著,問題將與終端用戶所評的不一致。
另一方面,Crowd測試為真實用戶提供了反饋,因為外部測試人員的參與。但是,這也需要大量的培訓(xùn)和介紹,反之導(dǎo)致復(fù)雜的協(xié)調(diào)和準(zhǔn)備。此外,它不容易跟進(jìn)觀察,因為不同的測試人員負(fù)責(zé)不同的crowd測試環(huán)節(jié)。為了解決crowd測試的挑戰(zhàn),且仍可以得到一個產(chǎn)品的可用性的早期反饋(發(fā)行前),XING開展了內(nèi)部測試比賽。
概念
XING內(nèi)部測試比賽結(jié)合了crowd測試,基于會話的測試,探索性測試。比賽的概念描述如下:
圖1.幾種測試方法結(jié)合構(gòu)建內(nèi)部測試比賽的概念
為了深入理解一個產(chǎn)品的可用性,有必要讓一組有代表性的用戶參與其中。這是為什么crowd測試方法適合,因為很多不同背景的人可以被要求來對軟件進(jìn)行測試并給出他們的反饋。我們的內(nèi)部測試比賽涉及來自不同部門的人,例如產(chǎn)品經(jīng)理,項目經(jīng)理,行政總裁,用戶關(guān)心員工,人力資源團(tuán)隊和開發(fā)人員。一個公司自己員工的參與使其能夠解決crowd測試的一些難題。該事件的籌備和組織比較容易,因為員工已經(jīng)對產(chǎn)品很熟悉了。非公開協(xié)議也可以跳過,很容易跟進(jìn)隨后的測試迭代中的發(fā)現(xiàn)。用測試比賽概念調(diào)整基于會話的測試方法的思路以實際使用可以很容易地定義一個明確的測試范圍。這使得我們可以著眼于某一特征而不是整個產(chǎn)品。此外,會話可以被限制到一個特定的時間間隔。James Bach把探索性測試定義為“同步學(xué)習(xí),測試設(shè)計和測試執(zhí)行”。為了得到一個clean的用戶見解,我們要鼓勵測試人員在沒有非常詳細(xì)的產(chǎn)品介紹下自由探索。由于我們的員工來自不同的部門,他們對產(chǎn)品的認(rèn)識也不同。測試環(huán)節(jié)之前為他們簡短介紹一下會導(dǎo)致一個探索性測試環(huán)境。對于內(nèi)部測試比賽,附加組是由不同部門的人構(gòu)成的,使他們可能在測試時帶上了對產(chǎn)品的不同看法。為了讓員工在測試產(chǎn)品有積極性,使用了測試比賽的一般概念(靈感來自NRG全球測試比賽)。通過有獎競賽,鼓勵人們找到盡可能多的bugs及重要的/難以找到的bugs。一個比賽的概念也有助于鼓勵人們參加進(jìn)一步的版本。這消除了通常由crowd測試方法提出的限制。
XING內(nèi)部測試比賽安排
在過去六個月XING已經(jīng)舉行了兩次內(nèi)部測試比賽,都側(cè)重于Web應(yīng)用程序,而第三次(也側(cè)重移動應(yīng)用程序)目前在醞釀中。期間要收集即將被發(fā)布的新特征,如覆蓋用戶配置文件的組合功能。該活動由XING的QA部門組織,每次總計兩個小時。兩小時包含范圍的介紹和說明(30分鐘),以及測試本身。平均而言,每次20人參加,他們分成來自不同部門(如開發(fā)人員,用戶關(guān)懷,銷售和人力資源團(tuán)隊,以及為行政總裁及副總裁)的兩人或三人混搭組。參與者分別由在場的三個QA經(jīng)理指導(dǎo)該如何進(jìn)行測試并寫出一個正確的bug和一份測試報告。讓不同部門的員工參與,有可能測試各種計算機(jī)設(shè)置,如不同的操作系統(tǒng)( MacOS, Windows)和不同的瀏覽器(Mozilla Firefox, Internet Explorer, Google Chrome, Opera)。每次比賽都有大約100個關(guān)于可用性和功能的bugs被發(fā)現(xiàn),同時也產(chǎn)生了一些功能要求。比賽后這些bugs被QA部門評估,然后直接排序并分配給相應(yīng)的生產(chǎn)隊。對其中一個(測試比賽中發(fā)現(xiàn)其有測試發(fā)布前未被修復(fù)的可用性問題的)產(chǎn)品做了一次實驗。超過80 %的隨后被用戶報道的可用性問題事實上是在測試比賽中發(fā)現(xiàn)的,這正好證明這個概念的好處。