軟件產品質量比對測試與比對方案探討

王 蕊

（國家軟件產品質量監督檢驗中心（江蘇），江蘇 南京 210012）

軟件產品質量比對測試與比對方案探討

王 蕊

（國家軟件產品質量監督檢驗中心（江蘇），江蘇 南京 210012）

軟件產品質量評價與測試是保障軟件產品質量的方式之一。文章在《軟件工程軟件產品質量要求與評價（SquaRE）商業現貨（COTS）軟件產品的質量要求和測試細則》（GB/T25000.51-2010）等國家推薦性標準的基礎上，提出了對軟件產品進行功能比對測試的比對方案，并在實際比對測試中進行了應用與驗證。

軟件產品質量；軟件比對測試；比對方案；質量控制；判定限

1 比對測試概述

實驗室間比對是對實驗室檢測結果質量控制的常用方法之一，是根據預定條件，由兩個或多個實驗室就相同或類似的試驗項目開展的組織、實施和評估活動。通過參加實驗室比對，可以確定實驗室對特定試驗或測量的能力，了解實驗室的檢測水平，并進一步監控實驗室的持續檢測能力，識別實驗室的問題并采取糾正措施，提高質量管理水平。

實驗室間比對的代表性目的有以下十點（實驗室可以根據比對實驗的目的來設置比對實驗）：（1）評定實驗室從事特定檢測或測量的能力及監視實驗室的持續能力；（2）識別實驗室存在的問題并啟動改進措施，這些問題可能與諸如不適當的檢測或測量程序、人員培訓和監督的有效性、設備校準等因素有關；（3）建立檢測或測量方法的有效性和可比性；（4）增強實驗室客戶的信心；（5）識別實驗室間的差異；（6）根據比對的結果，幫助參加實驗室提高能力；（7）確認聲稱的不確定度；（8）評估某種方法的性能特征，通常稱為協作試驗；（9）用于標準物質/標準樣品的賦值及評定其在特定檢測或測量程序中使用的適用性；（10）支持由國際計量局（BIPM）及其相關區域計量組織。

與國際軟件檢驗機構之間進行比對測試是國家軟件中心驗收時的重要環節。軟件產品的比對測試通常是由評審組提供一個軟件樣品，然后每個被評審的成員對該樣品分別進行測試，出具檢驗報告或缺陷報告，考察他們的測試結果與真實情況的偏差，從而認定某個檢驗機構在某個項目上的檢測能力是否滿足既定要求。

軟件產品的比對測試主要是對軟件樣品的功能性進行測試，根據既定條件和已知軟件樣品，由5家以上檢驗機構依據產品需求規格說明書、使用手冊等用戶文檔集，對該軟件樣品進行功能測試，各自找出軟件樣品中預埋的缺陷，輸出檢驗報告，然后根據檢驗報告或缺陷報告，總結歸納出各家檢驗機構發現的有效缺陷。根據既定的比對測試方案和判定限，對有效缺陷的最終結果進行比對，通過比對測試和結果分析得出國家中心的檢驗能力是否達到國際先進水平，是否能順利通過國家軟件中心的驗收考核。

2 比對測試方案和判定限

判定限：比對測試主要以發現的有效缺陷數為判定的主要依據，具體內容如下：

第一，所有檢驗機構發現的有效缺陷數（以Ni表示）取平均值（以M表示），然后把平均值跟本中心發現的有效缺陷數（以N1表示）進行比較，如果本中心發現的有效缺陷數大于平均值，即N1≥M，則進行第二個步驟的比對。

第二，假如有n家檢驗機構參與此次比對，取參考值K，且K＝[0.7n]（“[]”表示四舍五入并取整），如果本中心發現的有效缺陷數排名在K家檢驗機構之前，則本次比對測試通過，結果為滿意，否則本次比對測試結果為不滿意。

第三，相關注釋：注1：預埋缺陷：比對樣品中預先埋入的已知缺陷；注2：發現缺陷：檢驗機構實際發現的缺陷；注3：發現的有效缺陷：檢驗機構發現的缺陷如果在軟件樣品預先植入的缺陷范圍內，則為有效缺陷，否則為無效缺陷，不做統計和比對。其中有效缺陷數以Ni表示，i取1，2，……，n，n為正整數，代表參與此次比對測試的檢驗機構數目；注4：有效缺陷數平均值M＝（N1＋N2＋N3＋……＋Ni）/i。

3 比對測試過程簡介

本次參與比對測試的檢驗機構有國家軟件產品質量監督檢驗中心（江蘇）、新加坡某學院、上海某信息技術有限公司、某研發有限合伙公司、德國某檢驗機構、美國某大學分校6家檢驗機構，比對軟件樣品為關鍵技術項目信息采集系統，測試的主要功能模塊有安全管理角色、審計管理角色、數據管理角色等。

在本次比對測試中，本中心依據產品需求規格說明書、使用手冊等用戶文檔集，采用等價類劃分、邊界值分析、因果圖法、決策表法和錯誤推測法等黑盒測試技術，通過設計覆蓋全部軟件產品功能實現的測試用例的方法，從功能實現的功能正確性、功能實現的完整性、功能的計算準確性、計算精度的符合性等方面對用戶需求的軟件產品全部功能性進行質量測試，并將功能性檢測結果與用戶需求中的功能要求比較，評價該軟件產品功能是否符合用戶需求和文檔要求。

測試前準備工作如下：（1）根據用戶需求和用戶文檔集，編制測試方案，并經過嚴格評審；（2）搭建缺陷跟蹤與管理信息系統，如直接使用HP ALM系統進行測試管理；（3）檢查測試所需的軟、硬件、操作系統等環境設施是否已到位；（4）檢查測試組人員的配置是否合理，測試人員的工作能力和經驗是否符合測試要求。

軟件測試執行過程如下：（1）根據測試方案中相關內容，檢查測試環境（包括軟硬件環境和操作系統等），確認測試環境符合要求；（2）根據測試用例的陳述，按測試目的，對每一個測試用例設計具體的操作步驟、前置條件、輸入數據、預期結果；（3）執行測試用例，并記錄所有相關信息，如果測試用例執行的結果與預期結果不符合，則應詳細記錄環境信息、操作步驟、問題描述、可復現性等；（4）測試用例執行完畢后，根據具體情況，備份系統數據或對系統進行恢復；（5）編制檢驗報告、缺陷報告等。

在測試執行過程中，針對發現的軟件缺陷，定義缺陷等級如下：

S1級：發現影響被測系統正確運行的嚴重問題：導致系統崩潰；出現不可挽救的數據丟失或損壞；主業務流程出現斷點；導致死機；內存泄漏。

S2級：發現影響被測模塊正確運行的嚴重問題：導致程序模塊丟失或未實現；軟件錯誤導致數據丟失；被測數據處理錯誤；用戶需求未實現。

S3級：發現影響被測功能正確實現的問題。

S4級：一般性的錯誤或功能實現有不完善處。

S5級：建議性問題。

檢測完成后，各個機構檢驗人員根據編制的檢驗報告和缺陷報告，結合比對測試方案，得出最終比對測試結果如表1所示：

表1 各家檢驗機構比對測試結果

由表1得出，國家軟件產品質量監督檢驗中心（江蘇）有效缺陷數N1＞M；6家檢驗機構中，國家軟件產品質量監督檢驗中心（江蘇）發現的有效缺陷數排名為第2名。排名第一位的是美國某大學分校。

最終結論：國家軟件產品質量監督檢驗中心（江蘇）比對測試通過，結果為滿意。

4 結語

隨著信息技術的飛速發展，對軟件產品的使用已經滲透到大眾生活的各個領域，小到日常生活所需的家用電器、手機平板等電子產品，大到金融、國防、醫療等領域的高端精密設備。軟件產業作為現代服務業發展的核心，已成為促進國民經濟與社會發展、保障國家安全的戰略性新興產業。伴隨著軟件產品應用的不斷深入，其設計的復雜度和難度也在逐步加大，而開發周期卻在縮短，因此對軟件產品質量的要求也在逐步提高，軟件質量一旦出現缺陷將引發諸多問題，其后果也越來越嚴重?？梢哉f，未來很長一段時間，軟件企業的競爭力不僅體現在軟件產品功能的先進性以及類型的多樣性，更多的體現在軟件產品質量的可靠性、易用性、可移植性以及可維護性上，軟件質量已成為軟件企業的核心競爭力。在《國務院關于印發進一步鼓勵軟件產業和集成電路產業發展若干政策的通知》（國發[2011]4號）明確指出“鼓勵軟件企業大力開發軟件測試和評價技術，完善相關標準，提升軟件研發能力，提高軟件質量，加強品牌建設，增強產品競爭力”。與此同時，軟件產品質量的檢驗檢測也越來越受到政府相關部門、軟件企業、軟件用戶的關心與重視。

作為第三方檢驗檢測機構，為了發現更多的軟件產品質量問題，保證高質量的軟件產品能夠交付使用，不僅需要有嚴謹、高效、公正、規范的檢驗管理流程，還需要通過比對檢驗、能力驗證等方式，不斷提高自身技術水平，并對在同行中處于什么樣的位置有一個清晰的認識，從而更好地開展相關業務，服務政府、服務企業、服務社會。

[1]軟件工程軟件產品質量要求與評價（SquaRE）商業現貨（COTS）軟件產品的質量要求和測試細則（GB/T25000.51-2010）[S].

[2]軟件工程產品質量第1部分：質量模型（GB/T16260.1-2006）[S].

[3]軟件工程產品質量第2部分：外部度量（GB/T16260.2-2006）[S].

（責任編輯：蔣建華）

TP311

1009-2374（2017）12-0115-02

10.13535/j.cnki.11-4406/n.2017.12.059

王蕊（1983-），女，山東惠民人，供職于國家軟件產品質量監督檢驗中心（江蘇），中級職稱，碩士，研究方向：計算機通信網絡、軟件和網絡產品檢驗。

A