詳細(xì)介紹技術(shù)背景

隨著數(shù)字化轉(zhuǎn)型的深入推進(jìn)，商業(yè)銀行的產(chǎn)品迭代不斷加快。同時(shí)，商業(yè)銀行的業(yè)務(wù)性質(zhì)要求其應(yīng)用系統(tǒng)有極高的穩(wěn)定性和可靠性。既要快又要穩(wěn)，自動(dòng)化測(cè)試是解決這一問(wèn)題的關(guān)鍵。因此，最近幾年，各家商業(yè)銀行均在大力發(fā)展自動(dòng)化測(cè)試。

在這一進(jìn)程中，自動(dòng)化測(cè)試的設(shè)計(jì)理念不斷完善，新的技術(shù)不斷應(yīng)用，使得自動(dòng)化測(cè)試資產(chǎn)的積累代價(jià)和維護(hù)代價(jià)不斷降低。

伴隨而來(lái)的，自動(dòng)化測(cè)試資產(chǎn)的數(shù)量不斷增長(zhǎng)。

以某商業(yè)銀行為例，2018年8月，全量自動(dòng)化測(cè)試資產(chǎn)（腳本、案例）約3800條。在不足兩年的時(shí)間內(nèi)，到2020年6月，全量自動(dòng)化測(cè)試資產(chǎn)已超過(guò)10萬(wàn)條，增長(zhǎng)26倍。

其中，對(duì)執(zhí)行資源消耗較大的界面自動(dòng)化測(cè)試資產(chǎn)，從1300余條，快速增長(zhǎng)至39000余條，增長(zhǎng)30倍。

同時(shí)，隨著數(shù)字化轉(zhuǎn)型的深入推進(jìn)，敏捷研發(fā)模式大幅提升，特別是在面客類應(yīng)用系統(tǒng)中，敏捷已成為主流。

在敏捷研發(fā)模式的迭代周期內(nèi)，對(duì)自動(dòng)化測(cè)試的回歸需求顯著增加。

此外，隨著DevOps工具鏈的建設(shè)完善，自動(dòng)化測(cè)試能力逐步從測(cè)試部門(mén)輸出至開(kāi)發(fā)部門(mén)，在每日構(gòu)建、制品晉級(jí)、版本發(fā)布等流程中已成為必須的環(huán)節(jié)。

因此，自動(dòng)化測(cè)試資產(chǎn)的使用頻度明顯提升。

統(tǒng)計(jì)顯示，某商業(yè)銀行2018年8月運(yùn)行的自動(dòng)化測(cè)試資產(chǎn)不足2萬(wàn)條次，至2020年4月，單月運(yùn)行數(shù)量已超過(guò)97萬(wàn)條次，兩年增長(zhǎng)47倍。

隨著自動(dòng)化測(cè)試執(zhí)行能力的不斷提升，自動(dòng)化測(cè)試執(zhí)行結(jié)果數(shù)據(jù)指數(shù)級(jí)增加，隨之而來(lái)的大量結(jié)果分析處理工作將成為自動(dòng)化測(cè)試的開(kāi)展的瓶頸，亟需配套高效的自動(dòng)化方法。

針對(duì)上述問(wèn)題，本發(fā)明提出了一種商業(yè)銀行組織級(jí)接口自動(dòng)化測(cè)試結(jié)果分析方法與裝置，通過(guò)接口測(cè)試結(jié)果模型化方法和基于錯(cuò)誤碼庫(kù)、非缺陷知識(shí)庫(kù)的錯(cuò)誤歸類分析方法，輔助測(cè)試人員高效實(shí)施大規(guī)模、多系統(tǒng)的接口自動(dòng)化測(cè)試結(jié)果分析處理。

研究現(xiàn)狀

對(duì)于自動(dòng)化測(cè)試的結(jié)果判斷，當(dāng)前已有的技術(shù)方案主要有以下三種：

1、人工對(duì)返回報(bào)文檢查分析；

2、針對(duì)單個(gè)接口測(cè)試腳本編寫(xiě)結(jié)果檢查腳本；

3、對(duì)同類接口的測(cè)試，截取返回報(bào)文某關(guān)鍵參數(shù)進(jìn)行檢查。

但是：

• 人工分析依賴測(cè)試人員經(jīng)驗(yàn)，且效率低下。
• 針對(duì)單個(gè)接口測(cè)試腳本編寫(xiě)結(jié)果檢查腳本的方法會(huì)增加測(cè)試腳本編寫(xiě)和維護(hù)的難度，無(wú)法適應(yīng)成規(guī)模的接口測(cè)試。

截取返回報(bào)文某關(guān)鍵參數(shù)進(jìn)行檢查的方法，需應(yīng)用系統(tǒng)的接口有固定字段返回應(yīng)用級(jí)對(duì)錯(cuò)信息，且僅能判斷交易應(yīng)用級(jí)對(duì)錯(cuò)，對(duì)錯(cuò)誤無(wú)進(jìn)一步歸類的能力，無(wú)法避免錯(cuò)誤分析需要的大量工作。

技術(shù)方案

商業(yè)銀行的組織級(jí)的自動(dòng)化測(cè)試平臺(tái)所管理的接口自動(dòng)化測(cè)試案例往往數(shù)量龐大、隸屬于不同的系統(tǒng)，且接口的通訊方式多樣，報(bào)文的種類各不相同，這就對(duì)組織級(jí)的接口自動(dòng)化測(cè)試結(jié)果分析提出了很高的要求。

本專利的方法及裝置，首先在組織級(jí)層面，將接口自動(dòng)化測(cè)試的結(jié)果模型化，再基于組織級(jí)的錯(cuò)誤碼庫(kù)和非缺陷知識(shí)庫(kù)，分析接口自動(dòng)化測(cè)試的結(jié)果，降低人工分析工作量，提升“執(zhí)行錯(cuò)誤”與真實(shí)缺陷的逼近程度。

接口測(cè)試結(jié)果模型化方法

本專利的方法及裝置中，接口測(cè)試結(jié)果的數(shù)據(jù)模型包括結(jié)果標(biāo)志、錯(cuò)誤碼、錯(cuò)誤信息和返回信息，在接口測(cè)試的過(guò)程和結(jié)果中，從通訊級(jí)到應(yīng)用級(jí)提取該數(shù)據(jù)模型，方法如下：

1、在平臺(tái)執(zhí)行接口測(cè)試的過(guò)程中，若出現(xiàn)任何程序未處理的內(nèi)部異常，則結(jié)果標(biāo)志為I，此時(shí)錯(cuò)誤碼、錯(cuò)誤信息和返回信息均為空；

2、在常見(jiàn)的http通訊、tcp通訊、webservice通訊等通訊方法中，若無(wú)法正常通訊并拿到預(yù)期的返回報(bào)文，則認(rèn)為在通訊級(jí)發(fā)生異常，結(jié)果標(biāo)志為U，此時(shí)錯(cuò)誤碼、錯(cuò)誤信息均為空，通訊異常的任何返回信息存儲(chǔ)在返回信息中；

3、在能夠拿到正常的返回報(bào)文的情況下，一般統(tǒng)籌設(shè)計(jì)良好的系統(tǒng)，會(huì)在返回報(bào)文公有域特定字段返回應(yīng)用級(jí)處理是否正確，若應(yīng)用級(jí)處理錯(cuò)誤，則還會(huì)在返回報(bào)文公有域特定字段返回錯(cuò)誤碼和錯(cuò)誤信息。

（1）若應(yīng)用級(jí)處理正確，則結(jié)果標(biāo)志為N，此時(shí)錯(cuò)誤碼、錯(cuò)誤信息均為空，返回信息存儲(chǔ)返回報(bào)文；

（2）若應(yīng)用級(jí)處理錯(cuò)誤，則結(jié)果標(biāo)志為E，錯(cuò)誤碼、錯(cuò)誤信息存儲(chǔ)返回報(bào)文提取的相應(yīng)信息，返回信息存儲(chǔ)返回報(bào)文；

（3）在金融系統(tǒng)中，為保證安全，重要金融交易一般會(huì)涉及雙人復(fù)核或者遠(yuǎn)程授權(quán)的過(guò)程，此時(shí)應(yīng)用級(jí)處理結(jié)果為“需要授權(quán)”，則結(jié)果標(biāo)志為A，錯(cuò)誤碼、錯(cuò)誤信息均為空，返回信息存儲(chǔ)返回報(bào)文。

4、在實(shí)際實(shí)施組織級(jí)接口測(cè)試覆蓋時(shí)，一些存量系統(tǒng)未在公有域特定字段返回應(yīng)用級(jí)處理結(jié)果，此時(shí)，平臺(tái)后退至通訊級(jí)結(jié)果判斷，若正常通訊并拿到預(yù)期的返回報(bào)文，則結(jié)果標(biāo)志為N，此時(shí)錯(cuò)誤碼、錯(cuò)誤信息均為空，返回信息存儲(chǔ)返回報(bào)文。

錯(cuò)誤碼庫(kù)和非缺陷知識(shí)庫(kù)設(shè)計(jì)方法

基于組織級(jí)平臺(tái)的接口測(cè)試結(jié)果模型化數(shù)據(jù)，本專利的方法為各系統(tǒng)量身定制錯(cuò)誤碼庫(kù)和非缺陷知識(shí)庫(kù)，對(duì)大規(guī)模接口回歸測(cè)試的結(jié)果進(jìn)一步分類、分析。

錯(cuò)誤碼庫(kù)以系統(tǒng)名區(qū)分被測(cè)系統(tǒng)，并對(duì)結(jié)果標(biāo)志為E的接口測(cè)試結(jié)果細(xì)分錯(cuò)誤碼，分別設(shè)置錯(cuò)誤描述、匹配方式和匹配表達(dá)式。

匹配方式分為三種：

1、精確匹配：該匹配方式適用于統(tǒng)籌設(shè)計(jì)良好的系統(tǒng)，項(xiàng)目組能夠較好的歸類業(yè)務(wù)錯(cuò)誤、分配錯(cuò)誤碼，并在系統(tǒng)接口設(shè)計(jì)中在公有域有固定字段返回錯(cuò)誤碼和錯(cuò)誤信息，此類系統(tǒng)直接采用錯(cuò)誤碼庫(kù)中的錯(cuò)誤碼與接口測(cè)試結(jié)果模型中的錯(cuò)誤碼匹配；

2、錯(cuò)誤信息模糊匹配：該匹配方式適用于能夠從固定字段輸出錯(cuò)誤信息，但沒(méi)有固定字段返回錯(cuò)誤碼或者錯(cuò)誤碼定義不規(guī)范（如錯(cuò)誤碼是中文信息）的系統(tǒng)，此類系統(tǒng)錯(cuò)誤碼和錯(cuò)誤信息由測(cè)試人員自行定義，每類錯(cuò)誤碼需對(duì)應(yīng)設(shè)計(jì)匹配表達(dá)式，即一條正則表達(dá)式，若接口測(cè)試結(jié)果模型中的錯(cuò)誤信息能匹配該正則表達(dá)式則歸為該類錯(cuò)誤；

3、返回報(bào)文模糊匹配：該匹配方式適用于接口設(shè)計(jì)不規(guī)范、無(wú)固定字段返回錯(cuò)誤信息的系統(tǒng)，此類系統(tǒng)錯(cuò)誤碼和錯(cuò)誤信息由測(cè)試人員自行定義，每類錯(cuò)誤碼需對(duì)應(yīng)設(shè)計(jì)匹配表達(dá)式，即一條正則表達(dá)式，若接口測(cè)試結(jié)果模型中的返回信息能匹配該正則表達(dá)式則歸為該類錯(cuò)誤。

在實(shí)際接口測(cè)試中，由于被測(cè)系統(tǒng)配置錯(cuò)誤、被測(cè)系統(tǒng)鋪底數(shù)據(jù)異常等問(wèn)題而出現(xiàn)的錯(cuò)誤并非本次測(cè)試結(jié)果中需重點(diǎn)關(guān)注的內(nèi)容，對(duì)于該類錯(cuò)誤，將錯(cuò)誤碼庫(kù)中的對(duì)應(yīng)錯(cuò)誤條目增加標(biāo)志位，即納入非缺陷知識(shí)庫(kù)。

接口測(cè)試結(jié)果歸類分析方法

基于接口測(cè)試結(jié)果模型化和組織級(jí)的錯(cuò)誤碼庫(kù)、非缺陷知識(shí)庫(kù)，本專利的方法及裝置將接口測(cè)試的結(jié)果分類分析，輸出概要表和錯(cuò)誤分類表。

概要表如下：

執(zhí)行錯(cuò)誤的交易將進(jìn)一步處理為錯(cuò)誤明細(xì)表，如下：

利用該分析結(jié)果，測(cè)試人員可重點(diǎn)關(guān)注結(jié)果類型為“執(zhí)行錯(cuò)誤”的分類，確認(rèn)為缺陷的應(yīng)提交給開(kāi)發(fā)人員修復(fù)；對(duì)于“執(zhí)行錯(cuò)誤非缺陷”的分類，應(yīng)在解決對(duì)應(yīng)問(wèn)題后再次測(cè)試相關(guān)接口。

用推理方式推導(dǎo)出本發(fā)明的優(yōu)點(diǎn)

本發(fā)明將不同系統(tǒng)、不同通訊方式、不同報(bào)文協(xié)議的接口測(cè)試結(jié)果標(biāo)準(zhǔn)化為的統(tǒng)一數(shù)據(jù)模型，并依據(jù)組織級(jí)錯(cuò)誤碼庫(kù)和非缺陷知識(shí)庫(kù)對(duì)標(biāo)準(zhǔn)化的測(cè)試結(jié)果進(jìn)行分類分析，大大降低測(cè)試結(jié)果的人工分析工作量，避免大規(guī)模接口測(cè)試因缺失高效結(jié)果分析能力而毫無(wú)意義的風(fēng)險(xiǎn)。

本發(fā)明設(shè)計(jì)的錯(cuò)誤碼庫(kù)及配套的三種錯(cuò)誤匹配方式，使得測(cè)試人員可以靈活自主的為所測(cè)系統(tǒng)定制錯(cuò)誤歸類識(shí)別方案，在商業(yè)銀行系統(tǒng)種類繁多、接口設(shè)計(jì)標(biāo)準(zhǔn)化程度不一的場(chǎng)景下，解決了接口測(cè)試結(jié)果的錯(cuò)誤識(shí)別問(wèn)題。

本發(fā)明設(shè)計(jì)的非缺陷知識(shí)庫(kù)，使得測(cè)試人員可以預(yù)設(shè)部分不關(guān)注的錯(cuò)誤類型，以獲取重點(diǎn)更加突出的錯(cuò)誤分析結(jié)果，輔助測(cè)試人員更加高效的完成測(cè)試活動(dòng)。

本文提出了一種商業(yè)銀行組織級(jí)接口自動(dòng)化測(cè)試結(jié)果分析方法與裝置，高效輔助測(cè)試人員對(duì)測(cè)試結(jié)果進(jìn)行分析處理，使得結(jié)果分析處理不再是接口自動(dòng)化測(cè)試組織級(jí)開(kāi)展的瓶頸。

以上筆者的經(jīng)歷更像一張橫向的知識(shí)網(wǎng)，創(chuàng)建了一個(gè)交流平臺(tái) 914172719 ，群內(nèi)有各種技術(shù)同行交流、學(xué)習(xí)資料、面試經(jīng)驗(yàn)等。其中用到j(luò)enkins、docker、moutebank、python編程等，還需要花更多的精力去深入學(xué)習(xí)，當(dāng)每項(xiàng)技能都能掌握到一定深度，才能稱為一個(gè)完整的知識(shí)體系。

最后： 可以關(guān)注公眾號(hào)：傷心的辣條 ！ 進(jìn)去有許多資料共享！資料都是面試時(shí)面試官必問(wèn)的知識(shí)點(diǎn)，也包括了很多測(cè)試行業(yè)常見(jiàn)知識(shí)，其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開(kāi)發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。

如果我的博客對(duì)你有幫助、如果你喜歡我的博客內(nèi)容，請(qǐng) “點(diǎn)贊” “評(píng)論” “收藏” 一鍵三連哦！

好文推薦

轉(zhuǎn)行面試，跳槽面試，軟件測(cè)試人員都必須知道的這幾種面試技巧！

面試經(jīng)：一線城市搬磚！又面軟件測(cè)試崗，5000就知足了…

面試官：工作三年，還來(lái)面初級(jí)測(cè)試？恐怕你的軟件測(cè)試工程師的頭銜要加雙引號(hào)…

什么樣的人適合從事軟件測(cè)試工作？

那個(gè)準(zhǔn)點(diǎn)下班的人，比我先升職了…

測(cè)試崗反復(fù)跳槽，跳著跳著就跳沒(méi)了…