英特爾助力Testin云測算力提升，下一代AI測試產(chǎn)品iTestin技術(shù)揭秘

近日,Testin云測正式發(fā)布全新AI測試產(chǎn)品iTestin,融合目前測試領(lǐng)域最強(qiáng)的自然語言處理、文本識別、圖標(biāo)識別技術(shù),全面提升測試產(chǎn)品的易用性和自動化效率,通過人工智能技術(shù),大大降低腳本調(diào)試和腳本維護(hù)成本,在App和Web測試數(shù)據(jù)集精度和性能上超過主流云廠商的付費(fèi)高精度OCR服務(wù)。

為了支撐自然語言撰寫的自動化測試腳本語言的穩(wěn)定與高效執(zhí)行,需要高精度、高效率的AI算法提供可靠的識別效果。Testin云測在業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、算法建模、性能評估、模型部署全流程上實(shí)現(xiàn)全面提升,形成了AI技術(shù)在測試領(lǐng)域落地的最佳實(shí)踐。

最強(qiáng)后盾:英特爾助力iTestin實(shí)現(xiàn)最前沿的測試技術(shù)研究

自然語言腳本在上千臺不同型號的手機(jī)自動執(zhí)行,必須有足夠高的文字檢測識別精度。為了解決識別精度的挑戰(zhàn),Testin云測打造了業(yè)界最大規(guī)模的APP截圖的字符識別數(shù)據(jù)集,并通過算法自動生成上千萬條數(shù)據(jù)用于字符識別模型的構(gòu)建。文字檢測與識別的建模工作中,充分發(fā)揮傳統(tǒng)計(jì)算機(jī)視覺算法的速度優(yōu)勢與深度學(xué)習(xí)算法的精度優(yōu)勢,最終算法的檢測精度、識別精度、識別速度全面超越頭部互聯(lián)網(wǎng)公司的付費(fèi)高精度文字識別服務(wù)。

Testin云測OCR算法成功支撐了公司的AI測試服務(wù),也為重點(diǎn)客戶的私有化部署產(chǎn)品提供了便利。為了提升OCR深度學(xué)習(xí)的效率,Testin云測與英特爾聯(lián)合進(jìn)行了探索,并重點(diǎn)從基礎(chǔ)設(shè)施平臺配以工具套件來構(gòu)建解決方案,用軟件加速以及硬件支撐兩個角度對OCR方案進(jìn)行優(yōu)化。Testin云測基于英特爾至強(qiáng)可擴(kuò)展處理器、英特爾的開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化(以下簡稱OpenVINO)工具套件對OCR深度學(xué)習(xí)方案進(jìn)行優(yōu)化,將AI測試中的OCR識別時間從2秒降低到0.3秒左右,實(shí)現(xiàn)了6倍的性能提升,且不影響測試的效果和結(jié)果。

具體來說,在基礎(chǔ)設(shè)施平臺的搭建上,Testin云測選擇英特爾至強(qiáng)金牌6140處理器,其不僅擁有強(qiáng)大的通用計(jì)算能力,還集成了增強(qiáng)單指令多數(shù)據(jù)流、英特爾AVX-512新指令集等創(chuàng)新技術(shù),實(shí)現(xiàn)了對于通用計(jì)算能力和并行計(jì)算能力的兼顧,為深度學(xué)習(xí)訓(xùn)練提供了卓越的性能基礎(chǔ)。在軟件與算法層面上,Testin為了加速OCR方案,使用英特爾OpenVINO工具套件分發(fā)版來進(jìn)行加速。該工具套件支持開發(fā)人員使用行業(yè)標(biāo)準(zhǔn)人工智能框架、標(biāo)準(zhǔn)或自定義層,將深度學(xué)習(xí)推理輕松集成到應(yīng)用中,開發(fā)人員只需編寫一次代碼,即可將其快速、無縫地部署在當(dāng)前和未來的英特爾硬件上,從而消除應(yīng)用重復(fù)開發(fā)問題。英特爾技術(shù)負(fù)責(zé)人表示,“英特爾至強(qiáng)可擴(kuò)展處理器與英特爾OpenVINO工具套件的結(jié)合實(shí)現(xiàn)了卓越的推理性能,幫助Testin云測及其客戶快速實(shí)現(xiàn)文本點(diǎn)擊、文本驗(yàn)證等功能,加快AI自動化測試的速度。該方案保障了OCR整體工作流的執(zhí)行速度,且OCR的整體識別正確率達(dá)到99%以上。”

除了OCR算法以外,Testin云測還在圖標(biāo)識別、圖像審核、標(biāo)注質(zhì)檢等多個方向上開展了AI技術(shù)的探索與應(yīng)用。

作為英特爾在AI領(lǐng)域的重要合作伙伴, Testin云測CTO陳冠誠表示:“未來,我們還會考慮在更多的模型中嘗試英特爾的技術(shù)加速方案。兩家還將繼續(xù)在前沿技術(shù)上進(jìn)行協(xié)同研究,努力一同將領(lǐng)先技術(shù)落地于測試行業(yè),進(jìn)一步提升產(chǎn)品的智能化水平,不斷提升產(chǎn)品和服務(wù)的易用性和工作效率,應(yīng)用AI技術(shù)為行業(yè)賦能。”

更智能,更簡單,更易用,下一代測試產(chǎn)品的品格

1.自然語言處理:降低操作門檻

iTestin將AI智能化作為測試技術(shù)升級的重要推力,通過基于自然語言的腳本錄制功能,支持用自然語言的交互方式,完成測試自動化操作。

用戶只需要輸入“點(diǎn)擊搜索”,iTestin就能自動在APP當(dāng)前頁面中檢測并識別出“搜索”,并完成點(diǎn)擊操作。傳統(tǒng)的測試腳本需要大量的人工介入,通過手工框選目標(biāo)控件來實(shí)現(xiàn)腳本錄制和維護(hù),iTestin這種全新的自然語言腳本大幅降低了腳本錄制的難度,也極大提升了產(chǎn)品易用性和腳本維護(hù)效率。

在QQ音樂,輸入“點(diǎn)擊搜索”,操作機(jī)器自動執(zhí)行進(jìn)入到搜索界面,點(diǎn)擊搜索音樂到輸入框,輸入“周杰倫”,點(diǎn)擊“說好不哭”

Testin云測總裁徐琨在NCTS中國云測試峰會上用自然語言在iTestin上現(xiàn)場演示AI+測試的真正能力,只需在界面中輸入點(diǎn)擊、等待、檢查、長按、輸入等自然語言的文字描述,后臺的AI就能準(zhǔn)確實(shí)時的在真機(jī)上進(jìn)行完整無誤的操作和相關(guān)指令。

2. OCR文字識別:實(shí)現(xiàn)跨平臺腳本能力,降低腳本維護(hù)成本

目前大部分應(yīng)用為了Android端和iOS端的體驗(yàn)一致,會傾向在兩個端上采用相同的UI設(shè)計(jì),即相同的UI界面和操作體驗(yàn)。企業(yè)希望減少對腳本維護(hù)的人力投入,同時在后續(xù)新增腳本時,逐步將Android端和iOS端的腳本統(tǒng)一為一套腳本,這樣進(jìn)一步減少腳本維護(hù)的投入。Testin云測通過只依賴UI界面截圖的OCR和圖標(biāo)識別技術(shù),使得Android端和iOS端使用同一套UI自動化測試腳本成為可能,實(shí)現(xiàn)跨平臺腳本能力,大大降低腳本維護(hù)成本。

在對OCR的檢測和識別模型進(jìn)行訓(xùn)練時,數(shù)據(jù)是最關(guān)鍵的輸入,而且數(shù)據(jù)的精準(zhǔn)度和多樣性,對模型的精準(zhǔn)度和泛能力起到?jīng)Q定性作用。Testin云測擁有自身多年積累的應(yīng)用測試數(shù)據(jù),OCR訓(xùn)練數(shù)據(jù)量達(dá)1600萬,并且具有專業(yè)的AI數(shù)據(jù)采集與標(biāo)注團(tuán)隊(duì)對數(shù)據(jù)進(jìn)行處理。

3.圖標(biāo)識別技術(shù):進(jìn)一步提升用戶體驗(yàn)和自動化測試穩(wěn)定性

在應(yīng)用的UI自動化測試中,除了文字,圖標(biāo)是另外一個與用戶交互最多的元素。在傳統(tǒng)的自動化測試中,圖標(biāo)的識別主要靠控件ID和其他的控件信息,如class,xpath等,但這些信息在自動化測試實(shí)踐中被證明存在較大的不可靠性。因此,Testin云測的自動化測試主要從圖像的角度來識別和定位控件元素。

圖標(biāo)識別技術(shù)是除OCR以外,另外一項(xiàng)支撐Testin云測自動化測試的關(guān)鍵技術(shù)。目前大部分應(yīng)用采用簡約設(shè)計(jì)的線條形圖標(biāo),導(dǎo)致原本可靠的模板匹配和特征點(diǎn)匹配技術(shù)失效。在實(shí)際測試中,現(xiàn)有最好的圖標(biāo)識別技術(shù),正樣本的準(zhǔn)確率只有66.87%,負(fù)樣本準(zhǔn)確率為91.16%,單個圖標(biāo)識別耗時為1532ms。Testin云測對簡約設(shè)計(jì)的線條圖標(biāo)的識別,專門設(shè)計(jì)了圖標(biāo)相似度判別算法,大大提高了圖標(biāo)識別的準(zhǔn)確率和對正負(fù)樣本的分辨能力,最終的正負(fù)樣本準(zhǔn)確率在測試數(shù)據(jù)集上都超過了97%,單個圖標(biāo)識別平均耗時為319ms,實(shí)現(xiàn)了業(yè)界領(lǐng)先的識別精度和性能。

此外,Testin云測利用自身的數(shù)據(jù)積累的優(yōu)勢,對應(yīng)用上的常用圖標(biāo)利用深度學(xué)習(xí)目標(biāo)檢測技術(shù)實(shí)現(xiàn)自動識別和定位,進(jìn)一步提升了用戶體驗(yàn)和自動化測試的穩(wěn)定性。

結(jié)語

從信息化、數(shù)字化到智能化,互聯(lián)網(wǎng)作為IT能力的載體,很大程度上正在改變IT技術(shù)的研發(fā)趨勢和應(yīng)用模式,重構(gòu)整個人類社會的商業(yè)體系。新技術(shù)和新商業(yè)模式的涌現(xiàn)顛覆了傳統(tǒng)商業(yè)生態(tài),也改變了人們的社會習(xí)慣。企業(yè)正在經(jīng)歷一場深重的大變革,而隨著互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的公司逐漸轉(zhuǎn)向數(shù)據(jù)驅(qū)動的運(yùn)營方式,測試也被賦予了更多的含義。測試正變得越來越智能,機(jī)器學(xué)習(xí)正在帶來革命性的變化,讓我們拭目以待。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。