數(shù)字中國的視覺進階：ISP的來處與歸途

原標題：數(shù)字中國的視覺進階：ISP的來處與歸途

每次不知道該聊點什么的時候，我就會去一些網(wǎng)站和社區(qū)溜達找找靈感，海外如WIRED、MIT News、mashable，國內(nèi)如極術(shù)社區(qū)，都是我的大腦“充電站”。

這個周一，被選題按在桌前摩擦的我又去極術(shù)社區(qū)里逡巡了，恰好就讓我發(fā)現(xiàn)了一個極為有趣的事情：一個名為《安謀中國“玲瓏”ISP處理器概覽》分享，在極術(shù)社區(qū)引起了開發(fā)者的熱議，各種問題在帖子下面建起了高樓。

無獨有偶，近兩年在產(chǎn)業(yè)界，我們也能發(fā)現(xiàn)ISP芯片變得越來越有存在感。蘋果、三星、華為等已經(jīng)在產(chǎn)品中應用了自研ISP模組，OV小米等手機廠商在沖擊高端化進程中也加大了自研ISP領(lǐng)域發(fā)力。

ISP這個名詞可能有點陌生，但早已滲透在絕大多數(shù)普通人的日常生活。簡單來說，相機在采集圖像時，會遇到許多影響圖像質(zhì)量的因素，噪音、色差、明暗等變化都會導致設備無法還原出真實的畫面（所以不要再怪蘋果前置攝像頭把你拍丑了）。而ISP(Image Signal Processing) 圖像信號處理的作用，就是通過降噪、自動曝光、自動對焦、自動白平衡、圖像銳化等操作，把傳感器采集到的數(shù)據(jù)轉(zhuǎn)換成接近真實場景的數(shù)字流。

不難發(fā)現(xiàn)，ISP最為大眾所感知的應用，就是手機的攝影攝像功能了。那么，在智能手機在存量市場“內(nèi)卷”的當下，攝影攝像似乎已經(jīng)停留在高水平競爭很久了，這股ISP熱潮究竟是從何而來？為什么會吸引如此多的開發(fā)者及廠商？又是如何影響中國智能化進程的？

這是一個十分值得討論的話題，也將在接下來深度影響你我的數(shù)字生活。

緣起：重新審視ISP

佛教有云，一切有為法，皆待緣而起。ISP為各大芯片廠商，尤其是中國企業(yè)所重視，并不是沒有原因的。佛陀將緣起歸結(jié)于老死憂愁等苦難，ISP的“走紅”也與現(xiàn)實挑戰(zhàn)有著直接關(guān)聯(lián)。

第一重挑戰(zhàn)來自國際。在全球半導體貿(mào)易的不確定性當中，傳統(tǒng)的芯片架構(gòu)和供應鏈都可能影響中國智能產(chǎn)業(yè)的發(fā)展，因此，更自主可控的方案如ARM架構(gòu)就取代傳統(tǒng)芯片方案成為手機、電腦、汽車等芯片的主流，而所謂處理器核心模組之一的ISP芯片，自然也面臨著新的市場需求和技術(shù)創(chuàng)新。

第二重挑戰(zhàn)來自國內(nèi)。隨著AI、5G、云計算等技術(shù)的成熟，越來越多的行業(yè)場景開始應用上了計算機視覺技術(shù)，攝像頭變得無處不在。尤其是數(shù)字化建設如火如荼的中國，攝像頭、視覺感知等應用爆發(fā)式增長。比如在汽車自動駕駛輔助系統(tǒng)（ADAS） 、工業(yè)智能制造、文檔掃描、人臉識別、智慧監(jiān)控等等多種社會服務中，都對圖像質(zhì)量提出了更高的要求，數(shù)字中國的發(fā)展，推動著ISP芯片以更低的功耗成本實現(xiàn)更高的分辨率。

第三重挑戰(zhàn)來自用戶。當然，智能手機的圖像質(zhì)量是大眾最常接觸、最具感知力的應用了。高速增長的影視技術(shù)，清晰度從720p飛速發(fā)展到4K乃至8K時代，直播、短視頻、虛擬現(xiàn)實、AR等新應用的出現(xiàn)，也對ISP的性能、功耗、延遲等都提出了挑戰(zhàn)。對于智能手機廠商來說，在媲美單反的基礎上，打造出差異化的影像能力，已經(jīng)成為一道不容回避的命題。

天時、地利、人和，三者皆備，ISP芯片自然也越來越受到開發(fā)者和廠商們的重視。

當下：數(shù)字中國需要怎樣的“眼睛”？

既然ISP需求增長的背景已經(jīng)明確，那么更符合當下產(chǎn)業(yè)及消費者需求的ISP芯片，其特征也就呼之欲出了：

更高的可控度。不僅要在供應鏈層面保證各個廠商應對不確定性的需求，還要包含差異化圖像能力的軟硬件基礎，從而最大程度降低下游廠商的產(chǎn)品研發(fā)風險與成本。比如安謀中國就面向中國市場，以ARM架構(gòu)為基礎自研了“玲瓏”多媒體產(chǎn)品線，來賦能本土自主創(chuàng)新。

更高的性能。通過更先進的技術(shù)，滿足工業(yè)、自動駕駛、安全監(jiān)控等對圖像畫質(zhì)高精度的需求，比以往更加強大和精確。以自動駕駛為例，就需要捕捉非常大的視覺動態(tài)范圍，并且比人眼更精準地識別暗處和明亮的圖像細節(jié)，以保證行車及路人的安全。

更低的功耗。無論產(chǎn)業(yè)應用還是個人移動終端，都對功耗比較敏感，耗電、發(fā)熱等問題都可能影響整體部署成本和用戶體驗，這就要求ISP的創(chuàng)新不能以能效為代價，以更好地滿足數(shù)字化轉(zhuǎn)型中的現(xiàn)實需要。

如此看下來，ISP的技術(shù)創(chuàng)新難度并不簡單，需要技術(shù)人員一點一滴地突破，難怪能引發(fā)不小的專業(yè)討論。

未來：ISP的技術(shù)展望

縱觀極術(shù)社區(qū)中圍繞玲瓏ISP展開的討論，廣大開發(fā)者比較關(guān)心的話題，大多圍繞在3A算法是否在ISP里運算，哪些場景下需要單獨的ISP芯片，機器學習對ISP芯片的影響等等。

從中，我們也可以看到ISP芯片未來幾個比較明確的創(chuàng)新方向。

一是3A算法的不斷升級。

想要提升成像質(zhì)量，3A算法即自動對焦(AF)、自動曝光(AE)和自動白平衡(AWB)，起到了十分重要的作用。比如說，當傳感器將圖像信息傳遞給ISP芯片時，自動判斷是否對明亮或暗處的像素采取行動，能夠讓計算機視覺系統(tǒng)做出更準確的判斷。

以安謀中國本土團隊自主研發(fā)的“玲瓏”i3/i5 ISP 處理器為例，就通過3次曝光HDR，將一個場景的長時間、中時間、短時間曝光合成一幀，從而在逆光等寬動態(tài)情況下，對明暗區(qū)域都能夠很好地記錄，從而在寬動態(tài)范圍、低光降噪等方面獲得不錯的表現(xiàn)。說人話就是，逆光拍攝相機也能看清你的美。

第二個技術(shù)趨勢，是從集成向外置演進。傳統(tǒng)ISP芯片被集成在處理器內(nèi)，隨著高像素、高畫質(zhì)的需求出現(xiàn)，CIS傳感器的尺寸也變得越大，外置獨立ISP在功耗上更具優(yōu)勢。不過，相比內(nèi)置方案，成本更高、開發(fā)周期也較長，這就需要芯片廠商進行取舍。

第三個技術(shù)趨勢，是ISP與AI的結(jié)合。將傳感器信息轉(zhuǎn)化為圖像是一個復雜的過程，ISP往往有成百上千個不同的參數(shù)進行調(diào)整。而前面提到，視覺感知在各行各業(yè)中的應用越來越廣泛，不同的鏡頭和傳感器具有不同的特性，這時候為特定相機系統(tǒng)進行優(yōu)化調(diào)整、開發(fā)針對性的芯片產(chǎn)品，就變成了一項極具挑戰(zhàn)性的任務。所以將AI處理器的智慧分析能力與ISP的信號處理能力，能夠達成更強大的成像效果。

由此則產(chǎn)生了第四個技術(shù)趨勢，那就是定制化支持。如前所說，，ISP可應用場景越來越多，不同的場景對應著不同的能力需求，使得通用性的ISP難以全面通吃，這就要求IP開發(fā)廠商能夠與服務垂直行業(yè)的開發(fā)者保持緊密溝通與及時響應，來打造更具靈活性、定制化的產(chǎn)品。

今天，中國正在以舉世矚目的速度進入到智能時代，被數(shù)字化的物理世界不僅僅是消費者手機中的一張張圖片，還是各個行業(yè)智能機器“眼中”不可或缺的數(shù)字養(yǎng)料，滋養(yǎng)著整個中國的智慧水平。

從這個角度看，ISP芯片已經(jīng)成為中國智能產(chǎn)業(yè)不可忽視、不容錯過的一張底牌，等待著更多有識之士去探索和解密。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。