【導讀】速度更快、性能更好的機器視覺是邁向下一代工業自動化、無人駕駛汽車和智能城市管理的支撐技術。更好的圖像質量、更快速的圖像捕獲以及更低的設備成本和復雜性是自動化設備、檢測系統和機器人等領域設計人員的主要目標，其最終目的是加強質量保證并提高生產率。
同樣，先進的機器視覺能夠識別標牌、道路標記和前方的潛在危險，因此對自動駕駛車輛至關重要。在這項應用里，重點是縮短系統響應時間，提高圖像識別準確度。就智能城市應用而言，提高城市中心閉路電視圖像清晰度，有助于執法機構通過預測騷亂和提高識別能力來保護公民。
此外，高性能機器視覺的新興市場機會也開始出現，其中包括用于協助車輛引導和數據收集的無人機載機器視覺，可用于勘察農田或建筑工地等應用。
要在較短時間內從捕獲的圖像中提取更多信息，需要更好的圖像質量和更強的信號處理性能。為此，一些重要的創新正在陸續出現，它們適用于攝像頭和圖像傳感器，而且由于機器學習技術的商業化，圖像處理技術也在得到廣泛應用。
下一代鏡頭增強聚焦和視覺性能
在整個系統的前端，攝像頭鏡頭一直是某些大的創新工程的主題，通過采用單攝像頭或單組鏡頭可執行多個任務，能夠提高系統靈活性、縮短工作周期時間，并簡化設備系統設計。
其中，液體鏡頭（如圖1所示）是一種新興的光學器件，它擴展了傳統鏡頭的景深，而無需傳統電動對焦系統的高成本和復雜性。電動對焦也相對較慢，因此避免這些將有助于增加應用中的工作循環時間，例如涉及不同距離物體的工業檢測等應用。
圖1：液體鏡頭只需幾μm的形狀變化，即可實現焦距調整。
引入液體鏡頭能夠使工作中的標準光學系統在幾個ms內調整對焦 - 從無窮大到小于100mm，具體取決于間距要求。液體鏡頭由一種密封在柔性膜內的光學液體構成。通過移動膜或調整光學液體的體積，將鏡頭半徑改變僅僅幾個μm，其效果相當于使用傳統電動對焦系統將鏡頭移動幾個cm。除了更快的對焦和更簡單的構造（移動部件更少，因此操作故障的可能性也更?。?，液體鏡頭系統還受益于較低的慣性和更低的功耗。
同樣， 360 度圖像采集能夠使機器視覺系統在固定位置通過單個攝像頭即可捕獲目標的詳細信息，這樣可以避免多攝像頭檢測系統以及相關圖像處理和存儲子系統的高成本和復雜性，多個存儲子系統也會導致系統性能限制。如果部采用360 度圖像采集，可能需要一種機制來多次調整位置或旋轉攝像頭，或需要旋轉要檢查的物體，這種方式在食品包裝檢查或空中測量時比較常見，同樣會增加系統的總體成本和復雜性。
對于需要進行從各個角度進行目標檢測的系統（例如包裝廠中粘貼到瓶子上的標簽），可以使用位于物體自身正上方的超中心（hyper-centric）或近中心（peri-centric）鏡頭來實現360度視覺功能。超中心鏡頭能夠捕獲光線，就好似它們是從位于鏡頭前面一定距離某個點發出的一樣。光線匯聚點和鏡頭的周邊形成了視錐（viewing cone）。將物體放置在此視錐內，直接位于向下鏡頭的下方，可以使來自物體頂面和垂直側面的光線同時進入鏡頭。將光線聚焦在傳感器上可以在單幀中捕獲整個影像。利用該原理，攝像頭可以捕獲一個孔內或腔內的360度視圖，但無需在其中插入任何光學探頭。其他技術也可通過單幀捕獲物體多個影像，它是將超中心鏡頭與一組鏡面陣列整合，從而能夠有效地同時看到物體的每一面。
傳感器：物理原理與構造
提高CMOS圖像傳感器的分辨率是捕獲更精細圖像的關鍵，然而由于降低了信噪比（SNR），如果只減小像素尺寸可能導致較差的圖像質量。要獲得更高分辨率，就需要在技術上進行改進，以便在不影響傳感器性能前提下減小像素尺寸。這些可通過多個方方面面實現，其中一種是優化像素間距和感光面積與總面積之比（也稱為像素填充因子）。在像素的物理層面進行更多根本性改變可以改善諸如增益、效率和動態范圍等參數。傳感器制造商還改進了從像素讀取數據的技術，從而實現更高的信噪比、幀速率和線性度等更高的性能。
在過去十年左右時間里，驅動傳感器性能改進的最重要技術之一是使用背照式（BSI）技術，它是通過上表面和下表面吸收光線，實現了像素小型化，而不會降低關鍵性能參數（如阱容量、量子效率、暗電流等）。這種技術的后續進展是對傳感器和圖像處理芯片的三維（3D）堆疊，能夠實現更小外形尺寸。隨后，包括氧化硅和金屬焊盤的3D混合堆疊消除了硅通孔（TSV），從而更有利于兩個芯片之間實現有效且直接的連接。最近，業界又開發出順序整合，可以制造單片式圖像傳感器，其中每個圖像傳感器都集成有光電晶體陣列、3D可堆疊像素讀出邏輯和存儲器等，并通過集成式高密度I/O連接。
全局快門增強移動物體成像效果
在高速工業自動化以及汽車和無人機等應用中，需要捕獲快速運動物體的清晰圖像。這對于傳統卷簾式（rolling-shutter）圖像傳感器性能構成巨大挑戰，主要原因是傳統卷簾式圖像傳感器每一次將從傳感器像素讀取僅僅一列數據，并發送到幀緩沖器。如果物體正在運動，則從讀取一列圖像到讀取下一列之間的時間位置變化可能會導致失真，出現圖像模糊或彎曲等問題。
當拍攝快速運動物體或將攝像頭安裝在運動車輛上時，全局快門（Global shuttering）可提高圖像清晰度。這項技術首先在高端靜態攝像頭中得到應用，現在已經擴展到工業和汽車視覺系統以提供更高性能。在全局快門中，將所有像素電荷值同時儲存到一個小的像素內存儲器中，然后像以前一樣逐行依次讀取到幀緩沖器。這樣可以得到更清晰圖像，但沒有卷簾式快門的失真。
通常像素內存儲器會占用一定空間，從而顯著地減少用于光子吸收的像素面積。目前業界已經克服了一些技術挑戰以便能夠創建具備更高SNR和更高動態范圍的全局快門圖像傳感器，但不會增加像素尺寸，這樣可以彌補像素內存儲器占用空間。此類圖像傳感器的一個例證是1Mpixel、1/4英寸格式的安森美半導體的 ARO144。
圖2：來自安森半導體的ARO144圖像傳感器。
全局快門像素具有高量子效率，可確?？焖俪潆姡瑫r又對與圖像無關的充電（如由電子擴散引起的串擾）不敏感。另外，其光學屏蔽非常靠近傳感器，可以排除像素表面雜散光影響。
圖像處理中的人工智能技術
在信號處理鏈路中，機器學習（利用深度神經網路）可用于攝像頭光學組件和傳感器之后，其商業化應用使構建圖像和隨后從中提取信息的方式發生根本性變革。這里有一個例證，從中可以看到采用人工智能技術使低光照性能得到顯著改善，從而可以在近暗（near-dark）條件下拍攝高品質圖像。
在低光照條件下，捕獲的原始數據對于傳統信號處理鏈路構成很大挑戰。以電子方式提高傳感器感亮度（ISO值）會在圖像上增添明顯噪聲，從而導致圖像品質變差，對圖像進行降噪處理效果也很有限。其他改進圖像品質的技術包括延長曝光時間，而這些在工業應用或車載攝像頭中通常不切實際。
最近，業界開發了一種非常巧妙的技術，它利用機器學習來極大地減小基于原始弱光數據構建圖像中的可檢測噪聲。使用包含原始短曝光時間、低光照圖像和相應的長曝光時間參考圖像的系列數據可以訓練深度神經網路。在對網路進行充分培訓后，可以通過直接處理原始短時間曝光數據來創建高品質圖像。這項技術已在市場中頂級智能手機中得到應用，可以提供更美觀圖片。它還可適用于工業和安全等領域，例如可用于生產線檢查或監控系統，能夠捕獲更好圖像。
結論
從系統前端的攝像頭鏡頭到系統后面的圖像感測和圖像處理設備，整個現代圖像處理系統中有許多技術改進正在開發。所有這些技術的合力效果預期將推動工業視覺系統應用范圍的不斷擴展，并進一步提高系統性能基準。
推薦閱讀：
