【導讀】來自于康納爾大學的這篇研究論文給出了 一個利用物理系統(tǒng)實現(xiàn)深層網(wǎng)絡學習和推理的框架。本文對于文章舉例的三個系統(tǒng)不屬于線性時不變系統(tǒng)進行分析。除了其中SHG系統(tǒng)比較復雜之外，其它兩個系統(tǒng)（三極管、揚聲器）是如此的簡便，吸引人去進行搭建系統(tǒng)，測試一下相應的性能性能。對于參加智能車競賽的同學來講，也許將來不再需要借助于復雜高性能單片機來完成神經(jīng)網(wǎng)絡推理，只利用幾只三極管便可完成。
01 物理神經(jīng)網(wǎng)絡
看到最近在 Nature 雜志上發(fā)表的一篇文章 Deep Physical Neural Networks Trained with Backpropogation[1] 介紹了利用多層非線性物理系統(tǒng)構建深度學習網(wǎng)絡，并通過反向隨機梯度下降完成系統(tǒng)訓練方法的確令人驚訝、毀人三觀。
??
你敢想象利用幾只揚聲器，或者幾只場效應管就可以組成深度物理神經(jīng)網(wǎng)絡（Physical Neural Networks），完成圖像分類？分類效果比起傳統(tǒng)的數(shù)字神經(jīng)網(wǎng)絡也不遜色。對于MNIST手寫體數(shù)字識別也可達到97%以上。（見下面基于四通道雙諧波信號發(fā)生器（SHG）方案）
圖1 分別基于機械系統(tǒng)、電子線路、光學系統(tǒng)構建的P物理神經(jīng)網(wǎng)絡
??
這類建構在物理系統(tǒng)而非數(shù)字處理器之上的神經(jīng)網(wǎng)絡目標是在推理速度和能效方面超過傳統(tǒng)數(shù)字計算機，構建智能傳感器和高效網(wǎng)絡推理。
??
猜測大多數(shù)人和我一樣，第一看到這個文章都會有疑問：這類常見到的揚聲器、三極管、光學透鏡怎么就能夠像深度學習網(wǎng)絡那樣完成學習訓練和推理的呢？特別是這其中都是一些常見到的物理系統(tǒng)，這里面并沒有包含什么量子計算機、神經(jīng)計算機之類結構。
??
文章包含的工作很多（原文PDF有60多頁），我還沒有看完，不過文章一開始把為什么物理神經(jīng)網(wǎng)絡能夠?qū)崿F(xiàn)人工神經(jīng)網(wǎng)絡算法的原理還是講的比較明白。傳統(tǒng)的深度學習可以分解若干網(wǎng)絡層的級聯(lián)計算，每一層的計算包括輸入數(shù)據(jù)（Input）、網(wǎng)絡參數(shù)(Parameters），它們經(jīng)過融合后經(jīng)過神經(jīng)元非線性傳遞函數(shù)形成網(wǎng)絡的輸出（Output）。
圖2 人工神經(jīng)網(wǎng)絡（ANN）與物理神經(jīng)網(wǎng)絡（PNN） 之間的聯(lián)系
??
物理神經(jīng)網(wǎng)絡也是分成若干層的級聯(lián)，比如若干個揚聲器，每個揚聲器是一層神經(jīng)網(wǎng)絡。輸入信號是揚聲器的輸入電壓；網(wǎng)絡參數(shù)則是一組可以控制的電壓信號，比如持續(xù)時間，幅值可以改變的信號，它們與輸入信號通過（疊加、串聯(lián)等）合并后送入揚聲器，揚聲器的輸出聲音再經(jīng)過麥克風采集形成網(wǎng)絡的輸出。
圖1.3 由揚聲器組成的一層神經(jīng)網(wǎng)絡結構圖
??
在由晶體管組成的放大電路、光學倍頻器（SHG）組成的系中，對于輸入信號，網(wǎng)絡參數(shù)以及它們的融合方法根據(jù)各子系統(tǒng)特點有所不同。
??
比如在下圖中，網(wǎng)絡參數(shù)實際上就是一段長度和幅值不同的直流信號，嵌入在輸入變化的信號中（A），經(jīng)過三極管電路之后形成輸出（B），輸入信號和網(wǎng)絡參數(shù)融合部分進行展開與歸一化（C）形成網(wǎng)絡輸出信號。
圖3 在三極管電路中輸入信號網(wǎng)絡參數(shù)信號（幅值可控一段直流電平）的串聯(lián)，以及對應的電路輸出信號
??
盡管現(xiàn)在對于網(wǎng)絡如何進行訓練，如何進行工作的細節(jié)還有待進一步的了解，但文章所展示關于深度神經(jīng)網(wǎng)絡算法的本質(zhì)令人耳目一新。利用了系統(tǒng)輸入輸出之間的非線性把輸入信號與網(wǎng)絡信號進行融合完成信息的處理，所以文章所舉例的三個系統(tǒng)（揚聲器、三極管電路、二次倍頻光學系統(tǒng)）都應該不是線性時不變系統(tǒng)。
??
下面我們拋開物理神經(jīng)網(wǎng)絡算法，先看看論文中的這三個系統(tǒng)的特點。
02 非線性系統(tǒng)
在大學本科階段所學習的“信號與系統(tǒng)”、“自動控制理論”中所討論的原理和方法基本上都是針對于線性時不變系統(tǒng)，因此判斷一個系統(tǒng)是否是線性時不變是應用這些理論第一步需要做的事情。
??
在前面Nature 論文中所提到的三個物理系統(tǒng)（機械、電子、光學）是否都滿足線性時不變呢？
2.1 三極管電路
文章中三極管電路最簡單，同樣它的非線性也最為明顯。
??
電路包含有四個元器件：電阻、電感、電容以及場效應三極管。其中電阻、電感、電容都是線性元器件，只有場效應三極管是一個非線性器件。它的漏極飽和電流與柵極電壓之間呈現(xiàn)平方關系。所以該電子系統(tǒng)是一個非線性系統(tǒng)。
圖2.1.1 三極管電路
2.2 二次諧波產(chǎn)生系統(tǒng)（SHG）
二次諧波產(chǎn)生系統(tǒng) 是一個光學系統(tǒng)，也是文章舉例中最復雜的系統(tǒng)。
??
對于SHG（Second-Harmonic Generation）光學系統(tǒng)我不是很熟悉，通過 檢索相應文獻[2] 可以了解到它的基本原理。它利用了 一些特殊的分子物理狀態(tài)可以將輸入光學信號的頻率進行倍頻，產(chǎn)生對應的二次諧波信號。
圖2.2.1 二次諧波產(chǎn)生系統(tǒng)
??
對于這類你不熟悉的物理系統(tǒng)，那么該如何判斷它 是否屬于線性時不變系統(tǒng)呢？
??
在這里我們需要利用線性時不變系統(tǒng)的一個特性：線性時不變系統(tǒng)不會產(chǎn)生新的頻率信號。
??
雖然它可以改變輸入信號中不同頻率分量的幅度和相位，但不會有新的頻率分量產(chǎn)生。SHG光學系統(tǒng)是將輸入光譜中所有頻率分量都進行倍頻，產(chǎn)生了新的倍頻分量，因此它不屬于線性時不變系統(tǒng)。
??
因此，倍頻是該系統(tǒng)能夠用于完成物理神經(jīng)系統(tǒng)的關鍵，一個線性時不變光學系統(tǒng)是無法構建物理神經(jīng)網(wǎng)絡的。
2.3 揚聲器
文章舉例的三個系統(tǒng)中，就數(shù)揚聲器機械振動系統(tǒng)最令人感到撲朔迷離。系統(tǒng)分為揚聲器、音頻功放、麥克風組成。其中揚聲器需要進行改裝。
??
他們把動圈式喇叭的振動膜和防塵罩拆除，露出音頻線圈，在上面使用膠水粘上一個金屬螺釘，再固定一個3.2cm×3.2cm見方，1mm厚的金屬鉭制作的金屬片。讀到此，你會覺得他們這通騷操作屬于脫了褲子放屁，故弄玄虛。
圖2.3.1 利用揚聲器制作的機械振蕩系統(tǒng)
??
原以為他們這么改裝應該是想在喇叭機械系統(tǒng)中融入非線性環(huán)節(jié)，但在音圈（Sound Coil）上增加的金屬螺釘和鉭片好像僅僅是增加了喇叭線圈慣性質(zhì)量，對于其中高頻振蕩進行壓制，起到一個低頻濾波的作用。因此該系統(tǒng)仍然屬于一個線性時不變系統(tǒng)。
??
下面是論文補充材料中給出的揚聲器輸入電壓信號，麥克風錄音信號以及信號降采樣的數(shù)字信號。可以看到麥克風錄制的音頻信號的確是對輸入信號的低通平滑濾波。
圖2.3.2 揚聲器的輸入信號、麥克風錄音信號以及降采樣數(shù)字信號
??
下圖是文章中給出的輸入隨機信號中嵌入了幅度可控一段直流信號（相當于網(wǎng)絡參數(shù)），施加在揚聲器上之后，麥克風采集到的音頻信號。最后一張圖上可以看到在不同時刻對應的輸出信號與輸入信號之間呈現(xiàn)線性關系。
圖2.3.3 輸入隨機噪聲加上可控直流信號片段噪聲的輸出信號
??
那么問題來了：這個系統(tǒng)中的非線性環(huán)節(jié)到底在哪兒呢？
??
現(xiàn)在能夠想到的就是其中麥克風信號進行降采樣可能會改變系統(tǒng)的線性時不變特性，類似于卷積神經(jīng)網(wǎng)中的 Pooling 層的作用。
※ 論文總結 ※
來自于康納爾大學的這篇研究論文給出了 一個利用物理系統(tǒng)實現(xiàn)深層網(wǎng)絡學習和推理的框架。本文對于文章舉例的三個系統(tǒng)不屬于線性時不變系統(tǒng)進行分析。除了其中SHG系統(tǒng)比較復雜之外，其它兩個系統(tǒng)（三極管、揚聲器）是如此的簡便，吸引人去進行搭建系統(tǒng)，測試一下相應的性能性能。
??
對于參加智能車競賽的同學來講，也許將來不再需要借助于復雜高性能單片機來完成神經(jīng)網(wǎng)絡推理，只利用幾只三極管便可完成。
參考資料
[1]Deep Physical Neural Networks Trained with Backpropogation: https://www.nature.com/articles/s41586-021-04223-6.pdf
[2]檢索相應文獻: https://www.sciencedirect.com/topics/chemistry/second-harmonic-generation
免責聲明：本文為轉(zhuǎn)載文章，轉(zhuǎn)載此文目的在于傳遞更多信息，版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題，請聯(lián)系小編進行處理。
推薦閱讀：
