機(jī)器視覺系統(tǒng)的組成
機(jī)器視覺系統(tǒng)是指用計算機(jī)來實(shí)現(xiàn)人的視覺功能，也就是用計算機(jī)來實(shí)現(xiàn)對客觀的三維世界的識別。按現(xiàn)在的理解，人類視覺系統(tǒng)的感受部分是視網(wǎng)膜，它是一個三維采樣系統(tǒng)。三維物體的可見部分投影到網(wǎng)膜上，人們按照投影到視網(wǎng)膜上的二維的像來對該物體進(jìn)行三維理解。所謂三維理解是指對被觀察對象的形狀、尺寸、離開觀察點(diǎn)的距離、質(zhì)地和運(yùn)動特征（方向和速度）等的理解。
機(jī)器視覺系統(tǒng)的輸入裝置可以是攝像機(jī)、轉(zhuǎn)鼓等，它們都把三維的影像作為輸入源，即輸入計算機(jī)的就是三維管觀世界的二維投影。如果把三維客觀世界到二維投影像看作是一種正變換的話，則機(jī)器視覺系統(tǒng)所要做的是從這種二維投影圖像到三維客觀世界的逆變換，也就是根據(jù)這種二維投影圖像去重建三維的客觀世界。
機(jī)器視覺系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。
將近80%的工業(yè)視覺系統(tǒng)主要用在檢測方面，包括用于提高生產(chǎn)效率、控制生產(chǎn)過程中的產(chǎn)品質(zhì)量、采集產(chǎn)品數(shù)據(jù)等。產(chǎn)品的分類和選擇也集成于檢測功能中。下面通過一個用于生產(chǎn)線上的單攝像機(jī)視覺系統(tǒng)，說明系統(tǒng)的組成及功能。
視覺系統(tǒng)檢測生產(chǎn)線上的產(chǎn)品，決定產(chǎn)品是否符合質(zhì)量要求，并根據(jù)結(jié)果，產(chǎn)生相應(yīng)的信號輸入上位機(jī)。圖像獲取設(shè)備包括光源、攝像機(jī)等；圖像處理設(shè)備包括相應(yīng)的軟件和硬件系統(tǒng)；輸出設(shè)備是與制造過程相連的有關(guān)系統(tǒng)，包括過程控制器和報警裝置等。數(shù)據(jù)傳輸?shù)接嬎銠C(jī)，進(jìn)行分析和產(chǎn)品控制，若發(fā)現(xiàn)不合格品，則報警器告警，并將其排除出生產(chǎn)線。機(jī)器視覺的結(jié)果是CAQ系統(tǒng)的質(zhì)量信息來源，也可以和CIMS其它系統(tǒng)集成。
圖像的獲取
圖像的獲取實(shí)際上是將被測物體的可視化圖像和內(nèi)在特征轉(zhuǎn)換成能被計算機(jī)處理的一系列數(shù)據(jù)，它主要由三部分組成：
＊ 照明
?。?nbsp;圖像聚焦形成
?。?nbsp;圖像確定和形成攝像機(jī)輸出信號
1、照明
照明和影響機(jī)器視覺系統(tǒng)輸入的重要因素，因?yàn)樗苯佑绊戄斎霐?shù)據(jù)的質(zhì)量和至少30%的應(yīng)用效果。由于沒有通用的機(jī)器視覺照明設(shè)備，所以針對每個特定的應(yīng)用實(shí)例，要選擇相應(yīng)的照明裝置，以達(dá)到最佳效果。
過去，許多工業(yè)用的機(jī)器視覺系統(tǒng)用可見光作為光源，這主要是因?yàn)榭梢姽馊菀撰@得，價格低，并且便于操作。常用的幾種可見光源是白幟燈、日光燈、水銀燈和鈉光燈。但是，這些光源的一個最大缺點(diǎn)是光能不能保持穩(wěn)定。以日光燈為例，在使用的第一個100小時內(nèi)，光能將下降15%，隨著使用時間的增加，光能將不斷下降。因此，如何使光能在一定的程度上保持穩(wěn)定，是實(shí)用化過程中急需要解決的問題。
另一個方面，環(huán)境光將改變這些光源照射到物體上的總光能，使輸出的圖像數(shù)據(jù)存在噪聲，一般采用加防護(hù)屏的方法，減少環(huán)境光的影響。
由于存在上述問題，在現(xiàn)今的工業(yè)應(yīng)用中，對于某些要求高的檢測任務(wù)，常采用X射線、超聲波等不可見光作為光源。但是不可見光不利于檢測系統(tǒng)的操作，且價格較高，所以，目前在實(shí)際應(yīng)用中，仍多用可見光作為光源。
照明系統(tǒng)按其照射方法可分為：背向照明、前向照明、結(jié)構(gòu)光和頻閃光照明等。其中，背向照明是被測物放在光源和攝像機(jī)之間，它的優(yōu)點(diǎn)是能獲得高對比度的圖像。前向照明是光源和攝像機(jī)位于被測物的同側(cè)，這種方式便于安裝。結(jié)構(gòu)光照明是將光柵或線光源等投射到被測物上，根據(jù)它們產(chǎn)生的畸變，解調(diào)出被測物的三維信息。頻閃光照明是將高頻率的光脈沖照射到物體上，照像機(jī)拍攝要求與光源同步。
2、圖像聚焦形成
被測物的圖像通過一個透鏡聚焦在敏感元件上，如同照像機(jī)拍照一樣。所不同的是照像機(jī)使用膠卷，而機(jī)器視覺系統(tǒng)使用傳感器來捕捉圖像，傳感器將可視圖像轉(zhuǎn)化為電信號，便于計算機(jī)處理。
選取機(jī)器視覺系統(tǒng)中的攝像機(jī)應(yīng)根據(jù)實(shí)際應(yīng)用的要求，其中攝像機(jī)的透鏡參數(shù)是一項重要指標(biāo)。透鏡參數(shù)分為四個部分：放大倍率、焦距、景深和透鏡安裝。
3、圖像確定和形成攝像機(jī)輸出信號
機(jī)器視覺系統(tǒng)實(shí)際上是一個光電轉(zhuǎn)換裝置，即將傳感器所接收到的透鏡成像，轉(zhuǎn)化為計算機(jī)能處理的電信號、攝像機(jī)可以是電子管的，也可是固體狀態(tài)傳感單元。
電子管攝像機(jī)發(fā)展較早，20世紀(jì)30年代就已應(yīng)用于商業(yè)電視，它采用包含光感元件的真空管進(jìn)行圖像傳感，將所接收到的圖像轉(zhuǎn)換成模擬電壓信號輸出。具有RS-170輸出制式的攝像機(jī)可直接與商用電視顯示器相連。
固體狀態(tài)攝像機(jī)是在20世紀(jì)60年代后期，美國貝爾電話實(shí)驗(yàn)室發(fā)明了電荷耦合裝置（CCD），而發(fā)展起來的。它上分布于各個像元的光敏二極管的線性陣列或矩形陣列構(gòu)成，通過按一定順序輸出每個二極管的電壓脈沖，實(shí)現(xiàn)將圖像光信號轉(zhuǎn)換成電信號的目的。輸出的電壓脈沖序列可以直接以RS-170制式輸入標(biāo)準(zhǔn)電視顯示器，或者輸入計算機(jī)的內(nèi)存，進(jìn)行數(shù)值化處理。CCD是現(xiàn)在最常用的機(jī)器視覺傳感器。
圖像處理技術(shù)
機(jī)器視覺系統(tǒng)中，視覺信息的處理技術(shù)主要依賴于圖像處理方法，它包括圖像增強(qiáng)、數(shù)據(jù)編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內(nèi)容。經(jīng)過這些處理后，輸出圖像的質(zhì)量得到相當(dāng)程度的改善，既改善了圖像的視覺效果，又便于計算機(jī)對圖像進(jìn)行分析、處理和識別。
1、圖像的增強(qiáng)
圖像的增強(qiáng)用于調(diào)整圖像的對比度，突出圖像中的重要細(xì)節(jié)，改善視覺質(zhì)量。通常采用灰度直方圖修改技術(shù)進(jìn)行圖像增強(qiáng)。
圖像的灰度直方圖是表示一幅圖像灰度分布情況的統(tǒng)計特性圖表，與對比度緊密相連。
通常，在計算機(jī)中表示的一幅二維數(shù)字圖像可表示為一個矩陣，其矩陣中的元素是位于相應(yīng)坐標(biāo)位置的圖像灰度值，是離散化的整數(shù)，一般取0，1，……，255。這主要是因?yàn)橛嬎銠C(jī)中的一個字節(jié)所表示的數(shù)值范圍是0~255。另外，人眼也只能分辨32個左右的灰度級。所以，用一個字節(jié)表示灰度即可。
但是，直方圖僅能統(tǒng)計某級灰度像素出現(xiàn)的概率，反映不出該像素在圖像中的二維坐標(biāo)。因此，不同的圖像有可能具有相同的直方圖。通過灰度直方圖的形狀，能判斷該圖像的清晰度和黑白對比度。
如果獲得一幅圖像的直方圖效果不理想，可以通過直方圖均衡化處理技術(shù)作適當(dāng)修改，即把一幅已知灰度概率分布圖像中的像素灰度作某種映射變換，使它變成一幅具有均勻灰度概率分布的新圖像，實(shí)現(xiàn)使圖象清晰的目的。
2、圖像的平滑
圖像的平滑處理技術(shù)即圖像的去噪聲處理，主要是為了去除實(shí)際成像過程中，因成像設(shè)備和環(huán)境所造成的圖像失真，提取有用信息。眾所周知，實(shí)際獲得的圖像在形成、傳輸、接收和處理的過程中，不可避免地存在著外部干擾和內(nèi)部干擾，如光電轉(zhuǎn)換過程敏感元件靈敏度的不均勻性、數(shù)字化過程的量化噪聲、傳輸過程中的誤差以及人為因素等，均會使圖像變質(zhì)。因此，去除噪聲，恢復(fù)原始圖像是圖像處理中的一個重要內(nèi)容。
3、圖像的數(shù)據(jù)編碼和傳輸
數(shù)字圖像的數(shù)據(jù)量是相當(dāng)龐大的，一幅512*512個像素的數(shù)字圖像的數(shù)據(jù)量為256 K字節(jié)，若假設(shè)每秒傳輸25幀圖像，則傳輸?shù)男诺浪俾蕿?2.4M比特/秒。高信道速率意味著高投資，也意味著普及難度的增加。因此，傳輸過程中，對圖像數(shù)據(jù)進(jìn)行壓縮顯得非常重要。數(shù)據(jù)的壓縮主要通過圖像數(shù)據(jù)的編碼和變換壓縮完成。
圖像數(shù)據(jù)編碼一般采用預(yù)測編碼，即將圖像數(shù)據(jù)的空間變化規(guī)律和序列變化規(guī)律用一個預(yù)測公式表示，如果知道了某一像素的前面各相鄰像素值之后，可以用公式預(yù)測該像素值。采用預(yù)測編碼，一般只需傳輸圖像數(shù)據(jù)的起始值和預(yù)測誤差，因此可將8比特/像素壓縮到2比特/像素。
變換壓縮方法是將整幅圖像分成一個個小的（一秀取8*8或16*16）數(shù)據(jù)塊，再將這些數(shù)據(jù)塊分類、變換、量化，從而構(gòu)成自適應(yīng)的變換壓縮系統(tǒng)。該方法可將一幅圖像的數(shù)據(jù)壓縮到為數(shù)不多的幾十個特傳輸，在接收端再變換回去即可。
4、邊緣銳化
圖像邊緣銳化處理主要是加強(qiáng)圖像中的輪廓邊緣和細(xì)節(jié)，形成完整的物體邊界，達(dá)到將物體從圖像中分離出來或?qū)⒈硎就晃矬w表面的區(qū)域檢測出來的目的。它是早期視覺理論和算法中的基本問題，也是中期和后期視覺成敗的重要因素之一。
5、圖像的分割
圖像分割是將圖像分成若干部分，每一部分對應(yīng)于某一物體表面，在進(jìn)行分割時，每一部分的灰度或紋理符合某一種均勻測度度量。某本質(zhì)是將像素進(jìn)行分類。分類的依據(jù)是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割是圖像處理技術(shù)的基本方法之一，應(yīng)用于諸如染色體分類、景物理解系統(tǒng)、機(jī)器視覺等方面。
圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據(jù)圖像灰度直方圖來決定圖像空間域像素聚類。但它只利用了圖像灰度特征，并沒有利用圖像中的其它有用信息，使得分割結(jié)果對噪聲十分敏感；二是空間域區(qū)域增長分割方法。它是對在某種意義上（如灰度級、組織、梯度等）具有相似性質(zhì)的像素連通集構(gòu)成分割區(qū)域，該方法有很好的分割效果，但缺點(diǎn)是運(yùn)算復(fù)雜，處理速度慢。其它的方法如邊緣追蹤法，主要著眼于保持邊緣性質(zhì)，跟蹤邊緣并形成閉合輪廓，將目標(biāo)分割出來；錐體圖像數(shù)據(jù)結(jié)構(gòu)法和標(biāo)記松弛迭代法同樣是利用像素空間分布關(guān)系，將邊鄰的像素作合理的歸并。而基于知識的分割方法則是利用景物的先驗(yàn)信息和統(tǒng)計特性，首先對圖像進(jìn)行初始分割，抽取區(qū)域特征，然后利用領(lǐng)域知識推導(dǎo)區(qū)域的解釋，最后根據(jù)解釋對區(qū)域進(jìn)行合并。
6、圖像的識別
圖像的識別過程實(shí)際上可以看作是一個標(biāo)記過程，即利用識別算法來辨別景物中已分割好的各個物體，給這些物體賦予特定的標(biāo)記，它是機(jī)器視覺系統(tǒng)必須完成的一個任務(wù)。
按照圖像識別從易到難，可分為三類問題。第一類識別問題中，圖像中的像素表達(dá)了某一物體的某種特定信息。如遙感圖像中的某一像素代表地面某一位置地物的一定光譜波段的反射特性，通過它即可判別出該地物的種類。第二類問題中，待識別物是有形的整體，二維圖像信息已經(jīng)足夠識別該物體，如文字識別、某些具有穩(wěn)定可視表面的三維體識別等。但這類問題不像第一類問題容易表示成特征矢量，在識別過程中，應(yīng)先將待識別物體正確地從圖像的背景中分割出來，再設(shè)法將建立起來的圖像中物體的屬性圖與假定模型庫的屬性圖之間匹配。第三類問題是由輸入的二維圖、要素圖、2·5維圖等，得出被測物體的三維表示。這里存著如何將隱含的三維信息提取出來的問題，當(dāng)是今研究的熱點(diǎn)。
目前用于圖像識別的方法主要分為決策理論和結(jié)構(gòu)方法。決策理論方法的基礎(chǔ)是決策函數(shù)，利用它對模式向量進(jìn)行分類識別，是以定時描述（如統(tǒng)計紋理）為基礎(chǔ)的；結(jié)構(gòu)方法的核心是將物體分解成了模式或模式基元，而不同的物體結(jié)構(gòu)有不同的基元串（或稱字符串），通過對未知物體利用給定的模式基元求出編碼邊界，得到字符串，再根據(jù)字符串判斷它的屬類。這是一種依賴于符號描述被測物體之間關(guān)系的方法。
那么，機(jī)器視覺系統(tǒng)設(shè)計的難點(diǎn)都有哪些？本文主要總結(jié)了一下五點(diǎn)：
第一：打光的穩(wěn)定性
工業(yè)機(jī)器視覺系統(tǒng)應(yīng)用一般分成四大類：定位、測量、檢測和識別，其中測量對光照的穩(wěn)定性要求最高，因?yàn)楣庹罩灰l(fā)生10-20%的變化，測量結(jié)果將可能偏差出1-2個像素，這不是軟件的問題，這是光照變化，導(dǎo)致了圖像上邊緣位置發(fā)生了變化，即使再厲害的軟件也解決不了問題，必須從系統(tǒng)設(shè)計的角度，排除環(huán)境光的干擾，同時要保證主動照明光源的發(fā)光穩(wěn)定性。當(dāng)然通過硬件相機(jī)分辨率的提升也是提高精度，抗環(huán)境干擾的一種辦法了。比如之前的相機(jī)對應(yīng)物空間尺寸是1個像素10um，而通過提升分辨率后變成 1個像素5um，精度近似可以認(rèn)為提升1倍，對環(huán)境的干擾自然增強(qiáng)了。
第二：工件位置的不一致性
一般做測量的項目，無論是離線檢測，還是在線檢測，只要是全自動化的檢測設(shè)備，首先做的第一步工作都是要能找到待測目標(biāo)物。每次待測目標(biāo)物出現(xiàn)在拍攝視場中時，要能精確知道待測目標(biāo)物在哪里，即使你使用一些機(jī)械夾具等，也不能特別高精度保證待測目標(biāo)物每次都出現(xiàn)在同一位置的，這就需要用到定位功能，如果定位不準(zhǔn)確，可能測量工具出現(xiàn)的位置就不準(zhǔn)確，測量結(jié)果有時會有較大偏差
第三：標(biāo)定
一般在高精度測量時需要做以下幾個標(biāo)定，一光學(xué)畸變標(biāo)定（如果您不是用的軟件鏡頭，一般都必須標(biāo)定），二投影畸變的標(biāo)定，也就是因?yàn)槟惭b位置誤差代表的圖像畸變校正，三物像空間的標(biāo)定，也就是具體算出每個像素對應(yīng)物空間的尺寸。
不過目前的標(biāo)定算法都是基于平面的標(biāo)定，如果待測量的物理不是平面的，標(biāo)定就會需要作一些特種算法來處理，通常的標(biāo)定算法是解決不了的。
此外有些標(biāo)定，因?yàn)椴环矫媸褂脴?biāo)定板，也必須設(shè)計特殊的標(biāo)定方法，因此標(biāo)定不一定能通過軟件中已有的標(biāo)定算法全部解決。
第四：物體的運(yùn)動速度
如果被測量的物體不是靜止的，而是在運(yùn)動狀態(tài)，那么一定要考慮運(yùn)動模糊對圖像精度（模糊像素=物體運(yùn)動速度*相機(jī)曝光時間），這也不是軟件能夠解決的。
第五：軟件的測量精度
在測量應(yīng)用中軟件的精度只能按照1/2—1/4個像素考慮，最好按照1/2，而不能向定位應(yīng)用一樣達(dá)到1/10-1/30個像素精度，因?yàn)闇y量應(yīng)用中軟件能夠從圖像上提取的特征點(diǎn)非常少
