近日，銳捷網(wǎng)絡(luò)在“視覺異常檢測(cè)和創(chuàng)新性檢測(cè)2024挑戰(zhàn)賽”(Visual Anomaly and Novelty Detection 2024 Challenge，簡(jiǎn)稱VAND)的少樣本邏輯/結(jié)構(gòu)異常檢測(cè)賽道(VAND 2.0賽道2)中榮獲第二名，并在計(jì)算機(jī)視覺頂級(jí)會(huì)議CVPR 2024上展示了這一成果，與來自世界各地的頂尖研究者進(jìn)行“華山論劍”。這一成績(jī)標(biāo)志著銳捷網(wǎng)絡(luò)的外觀異常檢測(cè)方案在業(yè)內(nèi)的領(lǐng)先水平和技術(shù)創(chuàng)新能力得到了世界權(quán)威機(jī)構(gòu)的高度認(rèn)可。
VAND 2.0 賽道2排行榜
銳捷在VAND2.0賽道取得佳績(jī)
VAND挑戰(zhàn)賽旨在將視覺異常檢測(cè)與工業(yè)異常檢測(cè)場(chǎng)景更加緊密地結(jié)合起來，這在現(xiàn)實(shí)中有廣泛的應(yīng)用。今年是該挑戰(zhàn)賽第二次舉辦。VAND挑戰(zhàn)賽的優(yōu)勝者被受邀參加CVPR 2024的展示。該挑戰(zhàn)賽設(shè)置了2個(gè)賽道：
賽道1 — Adapt & Detect: Robust Anomaly Detection in Real-World Applications
賽道2 — VLM Anomaly Challenge: Few-Shot Learning for Logical and Structural Detection
此次銳捷網(wǎng)絡(luò)團(tuán)隊(duì)參加的即為賽道2。
CVPR，英文全稱IEEE/CVF Computer Vision and Pattern Recognition Conference ，是由IEEE計(jì)算機(jī)協(xié)會(huì)和計(jì)算機(jī)視覺基金會(huì)(Computer Vision Foundation，CVF)共同主辦，是一年一度的全球計(jì)算機(jī)視覺領(lǐng)域與模式識(shí)別領(lǐng)域最頂尖的學(xué)術(shù)會(huì)議。其與ECCV(European Conference on Computer Vision)、ICCV(IEEE/CVF International Conference on Computer Vision)一起并稱為計(jì)算機(jī)視覺領(lǐng)域的三大最高級(jí)別的頂級(jí)會(huì)議。
CVPR 2024于6月17-21日在美國西雅圖舉辦
視覺異常檢測(cè)技術(shù)：工業(yè)制造領(lǐng)域的革命性進(jìn)步
在當(dāng)今工業(yè)制造領(lǐng)域，視覺異常檢測(cè)技術(shù)作為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，正以其獨(dú)特的優(yōu)勢(shì)和廣泛的應(yīng)用前景，逐漸成為行業(yè)關(guān)注的焦點(diǎn)。這項(xiàng)技術(shù)在工業(yè)外觀質(zhì)量檢測(cè)、產(chǎn)品零件安裝檢測(cè)等多個(gè)領(lǐng)域展現(xiàn)出巨大的潛力，滿足了日益增長(zhǎng)的需求。
銳捷網(wǎng)絡(luò)團(tuán)隊(duì)在CVPR 2024會(huì)議上進(jìn)行了名為《Segment-aligned Features Impose Logical Constraints》的主題演講，展示了在異常檢測(cè)算法上的最新進(jìn)展。
銳捷網(wǎng)絡(luò)團(tuán)隊(duì)演講主題
工業(yè)異常檢測(cè)場(chǎng)景中，存在各種復(fù)雜的異常類型。展示中，銳捷網(wǎng)絡(luò)團(tuán)隊(duì)展示了工業(yè)產(chǎn)線上異常檢測(cè)場(chǎng)景的兩大類問題：結(jié)構(gòu)異常(Structrual Anomaly)與邏輯異常(Logical Anomaly)，以及如何在只有少量正常樣本的情況下解決這兩類問題。
左：正常圖像；中：結(jié)構(gòu)異常（橘子皮破損）；右：邏輯異常（同一格子中食物放置的比例不對(duì)）
圖中藍(lán)色和紅色位置為異常區(qū)域
1.結(jié)構(gòu)異常到邏輯異常的效果提升
“以前，我們總是關(guān)注外觀上的瑕疵�！睍�(huì)議主持Paul Bergmann說到，“但現(xiàn)在，那些邏輯上的異常成為效果提升的關(guān)鍵�！痹赩AND 2.0的數(shù)據(jù)集中，也設(shè)置了很多邏輯異常相關(guān)的困難數(shù)據(jù)。
所謂邏輯異常，指的是出現(xiàn)在錯(cuò)誤位置的正確物品，這類物品往往沒有肉眼可見的瑕疵，但是，在質(zhì)量檢測(cè)中，這類物品也應(yīng)該被檢出異常，避免這類殘缺品流向市場(chǎng)。在2024年高考中，就出現(xiàn)了一次本可以避免的事故。
6月7日，2024年全國高考首日，語文科目在上午9點(diǎn)到11點(diǎn)半進(jìn)行了考試。7日中午，在語文科目考試結(jié)束后，有網(wǎng)友爆料在海南省語文考試中，沒有發(fā)放條形碼。對(duì)此，海南省考試局相關(guān)工作人員表示，條形碼因印刷有誤沒有發(fā)放，但不會(huì)影響后續(xù)的考試和判分工作。
在上述事件中，如果在印刷后能夠檢驗(yàn)條形碼是否有異常，類似的問題就不會(huì)發(fā)生。
雖然傳統(tǒng)的基于特征的異常檢測(cè)算法比較擅長(zhǎng)解決結(jié)構(gòu)異常檢測(cè)問題，但無法很好地解決邏輯異常檢測(cè)問題。
傳統(tǒng)的基于特征的異常檢測(cè)算法能夠有效檢測(cè)出結(jié)構(gòu)異常
左圖：原始圖像；中：異常位置；右：算法識(shí)別的異常熱力圖（越高亮異常度越高）
傳統(tǒng)的基于特征的異常檢測(cè)算法無法檢測(cè)出邏輯異常左圖：原始圖像；中：異常位置；右：算法識(shí)別的異常熱力圖
（越高亮異常度越高，可以看到熱力響應(yīng)較小）
隨著異常檢測(cè)算法被應(yīng)用在越來越多的工業(yè)質(zhì)檢領(lǐng)域，一些類似包含邏輯異常的場(chǎng)景不可避免，這對(duì)算法提出了更高的要求。
-
少樣本訓(xùn)練的成本優(yōu)化
你能一眼看出下面異常圖片上的異常在哪嗎？
正常圖片 異常圖片
這個(gè)簡(jiǎn)單的例子可以看出，人類能夠在完全沒看過、或者僅僅看過少量的同類圖片后，就形成異常的概念。這時(shí)候如果給人類一張新圖，他們能準(zhǔn)確地分辨這張圖片是否存在異常。
然而機(jī)器往往需要大量同類圖片的訓(xùn)練，才能區(qū)分正常和異常。訓(xùn)練模型通常會(huì)帶來巨大的成本和能耗問題，業(yè)界急切渴望解決這個(gè)問題。隨著大模型的出現(xiàn)，越來越多的任務(wù)可以被寥寥幾張訓(xùn)練圖片解決。相關(guān)的方案也出現(xiàn)在了異常檢測(cè)上。
-
銳捷團(tuán)隊(duì)的方法——SegmentAD
銳捷網(wǎng)絡(luò)團(tuán)隊(duì)基于上述效果與成本的雙重考慮，提出了一種基于掩碼的異常檢測(cè)方案，SegmentAD。這個(gè)方案成功在少樣本學(xué)習(xí)中應(yīng)用語義分割與對(duì)齊算法，并提出了一種高效的特征融合方案，最終在結(jié)構(gòu)異常和邏輯異常檢測(cè)上都表現(xiàn)出了良好的效果。
1. 在訓(xùn)練場(chǎng)景，SegmentAD首先將圖片上的物體逐像素提取出來，每一個(gè)像素，SegmentAD都知道它屬于哪個(gè)物體。同時(shí)，不同圖片之間，SegmentAD會(huì)對(duì)齊物體的定義。通過這樣的逐像素提取，SegmentAD獲得了圖片上物體的位置和面積等信息，這類信息與邏輯異常直接相關(guān)——假如某個(gè)物體的面積發(fā)生變化或者位置不正確，那么這個(gè)物體一定是一個(gè)異常物體。同時(shí)，SegmentAD參考傳統(tǒng)的基于特征的方法，將圖像的其它特征基于預(yù)訓(xùn)練大模型提取出來，這些特征可以直接用來發(fā)現(xiàn)結(jié)構(gòu)異常——假如有一個(gè)特征與別的特征差異較大，那么它很可能是個(gè)結(jié)構(gòu)異常特征。
2. 在測(cè)試場(chǎng)景，SegmentAD會(huì)分析圖片上的物體是否在正確的位置，擁有正確的面積，以及是否可以擁有正常的特征。SegmentAD將這些信息統(tǒng)合起來并進(jìn)行定量分析，最終得出這個(gè)圖片是否是異常的結(jié)論。
通過定量指標(biāo)，銳捷網(wǎng)絡(luò)團(tuán)隊(duì)展示了SegmentAD在競(jìng)品算法中的先進(jìn)性。
銳捷網(wǎng)絡(luò)通用外觀檢測(cè)（GAOI）產(chǎn)品
眾所周知在工業(yè)生產(chǎn)，尤其在紡織業(yè)，產(chǎn)品外觀是最直觀、最容易驗(yàn)收的指標(biāo)。瑕疵不僅影響美觀、甚至還影響安全和使用。因此在生產(chǎn)中，質(zhì)檢環(huán)節(jié)是影響產(chǎn)品質(zhì)量的關(guān)鍵因素之一。目前業(yè)內(nèi)還是主要以人工檢測(cè)為主，存在以下缺點(diǎn)：
（1）勞動(dòng)強(qiáng)度大，檢測(cè)速度慢，檢測(cè)效率低。
（2）檢測(cè)人員主觀因素影響大，漏檢率高。
（3）人工成本較高，培訓(xùn)周期長(zhǎng)，且流動(dòng)性大。
（4）長(zhǎng)時(shí)間的高強(qiáng)度工作不利于工人身體健康。
在實(shí)際生產(chǎn)線上，人工通常只能檢出40%~60%的瑕疵，檢驗(yàn)環(huán)節(jié)成了生產(chǎn)過程中的瓶頸，因此急需一個(gè)穩(wěn)定、可靠、高效、智能的自動(dòng)化檢測(cè)系統(tǒng)來改變這一局面。
銳捷網(wǎng)絡(luò)在該領(lǐng)域深耕多年，基于自主研發(fā)和設(shè)計(jì)的通用異常檢測(cè)視覺算法，推出了智能織帶外觀檢測(cè)機(jī)、智能驗(yàn)布機(jī)等GAOI產(chǎn)品，打造開箱即用的異常檢測(cè)軟硬一體方案。目前銳捷網(wǎng)絡(luò)已和國內(nèi)多家織帶龍頭企業(yè)達(dá)成合作，幫助了眾多工廠打造智能產(chǎn)線，保障交付質(zhì)量，提升品牌定位。
銳捷智能織帶外觀檢測(cè)機(jī)產(chǎn)品介紹
銳捷智能驗(yàn)布機(jī)產(chǎn)品介紹
綜上所述，視覺異常檢測(cè)技術(shù)作為工業(yè)制造領(lǐng)域的重要研究方向，具有重要的實(shí)用價(jià)值和廣闊的應(yīng)用前景。通過引入人工智能技術(shù)，可以實(shí)現(xiàn)自動(dòng)化的異常檢測(cè)，提高生產(chǎn)效率和產(chǎn)品質(zhì)量，對(duì)于工業(yè)生產(chǎn)過程中的質(zhì)量控制和安全保障具有重要意義。面向未來，銳捷網(wǎng)絡(luò)將繼續(xù)在技術(shù)創(chuàng)新的道路上不斷前行，始終堅(jiān)持以客戶為中心，用領(lǐng)先的技術(shù)賦能產(chǎn)品，讓科技改變?nèi)祟惿a(chǎn)、生活的方方面面。
