【儀表網(wǎng) 研發(fā)快訊】近日，人工智能領(lǐng)域國際頂級期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE TPAMI，影響因子：20.8)在線發(fā)表了武漢大學(xué)遙感信息工程學(xué)院李彥勝課題組關(guān)于大幅面遙感影像場景圖生成的最新研究成果，研究成果在張永軍教授的指導(dǎo)下完成。
 

　　論文題為“STAR: A First-Ever Dataset and A Large-Scale Benchmark for Scene Graph Generation in Large-Size Satellite Imagery”，合作者包括武漢大學(xué)、上海交通大學(xué)、西北工業(yè)大學(xué)、中國科學(xué)院空天信息創(chuàng)新研究院、美國康奈爾大學(xué)、中南大學(xué)等國內(nèi)外機(jī)構(gòu)的知名學(xué)者及研究生。論文公開了大幅面遙感影像場景圖生成樣本庫、算法工具包及評測排行榜，提出了一種適用于大幅面遙感影像目標(biāo)檢測及關(guān)系預(yù)測的新方法。
 

　　圖1. 大幅面遙感影像場景圖生成示意圖。(a)和(c)分別展示了顯示大幅面遙感影像中目標(biāo)檢測和場景圖生成結(jié)果，(b)和(d)為對應(yīng)的局部細(xì)節(jié)展示。在(d)中，黑色箭頭表示僅依賴于孤立目標(biāo)對可預(yù)測的關(guān)系，而紅色箭頭表示需要借助上下文推斷的復(fù)雜關(guān)系。
 

　　遙感影像場景圖生成有助于促進(jìn)復(fù)雜地理空間從場景感知到場景認(rèn)知的升級躍遷。在大幅面遙感影像中，地理目標(biāo)的尺度和縱橫比變化大，地理目標(biāo)之間(甚至是空間不相交的地理目標(biāo)之間)存在豐富語義關(guān)系，這使得在大幅面遙感影像中進(jìn)行整體場景圖生成十分必要。然而，大幅面遙感影像場景圖生成樣本庫的缺乏極大限制了遙感影像認(rèn)知技術(shù)發(fā)展。由于大幅面遙感影像復(fù)雜度高，挖掘目標(biāo)-關(guān)系三元組，關(guān)系，目標(biāo)>高度依賴遠(yuǎn)距離上下文推理。傳統(tǒng)為小尺寸自然圖像設(shè)計的場景圖生成模型無法直接適用于大幅面遙感影像。因此，亟需建設(shè)大幅面遙感影像場景圖生成樣本庫，發(fā)展全新大幅面遙感影像場景圖生成理論方法。
 

　　在樣本庫建設(shè)方面，論文構(gòu)建了一套面向全球采樣的大幅面遙感影像場景圖生成樣本庫STAR(涵蓋了全球范圍內(nèi)與人類活動密切相關(guān)的11類復(fù)雜地理空間場景如機(jī)場、港口、核電站、火電站、風(fēng)力發(fā)電站、水壩和服務(wù)區(qū)、立交橋、水面橋、施工工地和體育運(yùn)動場景等，人工精細(xì)標(biāo)注超過210,000個地理目標(biāo)和超過400,000個目標(biāo)-關(guān)系三元組，影像幅面為512×768到27,860×31,096像素)。STAR樣本庫可以為大幅面遙感影像目標(biāo)檢測和場景圖生成任務(wù)提供有力數(shù)據(jù)支撐。
 

　　在方法探索方面，論文提出了一種基于全局上下文感知的大幅面遙感影像場景圖生成方法：從目標(biāo)檢測、目標(biāo)對剪枝和關(guān)系預(yù)測三個層面逐級漸進(jìn)解析大幅面復(fù)雜遙感影像。具體地，提出了能夠靈活集成多尺度上下文的整體多類目標(biāo)檢測方法，檢測大幅面遙感影像中的目標(biāo)；設(shè)計了基于對抗-重構(gòu)的關(guān)系候選對生成方法，篩選包含高價值關(guān)系的目標(biāo)對；提出了帶有上下文感知消息傳遞的關(guān)系預(yù)測方法，預(yù)測候選對的關(guān)系類型。
 

圖2.基于全局上下文感知的大幅面遙感影像場景圖生成方法
 

　　在評估基準(zhǔn)構(gòu)建方面，針對面向水平框和旋轉(zhuǎn)框的大幅面遙感影像目標(biāo)檢測與場景圖生成任務(wù)，發(fā)布了面向大幅面遙感影像的場景圖生成算法工具包(包含30余種目標(biāo)檢測方法和10余種場景圖生成方法)。依托STAR樣本庫，進(jìn)行了全面基準(zhǔn)測試，實驗表明提出的新方法相比基線方法具有明顯性能優(yōu)勢。
 

圖3.論文提出新方法與現(xiàn)有方法在STAR數(shù)據(jù)集上的場景圖生成結(jié)果可視化對比
 

　　該項研究得到國家自然科學(xué)基金重點(diǎn)項目和面上項目資助支持。