時空視頻預(yù)測是指利用歷史視頻數(shù)據(jù)生成未來視頻幀的過程，在自動駕駛、氣候與環(huán)境監(jiān)測等現(xiàn)實場景中有廣泛的應(yīng)用。然而現(xiàn)有的時空視頻預(yù)測方法面臨著諸多挑戰(zhàn)，為此特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質(zhì)量視頻預(yù)測的物理輔助時空網(wǎng)絡(luò)以應(yīng)對相應(yīng)局限。目前，該研究成果已被人工智能領(lǐng)域?qū)W術(shù)會議ACM Multimedia收錄，題為：PastNet：Introducing Physical Inductive Biases for Spatio-temporal Video Prediction。

　　不同視頻預(yù)測方法在MovingMNIST上的性能比較。團隊所提出的PastNet在訓(xùn)練時間和圖像質(zhì)量方面優(yōu)于此前模型。具體而言，PastNet在訓(xùn)練100個周期時實現(xiàn)了最低的均方誤差(MSE)和最高的多尺度結(jié)構(gòu)相似性(MS-SSIM)分?jǐn)?shù)，并且其訓(xùn)練時間明顯短于其他模型。且，PastNet在訓(xùn)練過程中消耗時間最少。

　　以下為論文原文摘錄：

　　在該論文中，團隊研究了時空視頻預(yù)測的挑戰(zhàn)，涉及基于歷史數(shù)據(jù)流生成未來視頻?，F(xiàn)有的方法通常利用如語義地圖的外部信息來改善視頻預(yù)測質(zhì)量。然而這種方法往往忽略了視頻內(nèi)容本身所蘊含的物理特性。加之，此類方法的高計算要求也限制了其在高分辨率視頻處理中的應(yīng)用。

　　為了克服前述局限，特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質(zhì)量視頻預(yù)測的物理輔助時空網(wǎng)絡(luò)(PastNet，Physics-assisted Spatio-temporal Network)，以生成高質(zhì)量的視頻預(yù)測。PastNet的核心在于其在傅立葉域中引入了光譜卷積算子。該設(shè)計巧妙地將基本物理定律作為歸納偏置融入其中。與此同時，通過采用具備估算內(nèi)在維度能力的存儲體來離散化局部特征，PastNet能夠在處理復(fù)雜時空信號時顯著簡化計算開銷，從而支持更高效、更高分辨率的視頻預(yù)測。

　　該研究成果在廣泛的實驗中展現(xiàn)出了相較于眾多前沿技術(shù)更為突出的有效性和效率，尤其在處理高分辨率場景時表現(xiàn)優(yōu)異。所提出的PastNet模型在諸多現(xiàn)實場景中具備廣泛的潛在應(yīng)用價值，例如：

　　氣候科學(xué)領(lǐng)域：PastNet能夠預(yù)測氣候變化和天氣模式，對于災(zāi)害預(yù)警、農(nóng)業(yè)規(guī)劃和資源管理等方面具有重要意義。

　　自動駕駛領(lǐng)域：PastNet可以預(yù)測車輛、行人和其他物體的位置和運動，這對于自動駕駛系統(tǒng)的決策和路徑規(guī)劃至關(guān)重要。

　　應(yīng)急響應(yīng)領(lǐng)域：在緊急情況下，如火災(zāi)或自然災(zāi)害，PastNet可以預(yù)測事件的發(fā)展，幫助救援團隊制定更有效的救援計劃。

　　轉(zhuǎn)自：中國網(wǎng)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀