Facebook <a class="innerlink" href="http://www.jysgc.com/tags/arget="_blank">AI" target="_blank">AI 推出 Ego4D
近日，F(xiàn)acebook AI 宣布推出 Ego4D，這是一個雄心勃勃的長期項(xiàng)目，為的就是解決以自我為中心的感知領(lǐng)域的研究挑戰(zhàn)。
研究者匯集了一個由 9 個國家的 13 所大學(xué)和實(shí)驗(yàn)室組成的聯(lián)盟，他們在野外收集了 700 多名參與者的日常生活，超過 2,200 小時的第一人稱視頻。
Ego4D 是一個具有多樣性的大規(guī)模的以第一人稱視角為中心的數(shù)據(jù)集。它由來自全球 9 個不同國家 74 個地點(diǎn)的 855 名獨(dú)特參與者收集的 3025 小時視頻組成。該項(xiàng)目匯集了 88 名國際財(cái)團(tuán)的研究人員，以大幅提高公開的以自我為中心的數(shù)據(jù)規(guī)模，使其在錄像時間方面比任何其他數(shù)據(jù)集都大 20 倍以上。
AI 也可以體驗(yàn)第一視覺
Facebook 首席研究科學(xué)家克里斯汀·格勞曼 （Kristen Grauman） 表示，今天的計(jì)算機(jī)視覺系統(tǒng)不像人類那樣與第一人稱和第三人稱視角相關(guān)聯(lián)。
就像是，將計(jì)算機(jī)視覺系統(tǒng)綁在過山車上，即使它是根據(jù)從地面邊線顯示的數(shù)十萬張過山車的圖像或視頻進(jìn)行訓(xùn)練的，但是它也不知道它在看什么。
為了讓人工智能系統(tǒng)能夠像我們一樣的方式與世界互動，人工智能領(lǐng)域需要發(fā)展到一種全新的第一人稱感知范式，“格勞曼在一份聲明中說。”這意味著人工智能在實(shí)時運(yùn)動、交互和多感官觀察的背景下，通過人眼理解日常生活活動。“
Facebook AI 還開發(fā)了五個以第一人稱視覺體驗(yàn)為中心的基準(zhǔn)挑戰(zhàn)，這將推動未來 AI 助手向現(xiàn)實(shí)世界應(yīng)用的發(fā)展。
例如，”我把鑰匙放哪兒了？“”手機(jī)在哪里？“”有看到我的充電線嗎？“這種場景別提有多熟悉了，幾乎每天都會上場。
Ego4D 的第一個基準(zhǔn)挑戰(zhàn)是情景記憶（Episodic memory）。
關(guān)鍵就是什么時候發(fā)生的？AI 可以通過檢索過去以自我為中心的視頻中的關(guān)鍵時刻來回答自由形式的問題并擴(kuò)展個人記憶。
你可以問 AI 助手各種各樣的問題，例如：我把孩子最喜歡的泰迪熊放哪兒了？
下一步就是進(jìn)行預(yù)測：接下來可能會做什么？
人工智能可以理解佩戴者的行為會如何影響這個人未來的狀態(tài)，比如這個人可能會移動到哪里，他們可能會觸摸什么物體，或者他們接下來可能會從事什么活動。預(yù)測行動不僅需要認(rèn)識到已經(jīng)發(fā)生的事情，還需要展望未來，預(yù)測下一步行動。這樣AI系統(tǒng)就可以在當(dāng)下提供有用的指導(dǎo)。
例如，就在你想要再次準(zhǔn)備向鍋里加鹽時，你的人工智能助手會趕緊通知你”等等，您已經(jīng)加鹽了“
第三個挑戰(zhàn)基準(zhǔn)就是手-物之間的互動（Hand and object manipulation）也是難點(diǎn)和關(guān)鍵的一步，因?yàn)锳I需要理解在做什么，如何做？
學(xué)習(xí)手如何與物體互動對于AI指導(dǎo)我們的日常生活至關(guān)重要。AI必須檢測第一人稱的人-物交互，識別抓取，并檢測物體狀態(tài)變化。這種推動力也受到機(jī)器人學(xué)習(xí)的推動，機(jī)器人可以通過視頻中觀察到的人們的經(jīng)驗(yàn)間接獲得經(jīng)驗(yàn)。
因此，當(dāng)你在烹飪一份食譜時，AI 助手可以指導(dǎo)你需要哪些配料，需要先做什么，了解你已經(jīng)做了什么，指導(dǎo)你完成每一個關(guān)鍵步驟。
人類可以用聲音來理解世界，未來的人工智能也要學(xué)會這種視聽記錄（Audio-visual diarization）。
如果你正在上一堂重要的課，但因收到的信息而分了心，你可以問AI：”教授把我們的試卷收上去之后，課堂討論的主要話題是什么？“
這個就是第四個挑戰(zhàn)基準(zhǔn) - 視聽分類
我正在與誰互動，如何互動？例如”如何在嘈雜的地方更好地聽到別人說話的聲音“
社會互動（Social interaction）是 Ego4D 的最后一個方向。
除了識別視覺和聲音提示外，理解社交互動是智能 AI 助手的核心。一個社交智能的 AI 會理解誰在和誰說話，誰在關(guān)注誰。
所以，下次參加晚宴時，即使再嘈雜，AI 助手可以幫助你專注于桌子對面和你說話的人在說什么。
以上這些基準(zhǔn)挑戰(zhàn)都是以第一人稱視覺為中心的人工智能的基本構(gòu)建模塊，這將讓 AI 不僅可以在現(xiàn)實(shí)世界中理解和互動，還可以在元宇宙中進(jìn)行理解和交互，構(gòu)成更有用的 AI 助手和其他未來創(chuàng)新的基礎(chǔ)。
解開真實(shí)數(shù)據(jù)集
基準(zhǔn)和數(shù)據(jù)集在歷史上被證明是人工智能行業(yè)創(chuàng)新的關(guān)鍵催化劑。畢竟，今天的 CV 系統(tǒng)幾乎可以識別圖像中的任何對象，它是建立在數(shù)據(jù)集和基準(zhǔn)（例如 MNIST、COCO 和 ImageNet）之上的，它們?yōu)檠芯咳藛T提供了一個用于研究真實(shí)世界圖像的試驗(yàn)臺。
但是以自我為中心的感知是一個全新的領(lǐng)域。我們不能使用昨天的工具來構(gòu)建明天的創(chuàng)新。Ego4D 前所未有的規(guī)模和多樣性對于引入下一代智能 AI 系統(tǒng)至關(guān)重要。
為了構(gòu)建這個數(shù)據(jù)集，每所合作大學(xué)的團(tuán)隊(duì)向研究者分發(fā)了頭戴式攝像頭和其他可穿戴傳感器，以便他們能夠捕捉第一人稱、無腳本視頻。日常生活。
參與者從日常場景中錄制大約8分鐘的視頻片段，例如雜貨店購物、烹飪和邊玩游戲邊交談以及與家人和朋友一起參與其他集體活動。
Ego4D 捕捉了佩戴攝像機(jī)的人在特定環(huán)境中選擇注視的內(nèi)容，用手或是面前的物體做了什么，以及他們?nèi)绾我缘谝蝗朔Q視覺與其他人進(jìn)行互動。
與現(xiàn)有數(shù)據(jù)集相比，Ego4D 數(shù)據(jù)集提供了更大的場景、人物和活動的多樣性，這增加了針對不同背景、種族、職業(yè)和年齡的人訓(xùn)練的模型的適用性。
Ego4D 及以后的下一步是什么？
Facebook AI 試圖通過 Ego4D 項(xiàng)目打造一條全新的道路，以構(gòu)建更智能、更具交互性和靈活性的計(jì)算機(jī)視覺系統(tǒng)。
隨著人工智能對人們正常生活方式有了更深入的理解，它可以開始以前所未有的方式對交互體驗(yàn)進(jìn)行情境化和個性化。
Grauman表示：”Ego4D 使人工智能有可能獲得根植于物理和社會世界的知識，這些知識是通過生活在其中的人的第一人稱視角收集的。“”由此開始，人工智能不僅會更好地了解周圍的世界，有一天它可能還會實(shí)現(xiàn)個性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線。“
有了 Ego4D 的基準(zhǔn)支持，配合上在全新數(shù)據(jù)集中的訓(xùn)練，AI 助手有可能以非常獨(dú)特和有意義的方式提供很多的價值，例如，幫助回憶起最近與同事交談中的關(guān)鍵信息，或者指導(dǎo)制作新的晚餐食譜，新的宜家家居等。
Facebook 表示，從這一系列工作中獲得的價值將推動我們走向未來的現(xiàn)實(shí)。
瑪麗皇后大學(xué)的人工智能研究員Mike Cook認(rèn)為，從積極的角度來說，至少就目前而言，這是一個非常棒的大型數(shù)據(jù)集。
但，這實(shí)際上并沒有解決人工智能中的一個緊迫挑戰(zhàn)或問題……除非你是一家想要銷售可穿戴相機(jī)的科技公司。它確實(shí)告訴你更多關(guān)于Facebook的未來計(jì)劃，但是……他們向它注入資金并不意味著它一定會變得重要。
