他的代碼在NASA上天，在港科廣落地
“港科廣er說”
信息樞紐人工智能學域 2023級博士生邱迪聰
隨著AIGC的普及，人們對于AI的未來也產(chǎn)生了更多的討論。英偉達創(chuàng)始人黃仁勛曾表示，AI下一個浪潮將是“具身智能”。創(chuàng)業(yè)者們爭相進場，而在香港科技大學（廣州）信息樞紐的人工智能學域里，去年入學的博士生邱迪聰憑借一款具身智能商超機器人屢次斬獲創(chuàng)業(yè)比賽獎項，他的公司成立僅4個月即完成種子輪融資，投資者包括百度前COO、YC中國創(chuàng)始人陸奇。這款具身智能機器人展示了最前沿的技術如何在商超零售的場景中得以應用：語音控制機器人補貨和揀貨。
在這期“港科廣er說”中，邱迪聰將為我們介紹他在港科大（廣州）進行具身智能機器人創(chuàng)業(yè)的想法和經(jīng)歷。
在港科廣創(chuàng)業(yè)是一種什么樣的體驗？
Q:?請簡單地做個自我介紹吧！
邱迪聰：我是土生土長的廣州人，之前在中山大學讀本科，后來去了美國卡內(nèi)基梅隆大學攻讀機器人研究生，也是雅可比機器人 Jacobi.ai 的創(chuàng)始人兼CEO，致力于結(jié)合多模態(tài)機器人AI與跨形態(tài)運動控制技術，打破機器人場景與形態(tài)的邊界，讓智能機器人走進各行各業(yè)、千家萬戶，把AGI（通用人工智能）帶到物理世界。我的研究方向主要在 AI/AGI 與機器人的結(jié)合上，包括具身智能、機器人行為決策與規(guī)劃、不確定性與非線性控制等，在 RSS、AeroConf 等會議和 SCI 期刊上發(fā)過表多篇論文，并有多項國內(nèi)、美國和國際專利。曾經(jīng)在 ISEE AI、美國宇航局噴氣動力實驗室（NASA JPL）、大疆創(chuàng)新（DJI）、PIX Moving 等公司和研究機構擔任過高管或工作過，有多年的技術與產(chǎn)品研發(fā)經(jīng)驗，參與過廣州市政府自動駕駛商業(yè)化運營、L4級自動駕駛系統(tǒng)全技術棧研發(fā)、火星探測車開發(fā)等項目與工作。
Q:?你在機器人和人工智能的學習道路上不乏名校大廠，為什么最后選擇在港科廣讀博和創(chuàng)業(yè)？
邱迪聰：選不選擇創(chuàng)業(yè)，這是一個很慎重的事情，創(chuàng)業(yè)是要天時地利人和，缺一不可。
可以這樣去理解，我們要做嚴謹?shù)膭?chuàng)業(yè)，就必須要考慮到很多的因素，但是，我本身也非常希望去創(chuàng)造一些新的東西，所以我選擇加入的這些公司都很有創(chuàng)新性，甚至都是創(chuàng)業(yè)公司。
來到了港科廣后，港科廣本身對于產(chǎn)學研結(jié)合，對于技術要用到實際處，對社會產(chǎn)生效益和對這個行業(yè)產(chǎn)生實際價值這一點，是與很多其他大學為了純粹做學術研究發(fā)論文很不一樣，從我的感觸來說，學校非常希望師生能夠產(chǎn)生對社會有益的研究，這一點是我覺得非常獨特，而且也非常適合我們的。港科廣也對我們這個項目有很多支持，所以就能以非常良性的正循環(huán)一直走下去。
目前學校給我們團隊提供了一個在紅鳥創(chuàng)客空間的實驗室，主要是用來做研發(fā)和技術驗證的，叫研發(fā)模塊化的驗證。有整機的驗證、機器人的搭建調(diào)試，以及對整個系統(tǒng)在實驗室環(huán)境下的全流程的驗證等等。同時也會結(jié)合學校產(chǎn)學研和其他學校團隊的研究進行很多項目合作。
在實驗室里，我們會設置不同的元素，例如，超市里面肯定有貨架，實驗室可以通過貨物和機器人的搭建來做這種實驗，從分模塊的驗證到整合整個系統(tǒng)的驗證，再到實驗室級別的全流程推進，我們?nèi)挤诺絼?chuàng)客空間的實驗室里面去做，以后就可能需要更大的地方，才能夠去做更好的實驗室驗證和持續(xù)迭代了。
而且我們現(xiàn)在的實驗場地，已經(jīng)不止是學校給我們提供的紅鳥創(chuàng)客空間里面的一個實驗室，還有在真實場景里面的實驗。比如在校內(nèi)超市，我們也有做在真實場景的技術驗證。
學校的知識轉(zhuǎn)移辦公室創(chuàng)業(yè)中心非常支持學生創(chuàng)業(yè)，之前他們在了解和洽談周邊地區(qū)的產(chǎn)業(yè)孵化中心，以達成合作，不只是幫助我這一個創(chuàng)業(yè)項目，還有對學校的其他所有創(chuàng)業(yè)團隊進行入駐，給到場地上的支持。這一塊一直在持續(xù)地推進中。
現(xiàn)在每次港科廣，包括港科大，對外說科大體系下的創(chuàng)業(yè)項目時，我們也算是一個每次都會被拎出來的項目之一，這一點我也挺榮幸的。
Q:?目前你的團隊規(guī)模是什么樣的呢？公司處于一個什么樣的階段？
邱迪聰：除了我以外，公司還有兩位聯(lián)合創(chuàng)始人，分別是同樣于卡內(nèi)基梅隆大學獲得博士學位的人工智能學域助理教授梁俊衛(wèi)，也就是我的博士生導師，和在機器人運營和商業(yè)化方面擁有豐富經(jīng)驗的湯安。包括在港科廣，我也認識到了一些其他領域志同道合的同學，他們都陸續(xù)地加入了我們的團隊。
我長期專注于 AI 和機器人技術的結(jié)合。梁俊衛(wèi)老師則在視頻大模型和具身智能兩方面擁有深厚積累，湯安曾具備數(shù)百臺量級的無人車車隊運營和落地經(jīng)驗。
團隊核心成員的結(jié)合，給公司提供了前沿的技術積淀和良好的商業(yè)化能力，進而推動上述具身智能解決方案的誕生。不過，目前公司還處于初創(chuàng)階段，團隊規(guī)模在 10 人左右，我們正在基于如上所說的種子輪融資，布局以下兩方面的事務。
第一，提升“大腦”J-Mind 的能力，讓機器人可以更加通用地理解開放場景，并將其轉(zhuǎn)化為抽象的行為執(zhí)行過程。
第二，基于共創(chuàng)模式，與來自商超、藥企、餐飲等領域的客戶共同打磨場景，以大幅地提升面向未來的具身智能機器人的行為能力，并走向真正的落地。
讀博，為創(chuàng)業(yè)賦能
Q:?你的博士研究方向和產(chǎn)品研發(fā)是怎樣結(jié)合在一起的？
邱迪聰：超市并不是我們天花板，而是我們的一個切入點，也就是說，我們要做的事情其實是具身智能，它能夠用在各種各樣的場景，包括超市、餐廳，甚至是一些辦公場所。
之前像Mobile Aloha火了一把，就是因為它給所有人看到了機器人可以進入到我們?nèi)粘Ｉ钪械目赡苄?。這一點是讓我，還有全世界很多人，包括我的導師梁俊衛(wèi)教授，都倍感興奮的事情。我和梁老師也是非常希望能夠讓具身智能機器人進入到家庭和生活場景之中的。當然，我們會從一個能夠有PMF（產(chǎn)品市場契合度）的點優(yōu)先去切入。
所以我的其中一個研究方向，是怎么才能夠喚醒大語言模型以及多模態(tài)大模型的潛在能力，讓機器人可以自主推理，并想出一些新的技能去有效地解決遇到的問題，讓機器人擁有開放的認知、推理和決策能力。
第二個方向的研究是在全開放場景之下的機器人任務執(zhí)行能力，以及是在面向更復雜的環(huán)境下機器人的操縱能力。這個也是我在港科廣的主要方向之一，也就是在具身智能體系之下，面向未來的機器人要在開放場景去執(zhí)行任務，研究機器人的智能和運動模態(tài)能力上的結(jié)合。
Q:?可以說說你們是怎么在公司剛成立4個月的時候就拉到種子輪融資的過程嗎？
邱迪聰：我們這個項目發(fā)起的時候，其實是自己投了一些錢，想做這個方向，后來我們也在思考具體怎么做。我們希望能夠找到一個非常有行業(yè)眼光的人，跟我們一起去聊一聊，但這種人其實一般很難找得到。剛好那個時候，我們其中一名最早期的合伙人有一些奇績創(chuàng)壇（YC中國）的人脈，我就跟他討論了很多相關的想法。他說要不你就寫一個策劃案投給陸奇（Y Combinator中國CEO），如果成功進面，你就能夠跟陸奇聊一聊。我們就抱著這樣的一個目的去把我們的想法寫了一個一、兩頁的A4紙。
我們也是通過了一輪輪的面試，最終見到了陸奇和他的合伙人，也跟他聊了我們的想法，不僅實現(xiàn)了我們最初的目的，而且他還說我們團隊的這些想法都很好，我們就覺得這是一個意外之喜。他后來投資我們的種子輪，包括他的另外三位合伙人，在他的創(chuàng)業(yè)營和其他各方面都幫了我們很多。
Q:?那你現(xiàn)在作為一個創(chuàng)業(yè)者的日常是什么樣的呢？
邱迪聰：作為一個創(chuàng)業(yè)者，肯定要承受比正常的工作、學習更多的壓力和責任，以及需要做很多方面的努力。這些還遠遠不夠，還要有團隊的各個小伙伴一起去共同的創(chuàng)造和創(chuàng)新。這個說實話肯定不是我一個人的努力能做到的。
很重要的一點是，其實工作也好，學習也好，是人家給了一張卷子，你去想辦法給一個答案，我們是要自己給自己出一張卷子，自己給一個答案，而這張卷子出的對不對，就是一個很大的考究了。這張卷子對于投資人來說，得是一張對的卷子，對于市場來說，得是一張對的卷子，之后你的回答才有意義。不然的話你努力了非常多，給了一張完美的答卷，但你自己的問題出錯了，就等于打水漂。
嗯，我的代碼確實上天了。
Q:?在你的過往經(jīng)歷里還參與了美國航空航天局（NASA）的火星探測車的相關工作，這應該很少人能有這樣的經(jīng)歷，當時是做了什么樣的工作呢？
邱迪聰：我當時在卡內(nèi)基梅隆大學所做的項目與火星車有些相關。我們的項目是為了讓星球探測車（Planetary Rovers）在沒有人類協(xié)助的情況下進行操作。簡單來說，就是如果一個星球探測車被卡住了，另一個星球探測車可以自動前去救援。比如說，月球車被卡在石頭上或者陷入坑里，另一輛車可以通過我們稱為“系統(tǒng)”的協(xié)同系統(tǒng)相互合作、自救和救援。同時，我們在項目中進行了大量的強化學習和機器學習方面的工作。
在NASA實習時，我的工作就是讓星球探測車，例如月球車或火星車，能夠自主理解所看到的內(nèi)容，并通過自然語言描述出來。更重要的是，科學家能夠直接輸入一段話，告訴火星車要找什么樣的地理特征或者高價值數(shù)據(jù)，火星車就能夠根據(jù)科學家的話自主探索、優(yōu)先尋找相關的地理地貌特征，并把這部份數(shù)據(jù)以高優(yōu)先級傳回地球。我們通過AI驅(qū)動的方式讓星球探測車能夠?qū)崿F(xiàn)自主的地外探索。我的工作也被成功地部署到了多個火星車上，我的算法在2020年的時候應該也跟著 “火星2020”（Mars 2020）的任務一起飛到火星上去了。
我做的系統(tǒng)除了可以在星球探測車上用，也用在了NASA的數(shù)據(jù)庫上。科學家能夠直接輸入一段話，告訴它想要找什么樣的數(shù)據(jù)，有什么樣的特征，我的算法搜索圖像內(nèi)容，直接就幫他把這些數(shù)據(jù)排序給找出來。所以就相當于給NASA做了一個NASA版的Google Image。這個工作大大節(jié)省了科學家做數(shù)據(jù)分析、歷史數(shù)據(jù)回訪的時間，極大提高了他們的效率，所以挺有意義的。這個工作也成功地被延展到其他一些成果上，發(fā)了幾篇論文。
所以那個時候很多人說，你的代碼上天了。嗯，我的代碼確實上天了。
十年磨一劍迎接時代風口
Q:?你從高中就開始接觸機器人，在這將近十年的時間里從機器人到現(xiàn)在大熱的具身智能機器人，你有預想過嗎？
邱迪聰：我認為這種智能技術跟機器人的結(jié)合肯定是一個必然會發(fā)生的事情。十年之前，我就認為：機器人和AI就應該結(jié)合在一起。那個時候我就開始研究強化學習等一系列的技術了，我認為AI的發(fā)展在那時看來已經(jīng)是一個很明顯的趨勢，因為它能夠拓展我們通過編程沒辦法得到的邊界，它能夠有自主的學習能力，所以我一直以來都是人工智能的一個有信念者，我也堅定不移地選擇了AI和機器人結(jié)合的道路。
我只是看上去幸運而已，其實每一步的選擇都做了很多思考。像我現(xiàn)在的創(chuàng)業(yè)項目，為什么要選擇這種大小腦的一個架構？為什么要選擇我們能夠有數(shù)據(jù)遷移的能力，而不是直接做端到端的模型去指導機器人這種看著很流行的方式，其實都是通過非常多的調(diào)研、思考、討論、論證得到的結(jié)果，還要結(jié)合未來科技發(fā)展整個市場的動態(tài)，其他公司要怎么去做，他們下一步肯定會怎么做，用這些信息去推演出一個最適合我們生存和發(fā)展的最高效的路徑。
其實包括我自己的人生，每一步的選擇也都是要經(jīng)過很多很費神或者是徹夜難眠的考慮，這個東西不容易的，一方面運氣的成分肯定是挺重要的，但這個事情并不是人可以把握的，只能說謀事在人，成事在天，但是你首先得謀好，不然給機會又會抓不住。
那么怎么能夠把每一步要做的事情做到最好，或者說往你的目標方向去驅(qū)使，每一步都需要做過仔細的思考，而不是拍腦袋就能拍出來的。
對未來加入港科大（廣州）的學弟、學妹們，說一個推薦他們來就讀的理由吧。
邱迪聰：港科大（廣州）有世界前沿的研究課題和匹配的師資力量，在產(chǎn)學研結(jié)合方面有著獨特的優(yōu)勢，學校也在大力支持創(chuàng)新創(chuàng)業(yè)工作，能夠讓最前沿的研究產(chǎn)生最大的價值，學校氛圍開放包容，能夠讓我們在自由的環(huán)境下實現(xiàn)科研和創(chuàng)造的抱負。
