據(jù)報(bào)道,近日,蔚來智駕研發(fā)部完成架構(gòu)調(diào)整,將感知和規(guī)控團(tuán)隊(duì)合并為一個(gè)大模型團(tuán)隊(duì)。此前,蔚來智能駕駛研發(fā)部分為感知、規(guī)控和集成等部分,這一調(diào)整意味著蔚來將更明確地探索用端到端大模型實(shí)現(xiàn)高階智能駕駛。
蔚來智能駕駛研發(fā)副總裁任少卿表示,蔚來不再將智能駕駛分解為獨(dú)立的感知、決策和規(guī)控三個(gè)階段,而是將這三個(gè)階段整合為一個(gè)完整的端到端系統(tǒng)。即從輸入端感知外部環(huán)境到輸出端產(chǎn)生給油門和剎車等部件的控制指令的全過程,都由深度神經(jīng)網(wǎng)絡(luò)完成。
蔚來智能駕駛
AI大模型在汽車行業(yè)的應(yīng)用場景非常廣泛,涵蓋了汽車研發(fā)、生產(chǎn)、銷售、使用等各個(gè)環(huán)節(jié),包括智能駕駛和智能座艙等方面。
國內(nèi)AI大模型加速上車,不只是蔚來,其他車企也在積極擁抱AI大模型技術(shù),陸續(xù)將大模型技術(shù)應(yīng)用于車輛的智能駕駛場景。
例如,2023年4月,長城汽車控股的毫末智行發(fā)布了全球首個(gè)自動(dòng)駕駛生成式大模型DriveGPT雪湖·海若。并通過引入真實(shí)人駕接管數(shù)據(jù)建立RLHF(人類反饋強(qiáng)化學(xué)習(xí))機(jī)制,解決自動(dòng)駕駛的認(rèn)知決策問題,以生成更貼近人類駕駛邏輯的決策,來提高自動(dòng)駕駛的安全性和可靠性。
今年1月,吉利汽車發(fā)布了全球首個(gè)汽車行業(yè)全場景大模型——吉利星睿AI大模型。該大模型以星睿智算中心為算力底座,將自研基礎(chǔ)大模型與吉利npds研發(fā)體系、巨量造車全鏈路場景數(shù)據(jù)庫深度融合。
在智能駕駛方面,吉利星睿AI大模型擁有多模態(tài)大模型、語音大模型和數(shù)字孿生大模型3款基礎(chǔ)模型,這些模型共同構(gòu)成了一個(gè)全面的智能駕駛技術(shù)體系,能夠提供從智能交互到智能駕駛的全方位支持。
今年5月,小鵬汽車發(fā)布了國內(nèi)首個(gè)量產(chǎn)上車的端到端大模型,包括神經(jīng)網(wǎng)絡(luò)XNet、規(guī)控大模型XPlanner和大語言模型XBrain。
這些模型通過聚合動(dòng)態(tài)XNet、靜態(tài)XNet和行業(yè)首個(gè)量產(chǎn)純視覺2K占用網(wǎng)絡(luò),提升了自動(dòng)駕駛系統(tǒng)的深度視覺感知能力,并在感知、定位、規(guī)劃和控制方面實(shí)現(xiàn)了全面的端到端處理。
端到端大模型是一種在人工智能領(lǐng)域中應(yīng)用廣泛的技術(shù),特別是在高階智駕中具有重要意義。
在自動(dòng)駕駛領(lǐng)域,端到端大模型通過整合相機(jī)圖像、激光雷達(dá)等多種傳感器數(shù)據(jù),通過一個(gè)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行感知、理解、規(guī)劃和控制。
這種模型能夠簡化傳統(tǒng)自動(dòng)駕駛系統(tǒng)中復(fù)雜的模塊化架構(gòu),提供更流暢的決策過程,同時(shí)減少延遲和提高整體系統(tǒng)的魯棒性。
端到端大模型還在加速城區(qū)NOA等高級(jí)駕駛輔助功能的落地方面,展現(xiàn)出了顯著的優(yōu)勢。
由于不需要單獨(dú)優(yōu)化每一個(gè)模塊,端到端的訓(xùn)練和調(diào)試過程可以大大縮短研發(fā)周期,加速產(chǎn)品的上市時(shí)間,還能減少中間環(huán)節(jié)的優(yōu)化和集成成本,有助于降低總體的研發(fā)和生產(chǎn)成本。
此外,大模型訓(xùn)練和運(yùn)行需要巨大的算力支持,自動(dòng)駕駛等領(lǐng)域應(yīng)用的模型,擁有數(shù)億乃至數(shù)十億的參數(shù),訓(xùn)練和運(yùn)行這些模型對(duì)GPU、TPU等加速硬件有極高需求。
尤其在車載應(yīng)用中,模型需要在有限的時(shí)間內(nèi)完成計(jì)算,對(duì)算力和算法優(yōu)化提出更高要求。
因此許多車企也建立了智算中心。
智算中心整合了大量的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源,為大模型提供穩(wěn)定的高性能計(jì)算環(huán)境。此外,集中處理數(shù)據(jù),便于數(shù)據(jù)清洗、標(biāo)注、管理和隱私保護(hù),還能減少數(shù)據(jù)傳輸帶來的安全風(fēng)險(xiǎn)。智算中心提供平臺(tái)進(jìn)行模型的快速迭代、測試和優(yōu)化,還將加速產(chǎn)品上市周期。
例如,吉利星睿智算中心的云端總算力達(dá)到81億億次每秒,通信網(wǎng)絡(luò)傳輸速度達(dá)800GB每秒,存儲(chǔ)帶寬4.5TB每秒。這種高性能的計(jì)算能力為自動(dòng)駕駛模型訓(xùn)練、智能駕駛系統(tǒng)開發(fā)等提供了強(qiáng)大的支持。
吉利星睿智算中心
毫末智行與火山引擎合作建設(shè)的智算中心雪湖·綠洲智算中心,旨在加速其自動(dòng)駕駛技術(shù)的迭代和優(yōu)化,尤其是針對(duì)城市復(fù)雜環(huán)境的自動(dòng)駕駛功能。
雪湖·綠洲智算中心
小鵬汽車在烏蘭察布建成了“扶搖”智算中心,通過與阿里云的合作,不僅提升了自動(dòng)駕駛模型的訓(xùn)練速度,還能夠處理更復(fù)雜的數(shù)據(jù)集,加快了自動(dòng)駕駛功能的商業(yè)化進(jìn)程。
“扶搖”智算中心
蔚來的“蔚來云”智算中心不僅處理日常的自動(dòng)駕駛數(shù)據(jù),還支持車輛遠(yuǎn)程升級(jí)、數(shù)據(jù)分析和故障預(yù)測等功能,增強(qiáng)了蔚來的智能網(wǎng)聯(lián)汽車服務(wù)。
此外,還有比亞迪的“云輦”智算中心、理想汽車智算中心等。
建立自己的智算中心使汽車廠商能夠控制自己的AI技術(shù)棧,減少對(duì)外部供應(yīng)商的依賴,從而降低技術(shù)風(fēng)險(xiǎn)和成本,并且能夠更快地適應(yīng)市場需求和技術(shù)變化。
此外還可能促使汽車制造商與芯片制造商、軟件開發(fā)商和云計(jì)算服務(wù)商等上下游企業(yè)形成更緊密的合作關(guān)系,推動(dòng)整個(gè)智能汽車產(chǎn)業(yè)生態(tài)的成熟。
隨著智能網(wǎng)聯(lián)汽車的發(fā)展,擁有自主大模型和智算中心的汽車廠商具有明顯的技術(shù)優(yōu)勢,也意味著智能汽車行業(yè)從單一產(chǎn)品制造向綜合解決方案提供商轉(zhuǎn)型。
由中國科學(xué)技術(shù)協(xié)會(huì)主辦,中關(guān)村產(chǎn)業(yè)技術(shù)聯(lián)盟聯(lián)合會(huì)、中國通信工業(yè)協(xié)會(huì)數(shù)據(jù)中心委員會(huì)(CIDC)承辦,數(shù)字開物、中國IDC圈協(xié)辦的“AI大模型應(yīng)用場景”產(chǎn)學(xué)研融通創(chuàng)新活動(dòng)即將啟動(dòng),本項(xiàng)活動(dòng)將共同推動(dòng)大模型在各個(gè)領(lǐng)域的廣泛應(yīng)用與創(chuàng)新發(fā)展,探討在實(shí)際應(yīng)用中的挑戰(zhàn)與機(jī)遇。
根據(jù)整體計(jì)劃安排,現(xiàn)正式啟動(dòng)“AI大模型應(yīng)用場景”產(chǎn)學(xué)研融通創(chuàng)新活動(dòng)并面向行業(yè)領(lǐng)軍企業(yè)/機(jī)構(gòu),公開征集AI大模型應(yīng)用場景相關(guān)產(chǎn)業(yè)問題。通過征集產(chǎn)業(yè)問題,旨在全面了解AI大模型在實(shí)踐中面臨的挑戰(zhàn)及發(fā)展趨勢。
請(qǐng)長按或掃碼下方二維碼報(bào)名:
“AI大模型應(yīng)用場景”產(chǎn)學(xué)研融通創(chuàng)新活動(dòng)