黃仁勛開源VLA模型 一夜削平自動駕駛門檻
時間:2026-01-07 09:48:17 出處:知識閱讀(143)
2026 CES ,黃仁黃仁勛穿著皮夾克又來了。勛開
不同的源V夜削是,皮夾克換成了更貴的模型鱷魚皮,也沒有像往屆一樣發布備受關注的平自游戲顯卡,這是動駕五年來,英偉達首次在CES卻沒有發布電腦顯卡。駛門
取而代之的黃仁是物理AI,黃仁勛在90分鐘的勛開新年第一講中,藏不住對AI世界的源V夜削野望,用他自己的模型話說,今天這里要“塞進去”的平自內容大概有15公斤那么多。
從前沿的動駕算力架構、自動駕駛,駛門到龐大的黃仁開源模型生態,再到多模態AI應用、物理AI、邊緣計算等未來的AI應用,英偉達全都要。
黃仁勛認為:“物理AI的‘ChatGPT時刻’近在咫尺,但挑戰很明確。物理世界多樣且不可預測。收集真實世界訓練數據緩慢又昂貴,而且永遠不夠。所以答案是合成數據”?。
而在其看來,自動駕駛將會是最早受益的應用之一。
01 奔馳先吃螃蟹
“我們正站在一個關鍵拐點上——從‘非自動駕駛’向‘自動駕駛’過渡。這個轉變,很可能就在未來十年內發生。”黃仁勛相當確信,全球將有非常非常大比例的汽車,會實現自動駕駛或高度自動駕駛。
在90分鐘的演講中,有關自動駕駛的內容占據了很大比重。
因為其開源了英偉達最新的自動駕駛大模型 Alpamayo,不僅對模型進行了開源,還開源了訓練這些模型所使用的數據。這也意味著,很多此前不具備VLA模型開發經驗的中小團隊,也能獲得與巨頭同等的技術積累,自動駕駛研發門檻一夜就被削去了。
黃仁勛表示,這是全球首個具備思考、推理能力的自動駕駛汽車AI,其中包括全球首個用于自動駕駛的開源推理VLA模型Alpamayo R1,和用于高保真自動駕駛測試的完全開源仿真框架AlpaSim。
用黃仁勛話來說,Alpamayo 是真正意義上的端到端:從攝像頭輸入,到執行器輸出。它使用了大量由人類駕駛員駕駛的真實里程數據,也使用了大量由Cosmos 生成的合成里程數據。除此之外,還有數十萬個樣本被極其精細地標注,用來教會這輛車如何駕駛。
Alpamayo最大的突破在于它是“推理型”自動駕駛模型,用以解決駕駛存在著極其龐大的“長尾問題”。
傳統自動駕駛系統是“感知-規劃-控制”的流水線架構,看到紅燈就剎車,看到行人就減速,遵循預設規則。而Alpamayo引入了“推理”能力,理解復雜場景中的因果關系,預測其他車輛和行人的意圖,甚至能處理需要多步思考的決策。
比如在十字路口,它不只是識別出“前方有車”,而是能推理”那輛車可能要左轉,所以我應該等它先過”,這種能力讓自動駕駛從“按規則行駛”升級到“像人一樣思考”。現場演示中,老黃給出了一段Alpamayo全程零接管點到點的Demo。
這其中得益于Cosmos物理AI世界基礎模型,用海量視頻、真實駕駛與機器人數據,以及3D模擬做過預訓練,它能理解世界是怎么運行的,把語言、圖像、3D和動作聯系起來。
依據3D場景生成逼真的視頻,根據駕駛數據生成符合物理規律的運動,還能從模擬器、多攝像頭畫面或文字描述生成全景視頻,就連罕見場景,也能還原出來。
結果就是,規劃精度提升12%、越界率降低35%、近碰率降低25%、推理-行動一致性提升37%、端到端延遲降低到99ms。
之所以能夠解決駕駛中的“長尾問題”,黃仁勛用了更通俗易懂的話來表述,核心在于“拆解”。
黃仁勛承認,我們不可能收集到在每一個國家、每一種環境、每一種條件下、對所有人群來說、可能發生的每一個場景的數據。然而非常重要的一點是,如果把這些場景拆解成許多更小的子場景,它們其實對人類來說都是非常常見、非常容易理解的情況。
“這些長尾場景可以被分解為一系列“正常情況”,而車輛已經知道如何應對這些情況,它只需要對當前情境進行推理即可。”
為了解決“沒有人能在‘無限長時間的真實駕駛’之前,百分之百確信它絕對安全”的問題,黃仁勛在Alpamayo還是用了一整套完整的自動駕駛棧,用來兜底。
簡單來說,兩套軟件系統彼此鏡像、相互對照運行,另外還有一套策略與安全評估器,用來判斷當前,這個駕駛場景,是否具備足夠高的置信度,能夠安全地進行推理和駕駛。如果能,則交由Alpamayo執行。如不能,安全與策略評估器判斷需要回退到一個更簡單、更安全的護欄系統,那么系統就會切換回傳統的自動駕駛軟件棧。
黃仁勛表示,搭載英偉達自動駕駛軟件的全新奔馳CLA是全球唯一同時運行這兩套自動駕駛系統的汽車。
沒錯,奔馳是第一個吃螃蟹的,新款奔馳CLA會首發搭載英偉達Alpamayo方案,而且在剛剛黃仁勛展示的Demo中,并沒有隱藏車輛信息,正是全新奔馳CLA。
其也宣布,將于今年第一季度在美國正式上路,隨后在第二季度進入歐洲,他還預計第三和第四季度會進入亞洲。
另外,開源的仿真框架AlpaSim也已在GitHub開放,能夠高保真驗證自動駕駛系統,為開發者提供安全、可擴展的虛擬測試環境。
“開發者還可以使用Cosmos生成合成數據,并在真實數據和合成數據的結合上訓練和測試基于Alpamayo的自動駕駛應用。”英偉達汽車部門副總裁Ali Kani表示。
02 物理AI的ChatGPT時刻快來了
作為開年第一講,絕不僅僅只涉及自動駕駛,重頭戲更在物理AI的計算躍進上,Alpamayo也只是其中一環。
在整個AI體系中,最重要的莫過于,其面向人工智能數據中心的全新計算平臺 Vera Rubin,黃仁勛在演講中花了近 10 分鐘來介紹其設計初衷、架構、技術細節等信息。
據黃仁勛介紹,AI 所需的計算量正在飆升,對英偉達 GPU 的需求也急劇增長。這是因為 AI 模型的規模每年都在以10倍的速度增長,而Vera Rubin 超算正是為了應對目前行業面臨的根本性挑戰而設計。
Vera Rubin架構,通過Vera CPU、Rubin GPU、NVLink 6 switch、ConnectX-9 SuperNIC、BlueField-4數據處理單元(DPU)、Spectrum-6 Ethernet switch這六大芯片的的協同設計,以實現更快的數據共享和更低的延遲,從而優化大規模AI模型的訓練和推理。
其中,硬件核心是Rubin GPU和VeraCPU,英偉達Rubin GPU 是Rubin 架構中負責 AI 計算的核心芯片,目標是顯著降低推理與訓練的單位成本,而Vera CPU是專為數據移動和Agentic處理設計的核心組件。
NVLink-6負責GPU內部協同計算,BlueField-4負責上下文與數據調度,而ConnectX-9則承擔系統對外的高速網絡連接。它確保Rubin系統能夠與其他機架、數據中心和云平臺高效通信,是大規模訓練和推理任務順利運行的前提條件。
繁瑣的專業話術不再贅述,核心思路就是,不再依靠堆卡,而是把整個數據中心變成一臺AI超算,相比參數,結果更重要。
結果就是,相比上一代Blackwell平臺,性能提升高達5倍,而功耗僅增加1.6倍。 這使得Vera Rubin架構整體能夠在相同時間內訓練大型“混合專家”(Mixture of Experts, MOE)AI模型,可將推理階段的 token 成本最高降低10倍,并將訓練混合專家模型(MoE)所需的 GPU 數量減少至原來的1/4。
反過來看,這也意味著Rubin能在相同機架空間內,大幅提升訓練吞吐量,并生成遠多于以往的token數量,而訓練越快,就能越早將下一代前沿技術推向市場。“這關乎著你的定價權”,黃仁勛頗為自豪的表示。
最重要的,這個平臺已進入全面生產階段,預計2026下半年開始出貨。
最后還有小彩蛋,黃仁勛現場還透露了,馬斯克的Grok 5下一代模型的參數規模將是7萬億,而不是之前盛傳的10萬億。
當然,以上這些還遠遠不是黃仁勛演講的所有內容,比如機器人的“全家桶”秀,舞臺上站滿了不同形態、不同用途的機器人,從人形機器人、雙足與輪式服務機器人,甚至還有CAT旗下的工程機械車。
還有涵蓋多個領域的開源模型全家桶:針對醫療健康與生命科學領域的AI技術工具Clara、面向AI物理模擬Earth-2、專注AI智能體領域的Nemotron專項模型。
英偉達在CES上展示的這些,已經不難看出其野心,正如黃仁勛在結尾時說的那樣:今天的英偉達早已不僅是芯片公司,他們所構建的是完整的全棧AI體系——從芯片、系統、基礎設施,到模型和應用。