Helix – Figure 推出的端到端通用控制模型
什么是 Helix?
Helix 是 Figure 推出的通用視覺-語言-動作(VLA)模型,專為人形機器人的控制而設(shè)計。Helix 的推出標(biāo)志著機器人控制技術(shù)的重大突破,它首次實現(xiàn)了對機器人整個上半身(包括手腕、軀干、頭部和手指)的高速率(200Hz)連續(xù)控制。這一創(chuàng)新使得機器人能夠更精準(zhǔn)地執(zhí)行復(fù)雜的動作,同時支持多機器人協(xié)作,多個機器人可以共享同一組神經(jīng)網(wǎng)絡(luò)權(quán)重完成任務(wù)。Helix 的強大之處在于它能夠基于自然語言指令拿起從未見過的物品,展現(xiàn)出卓越的泛化能力。此外,Helix 的訓(xùn)練完全采用端到端的方式,無需任務(wù)特定的微調(diào),且能夠在低功耗 GPU 上運行,具備商業(yè)部署的巨大潛力。
Helix 的主要功能
1. 全上身控制
Helix 能夠?qū)C器人整個上半身進行高速率(200Hz)的連續(xù)控制,實現(xiàn)高精度的動作協(xié)調(diào)。這意味著機器人可以更靈活地完成各種復(fù)雜的動作,如抓取、操作和移動物品。
2. 多機器人協(xié)作
Helix 支持多個機器人同時運行同一套神經(jīng)網(wǎng)絡(luò)權(quán)重,實現(xiàn)協(xié)作完成任務(wù)。例如,多個機器人可以共同搬運或整理物品,大大提高了工作效率。
3. 自然語言理解與執(zhí)行
基于自然語言指令,Helix 可以讓機器人完成各種任務(wù)。無論是拿起從未見過的物品,還是操作抽屜或冰箱,Helix 都能夠輕松應(yīng)對。
4. 強大的泛化能力
Helix 能夠處理數(shù)千種形狀、大小和材質(zhì)各異的物品,展現(xiàn)出強大的泛化能力。這意味著機器人可以在各種不同的環(huán)境中靈活應(yīng)用。
5. 商業(yè)部署能力
Helix 完全在低功耗嵌入式 GPU 上運行,適合大規(guī)模商業(yè)化應(yīng)用。這一特性使得 Helix 在實際應(yīng)用中具有極高的潛力和可行性。
Helix 的技術(shù)原理
1. 系統(tǒng)2(S2)
系統(tǒng)2(S2)基于 7B 參數(shù)的開源視覺語言模型(VLM),負責(zé)場景理解和語言理解。S2 的處理頻率為 7-9Hz,用于“慢速思考”高級目標(biāo),將視覺和語言信息轉(zhuǎn)化為語義表征。S2 將語義信息編碼為連續(xù)的潛在向量,并傳遞給系統(tǒng)1。
2. 系統(tǒng)1(S1)
系統(tǒng)1(S1)基于 80M 參數(shù)的 Transformer 編碼器-解碼器架構(gòu),用于底層控制。S1 的處理頻率為 200Hz,能夠快速執(zhí)行和調(diào)整動作。S1 將 S2 傳遞的潛在向量與視覺特征結(jié)合,轉(zhuǎn)化為精確的機器人動作(如手腕姿態(tài)、手指控制、頭部和軀干方向)。
3. 端到端訓(xùn)練
Helix 采用端到端訓(xùn)練方式,從原始像素和自然語言指令直接映射到連續(xù)動作輸出。訓(xùn)練過程中引入時間偏移,模擬 S1 和 S2 的推理延遲,確保訓(xùn)練與部署的一致性。
4. 解耦架構(gòu)
S1 和 S2 分別運行在不同的時間尺度上,S2 負責(zé)高級語義規(guī)劃,S1 負責(zé)實時動作執(zhí)行。這種解耦架構(gòu)既保證了系統(tǒng)的泛化能力,又實現(xiàn)了快速響應(yīng)。
5. 優(yōu)化推理部署
在機器人上,S1 和 S2 分別運行在獨立的 GPU 上,S2 異步更新潛在向量,S1 實時執(zhí)行動作控制。這種優(yōu)化推理部署方式進一步提升了系統(tǒng)的效率和性能。
Helix 的應(yīng)用場景
1. 家庭服務(wù)
Helix 可以應(yīng)用于家庭服務(wù)領(lǐng)域,如整理物品、收納、操作家電等日常家務(wù)。機器人可以輕松完成這些任務(wù),為家庭提供便利。
2. 多機器人協(xié)作
多個機器人可以共享同一套神經(jīng)網(wǎng)絡(luò)權(quán)重,共同完成搬運或組裝任務(wù)。這種協(xié)作能力在工業(yè)和物流領(lǐng)域具有廣泛的應(yīng)用前景。
3. 物品抓取
基于自然語言指令,Helix 可以抓取從未見過的物品,適用于物流和倉儲領(lǐng)域。這種泛化能力使得機器人在復(fù)雜環(huán)境中也能高效工作。
4. 工業(yè)自動化
Helix 可以用在復(fù)雜的人機協(xié)作任務(wù)中,如零部件裝配和質(zhì)量檢測。這種高精度的控制能力使得機器人在工業(yè)自動化中發(fā)揮重要作用。
5. 服務(wù)行業(yè)
在酒店、餐廳等場所,Helix 可以提供引導(dǎo)、遞送和清潔服務(wù)。這種多功能性使得機器人在服務(wù)行業(yè)中具有廣泛的應(yīng)用。
Helix的項目地址
項目官網(wǎng):https://www.figure.ai/news/helix