機器人前瞻（公衆號：robot_pro）
作者 | 劉俐杉
編輯 | 許麗思
機器人前瞻9月15日報道，今天，無問芯穹聯合清華、上交正式開源具身端側推理引擎APXInf。
如今的具身模型已經能夠看懂環境、理解指令，並把看到的、聽到的信息轉化為機器人該怎麼做的決策。
但當一個在雲端運行良好的具身模型，放到機器人本體上，讓它落地幹活時，「模型夠不夠聰明」已經不是首先要面對的問題，推理系統纔是讓具身智能規模化落地的關鍵。
此次開源的具身端側推理引擎APXInf，不僅能夠讓具身模型在真實機器人上能夠「跑起來」，更希望可以在有限資源下「跑得夠快、夠穩，也足夠容易接入拓展和持續迭代」。
APXInf支持RTX 4090、Jetson Orin、Jetson Thor等主流計算平台，覆蓋從模型開發、效果驗證到機器人本體部署的完整鏈路。
同時在Jetson Thor上，該推理引擎讓PI 0.5 FP8實現端到端推理延遲從278ms降低至26ms以內；在 FP8下達到46Hz推理頻率，滿足機器人多場景下實時控制對推理頻率和響應延遲的要求。
開源地址：
GitHub：https://github.com/RLinf/APXinf-robo
Quick Start：https://github.com/RLinf/APXinf-robo#quick-start
一、推理延遲從278ms降至26ms以內
APXInf的第一個核心能力是，圍繞機器人真實執行鏈路進行端到端優化，讓機器人從「看到」到「動起來」的整條執行鏈路變快。
APXInf通過Pipeline、Graph、Kernel及量化等多層優化，降低具身模型端到端推理延遲。同時，通過冗餘特性的系統設計，為模型提供定製化運行時，在更加輕量化的同時將性能挖掘到極致，並藉助Agent4Kernel技術進行極限優化的融合算子，最終達到性能SOTA。
▲PI 0.5在Jetson AGX Thor 上進入實時推理區間
在 Thor 上，APXInf將PI 0.5 FP8的端到端推理延遲從278ms降至26ms以內，頻率可達38.46Hz，為機器人實時感知與控制提供更充足的響應空間。
10.7倍的推理延遲下降，對機器人而言，意味着更快的「感知-決策-動作」閉環，也意味着具身模型有機會在真實機器人上進入更加實時的工作狀態。
二、讓推理行為在真實部署中可預測、不中斷
第二個核心能力，「更穩」。在機器人端側推理中，並不是「一次跑通」就結束了。APXInf強調在長時間運行、感知、推理、控制等多個模塊同時運行的真實部署環境中，行為可預測，能夠持續穩定運行的能力。
那麼它是如何做到的？
▲創新架構
研究團隊採用了創新架構，使用Rust系統語言構建的極簡運行時，和Python易用接口。
首先，APXInf利用冗餘特性設計，打造極簡化運行時，降低運行開銷的同時做到可覈查、可驗證。
其次，利用Rust語言提供的內存安全特性，進一步提升引擎穩定性、降低易錯面，從源頭規避內存風險，減少運行中崩潰、異常的概率。
最後，通過Python接口封裝，保留開發者熟悉的調用方式，兼顧底層硬核與上層易用。
三、利用Agentic Engineering，降低接入與優化成本
解決了「跑得夠不夠快」和「能否穩定運行」的問題後，APXInf面臨的第三個問題是，面對越來越多的具身模型和具身系統，模型怎麼更快、更敏捷地接入，並且持續優化？
伴隨着大模型能力的提升，推理引擎利用Agentic Engineering，可以快速實現新模型的適配與接入。關鍵是，這一能力可以加速APXInf的研發迭代，還會開放給APXInf的開發者，讓用戶自研模型的接入與優化變得簡單和敏捷。
所以，從設計之初，APXInf就是面向Agentic Engineering研發流程來設計的。
通過冗餘特性、功能隔離、工具箱模型等方法，顯著提升APXInf與Agentic Engineering的適配度，降低研發門檻，使得Token可以更便利高效地轉化為生產力。
無問芯穹稱，APXInf也將面向Agentic Native進行探索和迭代，並探索一種全新的面向Agentic Engineering時代的推理系統構建範式。
結語：補上具身智能規模化落地的關鍵一環
APXInf這次開源，首發支持PI 0.5、WALL-OSS，覆蓋Jetson Orin、Jetson Thor和RTX 4090，並給出從VLA、VLM、世界模型到國產芯片、國產機器人操作系統、AMD等方向的Roadmap。
同時，APXInf作為RLinf開源生態中的端側推理項目首發，把模型訓練、效果驗證，到本體部署與真實機器人運行連成一條完整鏈路，補上了具身智能規模化落地的關鍵一環。
但具體能否規模化落地，還需要看到真正的實踐：在不同機器人本體上能否長期穩定地「跑」，在真實場景中能否扛住延遲、軌跡抖動、算力和內存的消耗。這些問題答案都只能在物理世界中才可得到。