IT之家 1 月 23 日消息，如何将视觉语⾔基础模型（Vision Language Models, VLMs）应⽤于机器⼈以实现通⽤操作是具身智能领域的⼀个核⼼问题，这⼀⽬标的实现受两⼤关键挑战制约： VLM 缺少精确的 3D 理解能⼒：通过对⽐学习范式训练、仅以 2D 图像 / ⽂本作为输⼊的 ...

在探索具身智能领域的道路上，如何将视觉语言基础模型（VLMs）应用于机器人以实现通用操作，一直是科研人员关注的焦点。这一目标的实现面临两大核心挑战：VLMs缺乏精确的3D理解能力，以及难以输出低层次的机器人动作。 传统的VLMs主要通过对比学习范式训练，以2D图像和文本作为输入，这限制了它们在3D空间中的理解和应用能力。同时，尽管将VLMs在机器人数据上进行微调以构建视觉-语言-动作（VLA）模型 ...