MindJourney：AI三维空间心智漫游，重塑智能体感知边界

MindJourney框架革新了AI在三维空间中的理解能力，它通过模拟“心智漫游”来弥补视觉语言模型（VLMs）在处理2D图像与3D现实之间脱节的短板。该方法利用一个预训练的视频生成世界模型，能够根据代理的虚拟移动生成新的视角，并结合VLM进行筛选和迭代，从而高效地探索未知空间。通过空间束搜索算法，MindJourney聚焦于最可能解答用户空间查询的视角，显著提升了AI的空间推理能力，在SAT基准测试中使VLMs的准确率提升了8%。

此框架的战略价值在于，它展示了世界模型与VLMs协同工作，在无需额外训练的情况下，即可赋予AI代理更强的三维空间感知和规划能力。这种“想象循环”机制使AI能够推断视觉边界之外的信息，更精准地理解物理世界。其应用前景广阔，涵盖了自主机器人、智能家居及辅助视觉障碍人士的工具，能将简单的图像描述系统转化为能够主动规划下一步行动的智能体，减少物理操作的试错成本。未来，该框架还将扩展至预测场景随时间的变化，进一步增强AI在动态环境中的适应性。

MindJourney enables AI to explore simulated 3D worlds

MindJourney can enable AI to navigate and interpret 3D environments from limited visual input, potentially improving performance in navigation, planning, and safety-critical tasks:

Microsoft ResearchBrenda Potts