据外媒 Venturebeat 报导，Facebook、乔治亚理工学院和俄勒冈州立大学研究人员近日发表预印本论文，说明人工智慧的新工作──透过听自然语言指令，在 3D 环境导航（如「走到大厅，木桌旁左转」），他们说，这可为遵循自然语言指令的机器人助理奠定基础。
研究人员的工作称为连续环境的视觉和语言导航（VLN-CE），是在 Facebook 的模拟器 Habitat 进行，可训练机器人助理于模拟真实的环境作业。直径 0.2 公尺、1.5 公尺高的助理放在 Matterport3D 数据集内部，是透过 10,800 多个全景图和相应 3D 网格撷取的 90 个环境集合。
机器人助理必须在一条路上做 4 个动作（向前移动 0.25 公尺，左转或右转 15 度，停在目标位置）之一，并学会避免被障碍物困住，如椅子和桌子。
研究小组将这些环境提炼成 4,475 条由 4~6 个节点组成的轨迹，这些轨迹对应各位置拍摄的 360 度全景影像，显示导航能力。
他们用这个训练两个人工智慧模型：一个 sequence-to-sequence 模型，由採视觉观察和指令表示的策略组成，并预测一个动作；另一个是两个网路交叉模式注意模型，追蹤观察结果，并根据指令和特徵决策。
研究人员表示，实验时表现最好的机器人可遵循「向左转，进入走廊」之类的指令，儘管这些指令要求机器人发现视觉路标前转动未知次数。机器人在看不见的环境，约三分之一场景导航到目标位置，平均採取 88 次行动。这些机器人偶尔也会失败，根据论文共同作者的说法，这些失败通常是机器人视觉漏了指令提到的东西。
「最重要的是，VLN-CE 为（研究）社群提供测试平台，可研究进阶和低阶控制介面这类整合实验。」作者之一写道。
Facebook 投入大量资源解决自动机器人导航的问题。去年 6 月，公布训练六足机器人走路的计划后，Facebook 首次推出 PyRobot，用于 PyTorch 机器学习框架的机器人框架。2018 年，Facebook 推出开源人工智慧，透过 360 度影像在纽约市街道导航。最近 Facebook 某团队发表论文，说明透过看影片学如何在办公室走动的系统。
