如何训练机器人使用AI和超级计算机

在加入德克萨斯大学阿灵顿分校计算机科学与工程学系助理教授并在此建立机器人视觉实验室之前，威廉·贝克西曾在全球最大的消费机器人生产商iRobot实习(主要是通过其Roomba机器人真空吸尘器) 。

要在已构建的环境中导航，机器人必须能够感知并做出有关如何与其区域设置进行交互的决定。该公司的研究人员对使用机器和深度学习来训练他们的机器人来学习物体感兴趣，但是这样做需要大量的图像数据集。尽管有数百万张房间的照片和视频，但没有从机器人吸尘器的有利位置拍摄的。使用以人为本的视角训练图像的尝试失败。

Beksi的研究重点是机器人技术，计算机视觉和网络物理系统。他说：“特别是，我对开发算法感兴趣，这些算法使机器能够从它们与物理世界的交互中学习并自主获得执行高级任务所需的技能，”他说。

数年后，现在有一个研究小组，其中包括六位博士学位。计算机科学专业的学生Beksi回忆了Roomba培训问题，并开始探索解决方案。某些人使用的手动方法涉及使用昂贵的360度摄像头来捕获环境(包括租用的Airbnb房屋)，并使用自定义软件将图像拼接回整体。但是Beksi认为手动捕获方法太慢而无法成功。

取而代之的是，他转向一种称为生成对抗网络(GAN)的深度学习形式，其中两个神经网络在游戏中相互竞争，直到新数据的“生成器”欺骗了“鉴别器”。一旦经过培训，这种网络将能够创建无限数量的可能的房间或室外环境，使用形式略有不同的不同类型的椅子或桌子或车辆，但对于人和机器人来说，仍然可以识别尺寸可识别的对象和特征。

他解释说：“您可以扰动这些对象，将它们移动到新位置，使用不同的灯光，颜色和纹理，然后将它们渲染为可在数据集中使用的训练图像。” “这种方法可能会提供无限的数据来训练机器人。”

参与研究的Beksi研究小组的研究生Mohammad Samiul Arshad说：“手动设计这些对象将耗费大量资源和人力，而如果进行了适当的培训，则生成网络可以在几秒钟之内完成它们。”

为合成场景生成对象

经过最初的尝试，Beksi意识到创建照片般逼真的全场景的梦想目前遥不可及。“我们退后了一步，着眼于当前的研究，以确定如何从较小的规模开始-在环境中生成简单的对象。”

Beksi和Arshad在2020年11月的3D视觉国际会议(3DV)上介绍了第一个以无人监督的方式生成密集的彩色点云的条件生成对抗网络PCGAN。他们的论文“渐进式条件生成对抗网络”生成密集的和彩色的3-D点云”，表明他们的网络能够从训练集中学习(来自CAD模型数据库ShapeNetCore)并模仿3-D数据分布，从而生成具有细节的彩色点云。多种分辨率。

他说：“有一些工作可以从这些CAD模型数据集中生成合成对象。” “但是没人能处理颜色。