Socionext 和日本东北大学显著加快基于深度学习的 SLAM 处理

新方法支持边缘设备的高级图像识别处理

 

 

日本横滨,2021 10 12 --- Socionext Inc. Takayuki Okatani 教授领导的日本东北大学研究小组合作,开发了一种新方法,可以减少 SLAM(同步定位和映射)所需的处理时间, 这对于执行自主控制的设备至关重要,时间仅为传统技术所需时间的 1/60。这种新方法使得在一些CPU 性能有限以及功耗有限的边缘设备的 SoC进行高级 SLAM 处理成为可能,例如自动驾驶汽车、AGV(自动导引车)、机器人、无人机和其他执行自主的设备控制,以及诸如 AR(增强现实)眼镜之类的设备。

该研究工作已被 ICCV(计算机视觉领域最负盛名的会议之一)接受为演讲报告。 这种新方法在 10 11 日至 17 日在线举行的ICCV 2021会议上进行了介绍。 https://iccv2021.thecvf.com/home

 

根据用于获取物体周围 3D 信息的传感方法,SLAM 可以分为两种主要类型。 一种是 LiDAR(光探测和测距),它使用激光测量距离。 另一种是Visual SLAM,它使用相机图像。 视觉 SLAM 正在显着发展,因为所使用的相机相对便宜,并且除了同时定位之外,还可以将该方法与使用图像识别的各种控制过程相结合,从而可以期待许多应用。

 

近年来,随着深度学习的引入,图像识别技术取得了显著的进步,深度学习的应用成为了视觉SLAM演进的重要因素。 然而,基于特征点和相机方向优化地标的未知 3D 信息的束调整(BA)所需的大量计算是传统方法的瓶颈。 对于 CPU 处理能力有限的边缘型 SoC 设备,这会使实际处理变得困难。 (图1

 

为了应对这一挑战,研究团队提出了一种使用“图网络(GN"[1] (一种图神经网络)通过推理进行近似计算的方法。 新方法包括从 GN block输入的关键帧和地标信息中推断更新信息(图 2),并通过多堆栈 GN 结构收敛到最终值(图 3)。 与使用传统 Levenberg-Marquardt 方法的标准束平差相比,这些使得推理处理所需的计算量更少。

 

图1_0.png

1 (查看大图)

图2_0.png

 

2 (查看大图)

 

图3_1.png

3 (查看大图)

 

研究团队使用这种新的推理方法实现了 Visual SLAM 捆绑调整,并将其与当今广泛使用的方法“g2o”[2]进行了比较。 PC 仿真结果证实,与 g2o 相比,新方法可以将处理时间缩短至 1/60。(图 4

Socionext 将从这项研究工作中积累经验,并将 Visual SLAM 技术确立为公司定制 SoC 解决方案的产品之一。 该公司将为工业设备和移动等需要图像识别领域的客户系统提出创新的性能改进方案。 此外,公司将继续研发通过新的推理方法提高处理效率,并将其使用扩展到图像识别以外的新客户应用。

 

图4_0.png

4 (查看大图)

 

 

作者:

 

 

Tetsuya Tanaka, Yukihiro Sasagawa from Socionext, and Takayuki Okatani from Tohoku University

 

主题:

Learning to Bundle-adjust: A Graph Network Approach to Faster Optimization of Bundle Adjustment for Vehicular SLAM

 

注释:

[1]关系归纳偏差、深度学习和图网络
来源自:
https://github.com/deepmind/graph_nets, Battaglia et al.

[2] “G2o: 图形优化的通用框架
来源自: 2011 IEEE International Conference on Robotics and Automation, Kmmerle et al.

 

 

关于Socionext Inc.

Socionext Inc.是一家全球性新型企,其业务内容涉及片上系System-on-chip)的设计、研售。公司注于以消、汽和工业领核心的世界先,不断推当今多展。Socionext集世界一流的专业经验和丰富的IP合,致力于提供高效益的解决方案和客。公司成立于2015年,在日本横,并在日本、洲、美国和欧洲领导品开售。

更多情,Socionext官方网站:http://www.socionext.com

 

本新闻稿中提及的所有公司或产品名称均为其各自所有者的商标或注册商标。以上发布的信息为截止发稿时的 信息,日后若发生变更,恕不另行通知,敬请谅解。