仙工智能（SEER）如何利用视觉技术解锁车厂协同新模式

随着智能制造的不断升级和落地，工厂内的智能搬运和智慧物流也越来越被关注，将AI技术引入到机器人和 AMR 部署的工厂内各种场景逐步成为新趋势。现阶段如何将视觉技术更方便、实用、安全、稳定地部署到应用中，将成为 AI 结合机器人应用的关键点。

 

而仙工智能（SEER）全感知 AI 物流系统 RoboView 在解决这些关键点，具有自己的“见解”。

 

全感知 AI 物流系统 RoboView 的视觉应用

 

由于工业场景的复杂性，将前沿的视觉技术引入作业场景中并非易事，最关键的一点是如何将前沿的视觉技术方便地落实到实际应用中，并让客户快速掌握使用技能。尤其是在 3D 视觉应用中，要求精准定位并评估 3D 场景下的物体，但现阶段因较高的研发和部署难度，它的应用往往不如 2D 技术普遍，可随着科技技术的发展，3D 技术终将成为未来的趋势，得到更多的应用。如下图 RoboView 在一个典型的3D应用中的流程。 

 

 3D视觉在3D抓取任务中，需要识别目标的位姿

 

比如说，在AGV物流仓储中，为了对货物进行有效的管理，需要借助3D视觉技术来完成搬运、堆叠任务，但由于实际工厂环境差异大(光照条件差异)，场景变化多，货物本身的尺寸差异大(从几百到几千毫米)以及对搬运、堆叠任务的精度要求差异大(毫米级到厘米级)等原因，便需针对具体的客户场景制定相对应的方案，这给研发和部署都带来较大难度。

 

为使这类应用的部署更简单、高效，仙工智能（SEER）将自己开发的视觉算法库、相机库和机器人库融合到一整个视觉应用平台中，这样在部署时即可灵活地选择与应用相对应的相机和方案。比如，从十几家厂家中的上百种甚至更多种类中选择真正符合应用的相机，并直接选择对应的算法和机器人，真正做到“量体裁衣”。

 

这个视觉应用平台就是仙工智能（SEER）全感知 AI 物流系统 RoboView，在其强大的算法能力支撑下，通过一键部署，不仅可降低成本，还极大提高了部署效率。

 

 

RoboView 应用库

 

我们都知道，视觉技术的出现就是为了解决实际问题而存在。就目前的车间或工厂而言，遇到最大的问题是库位管理效率低，而 RoboView 能够将库位管理更“智慧”地融合到系统中，比如 AGV 的调度系统等，不仅使自动化物流系统更流程化，还降低了管理成本，提高了管理效率。

 

实际上，RoboView 实现的库位管理系统，只需要在需要进行库位管理的仓库里部署几台相机和一台视觉服务器并运行 RoboView，即可完成库位管理。此时 RoboView 将负责库位管理的全部任务，并和调度系统对接，在“悄无声息”间完成库位管理任务，如库满/空、出/入库、错误入库及其他丰富的管理能力。

 

 RoboView 实现的库位管理系统示意图

 

另外，在一些密集仓储的区域，即使在自动叉车上安装再多的传感器也无法避免一些危险情形，比如下图的情形：

 

 密集仓储的区域，可能遇到的一些危险情形

 

由上图可以看到，在人员和自动叉车、AMR混用的场景中，在一些现场的设备、人员、货物统一管理的难题，RoboView 便可为客户解决这些难题。更多详情邀您亲临 2021 ITES 深圳工业展 21-H41 展位，文末免费索票，轻松参展。

 

全感知 AI 物流系统 RoboView 的诞生

 

RoboView 的灵感来源于 RoboCup 小型组足球机器人比赛，作为 RoboCup 中最强调团队协作和对抗的组别，小型组采用了外部的视觉服务作为了机器人位置的主要感知方式，其典型场景如下：

 

 RoboCup 小型组足球机器人位置的主要感知方式示意图

 

通过外部视觉感知和统一的大脑对场景内的机器人进行统一管理，从而实现各种复杂的协作与对抗。

 

 世界小型机器人足球比赛 Robocup 比赛现场

 

由此出发，仙工智能（SEER）在基于 SLAM 导航的体系外，创新性地提出全感知 AI 物流系统 RoboView。

 

1、RoboView 架构

RoboView 由感知平台和感知节点共同构成，其中感知平台作为系统的核心是提供所有的视觉服务、为智能工厂及物流系统提供必要信息（包括库位管理信息、车队跟踪信息、设备运行状态等）、小车作业视觉服务请求响应、系统安全监控信息等四大部分；感知节点包括固定或移动式的图像（2D）/点云（3D）采集设备及编组。

 

感知平台为独立运行的视觉服务器，其主要提供视觉 AI 感知能力，通过 2D/3D 视觉的技术实现对感知区域内的目标进行识别、定位和检测。感知平台只需要一份输入，以及一个输出定义（DOO, Definition Of Output），即可完成一次感知服务，因此它是多任务的，相互独立的信息感知平台。

 

感知节点是分布式部署的，分为固定节点和移动节点。固定节点是指固定安装的图像（2D）/点云（3D）采集设备，如普通的监控摄像头、ToF 相机、3D 激光雷达等都可以作为感知节点接入；移动节点指这些安装在移动机器人上的各类视觉图像（2D）/点云（3D）采集设备，通过仙工智能（SEER）的 SRC 核心控制器可以实现与 RoboView 的无缝对接。

 

感知节点可以通过 Roboshop 一站式布署软件加入 SLAM 地图中，并配置相应的工作流，从而实现节点的快速设置布署。同时，全感知 AI 物流系统 RoboView 与仙工智能企业数字化中台 SEED 配合，可以实现对场所内的各个系统的部署、规划和监控，并实现对 AMR 及无人叉车的安全监控及作业规划。

 

 仙工智能（SEER）全感知物流系统解决方案

 

2、AI 全感知技术

 

AI 全感知平台融合了多项关键技术，为物流管理系统提供了丰富的信息。

 

【增强显示】通过数个固定感知节点全方位“观察”，结合多点视觉的配准、拼接、融合技术，将整个仓库的实时状态尽收眼底，在原有监控视频的基础上加入了 AR 增强信息，让现场人员对设备状态更加直观清晰。

 

【车辆监控】结合车辆自身信息，对场景内的每一辆 AMR 及自动叉车进行实时定位和追踪，捕获并预测车辆的运行轨迹，结合仙工智能企业数字化中台 SEED，对偏离作业任务的车辆及时发出调整指令并向平台发出警告。

 

【目标识别定位】RoboView 不仅仅包含常规的视觉感知算法，还包含了先进的深度学习算法，大大地提高了系统的抗干扰性。目标检测技术，能够实时从视频流中检测出目标物体，如小车或人；3D 点云的分割技术，能够直接从点云中提取目标物体，并给出尺寸、位置等重要信息，使算法更加稳定、可靠。另外，通过图像语义分割技术，还可以为仓库的管制标记、道路标识和作业车等进行一次性分割、提取，为控制平台提供了另一项重要信息。

 

【库位管理】通过部署在场景中的多台固定感知节点，感知平台能够实时获取场景里的所有库位信息，并通过 2D 识别技术，识别&定位出库位的有效信息，包括但不限于有无货物、有无小车、有无异物侵入等信息，并将这些信息发布出去（根据物流系统的配置，可能发送给物流系统和小车），物流系统或小车能够根据这些信息做有效的决策，大大提升了仓库管理效率。

 

【安全监控】主要涉及场景内的所有状态实时监控，其内容包括：外来异物（非作业人员、作业人员进入非安全区域、小车脱离预设任务轨迹、非作业小车等）侵入监控、货物状态监控、小车路线障碍物检测、其他联动设备的监控（如大型货架，升降电梯等）。