机器视觉技术在物流领域的应用与创新概述 w2024-07-17
康耐视：以机器视觉技术为引擎，推动仓储物流智能化革新进程——访康耐视大中华区物流行业产品经理张承祖（本刊记者 王玉）
星猿哲科技：以3D视觉技术优势破解仓储SKU复杂性挑战——访星猿哲科技（上海）有限公司联合创始人兼CBO邢梁立博（本刊记者 任芳）
迁移科技：为全球工业制造和仓储物流自动化赋能——访北京迁移科技有限公司联合创始人兼CTO李宏坤 （本刊记者 任芳）
机器视觉技术在仓储和生产物流中，发挥着至关重要的作用。通过提供尺寸计量、自动化控制和检测溯源等功能，机器视觉技术被应用于AMR移动机器人的环境感知、自动分拣系统和机器人拆码垛和货品拣选等场景，极大提升了物流效率和安全性。随着深度学习的发展，机器视觉系统的算法能力得到加强，视觉分析的准确率进一步提升，将持续助力物流自动化和智能化程度提升。
当今世界，物流慢慢的变成了各行各业乃至人类社会的重要基石。正是物流领域的技术进步和持续发展，让货物的转移更加迅捷，让产业得以“链”化，分工更加精细，让你们可以享受到更加丰富的物质生活。
物流涵盖商品的运输、配送、仓储、包装、搬运装卸、流通加工等方方面面，其中厂内物流是当前技术升级和加快速度进行发展的热点。厂内物流又可进一步细分为工厂物流、电商物流、快递物流和机场物流四个典型场景，其中机场物流属于相对独立和成熟的领域，这里主要讨论另外三者。
工厂物流主要与生产线协同，满足生产所需的原料输送，成品、半成品存储等要求，又能更加进一步细分为满足原料、成品和半成品存放与出入库的仓储物流，以及生产的全部过程中搬运、上下料的生产物流。在工厂物流中，主要使用在的自动化系统有具备仓储和良好物料管理的托盘立库系统，负责搬运的各式AMR搬运机器人，衔接搬运与仓储或生产线的抓取机器人等。
快递物流和电商物流都是随着电商发展而兴起的物流模式，其中快递物流为保证海量货品的快速分拣配送，发展出自动化的分拣中心与配送终端服务站。快递物流的自动化大多数表现在分拣中心，包括针对小件的交叉带分拣系统和针对大件的矩阵分拣系统。而电商物流则是电商巨头通过自建很多类型仓库，利用自动化分拣和配送设备，加快货品到达消费者手中的速度。电商物流的自动化主要是在立库基础上，进一步通过穿梭车、CTU料箱机器人等自动化系统解决“货到人”的问题。
机器视觉是通过视觉传感技术，让机器具备“看”的能力，并进一步结合视觉处理和人工智能技术，实现机器的“思考”+“决策”，进而实现对机器的自动控制。
一套完整的视觉系统（如图1），通常包括工业相机、镜头、光源、采集卡和工控机。其中，工业相机进一步分为面阵和线阵两种。面阵相机分辨率覆盖30万～6.04亿，线k，搭配各种数据协议接口的采集卡包括千兆网、万兆网、USB3.0、Camera Link、CoaXPress以及XoFLink协议，满足各种高低速应用场景，保障更稳定的数据传输。配合各种靶面和焦距镜头，以及各类光源打光加持，获取更为优异的成像效果。工控机则是作为算法的载体，运行包括算法在内的分析和控制程序。随着深度学习的发展，为了提供更高的算力，通常还会在工控机中增加GPU等加速卡。
在视觉系统的基础上，通用的算法平台是应对各类复杂需求的核心。以海康机器人的VM算法平台为例（如图2），产品采用图形化的应用模式，通过拖拉模块就可以快速搭建视觉方案，所见即所得，大幅度的降低了产品使用门槛，让视觉应用变得更简单。VM算法平台提供多种开发模式，可通过二次开发满足多种层级的客户的真实需求，组件化界面和丰富的SDK接口，提升了二次开发的效率。内置150多个算法模块，包含2D、3D、AI等算法功能，用户可根据实际的需求灵活选择。
为了追求更高的系统集成度、性价比和稳定能力，行业采用嵌入式方案取代X86工控机已成为新的发展的新趋势。尤其是在工业AI应用场景，利用具备AI加速的嵌入式硬件方案是更兼顾性价比和高性能的模式。例如，海康机器人利用VM的跨平台优势，推出VM+AI硬件平台的架构方案，开发了多个AI视觉边缘产品，例如SVA智能视觉处理卡。SVA将图像采集、算法计算、AI加速、通讯输出都集中到一张卡上，可以大幅度降低CPU的负载。通过PCIe3.0接口与工控机连接，支持数据的高速交互，满足多相机甚至超多相机应用场景的需求。SVC是在SVA的基础上，加上外壳，电源等配件而形成的AI视觉控制器。
在一些单相机的应用场景下，功能相对单一固定，但会追求极致的紧凑性、高集成度和调试便利性等。如海康机器人SC系列智能相机和ID系列工业读码产品（如图3），产品集成了光源、数据采集、图像处理和通信模块。在应用上通过引导式的调试方式，安装便利，调试简单。
在2D视觉的基础上，3D视觉因为可以在一定程度上完成对z轴的感知，通常能为尺寸测量、空间定位等算法分析任务带来更好的效果。以海康机器人的3D视觉为例，以3D传感技术为核心，开发了双目散斑感知RGBD相机、ToF感知RGBD相机，以及面向工件抓取的激光振镜RGBD相机，同时获取被测物体的彩色图和深度图，并可以测量物体的高度或体积、倾斜或旋转角度，或者精准引导机器人进行抓取动作。搭载自研的机器人视觉引导平台软件，平台具备无代码、流程化、可视化的特点，为物流仓储应用提供一站式3D视觉软硬件解决方案，灵活满足多种场景的使用需求。如图4。
机器视觉大范围的应用于物流领域，最重要的包含尺寸计量、自动化控制、检测溯源等功能，下文将结合不同的物流场景来分别介绍。
物流读码是实现货品信息采集和追踪的基础，是现代物流自动化的基石，几乎应用于所有物流领域。
安装在固定位置，配合传动机构，如皮带线等，实现自动高速读码的方案。一般有单相机、4相机、6相机等方案，可灵活组合，实现多面读取和大景深的读码需求。
通过人工手持读码产品做扫码，常见的手持读码产品有手持巴枪、手持PDA等。
通道门的读码应用场景，一般是读码器配合自动叉车、AMR仓储机器人、人工叉车等，进行码垛群码读取的场景，属于大视野下的读码场景，通常要大分辨率的读码器，多个读码器组合的方案，实现群码读取和大景深的需求，完成自动入库和物料盘点。
AMR移动机器人已经大范围的应用于物流领域（如图5），而AMR的环境感知则与机器视觉息息相关。
AMR视觉导航以二维码导航和纹理导航为主。前者利用在地面上提前布置好的二维码信息进行识别，获取到坐标信息用于定位，该导航方式比较传统，经历了长时间的验证，技术上已经很成熟并且稳定，对于实施人员的要求较低，但需要在地面上贴码，人工建图工作量大。纹理导航使用相机对地面或天花板纹理进行扫描建图，并作为定位导航的依据，无需对环境做改造，具有特征稳定、导航精确、资源需求低的特点，应用方便灵活，已经大范围的应用于光伏、锂电、3C等行业。
AMR在运动过程中需要实时感知周边障碍信息，双目视觉3D传感器是在AMR避障过程中应用场景范围最广适应能力最强的传感器方案。双目视觉传感器通过两个相隔一定距离的摄像机同时获取同一场景的两幅图像，使用立体匹配算法找到两幅图像中对应的像素点，随后根据三角原理计算出视差信息，而视差信息通过转换可用于表征场景中物体的深度信息。AMR接收并处理双目视觉系统获取的深度信息，结合地面滤除、坐标转换等算法处理，获取AMR周边障碍信息，并根据AMR路径规划以及运动状态进行实时的停障、避障、绕障等一系列操作，保证AMR安全快速运行。
在FMR自动叉车工作中，需要针对多种多样的栈板、托盘进行自动化取放，在此过程中需要3D机器视觉结合智能动态路径规划进行。一般都会采用RGBD相机对栈板、托盘的2D+3D信息进行获取，结合AI智能识别算法和点云匹配定位算法，获取待取放托盘的位姿信息；再根据栈板、托盘及周边障碍信息进行FMR的叉取路径动态规划，完成自动栈板识别叉取过程，降低人工摆放栈板、托盘的位姿要求，提高系统的柔性和鲁棒性。
CTU料箱机器人的智能对接需要较高精度的视觉定位，并进行对接过程监控判断，如花篮上下料、货架堆叠、料箱高精抓取等情形。一般是通过3D视觉的方式来进行对接区域识别定位，并结合2D图像进行对接过程监控，对于高精度对接场景，在机器人运动到位后，有必要进行对准情况二次评判。其方案多种多样，应该要依据实际对接场景选择正真适合的RGBD相机进行方案设计。
机器视觉的出现，有效解决了传统物流手段单一、读码错误率较高、计泡效率波动大、人力成本攀升的问题。读码、体积测量、单件分离、机器人供包等一系列视觉解决方案，正在成为物流行业不可或缺的智能化手段。
在快递物流转运中心，机器视觉自动化解决方案得到集中体现，而矩阵分拣和交叉带分拣是国内快递物流转运中心的两大典型分拣场景。
在针对大件的矩阵分拣中，DWS系统、六面读码系统和单件分离系统构成这一场景的自动化核心。
针对中国快递业的快速地增长，海康机器人开发出DWS（Dimensioning / Weighing / Scanning）系统，旨在优化物流过程中需要极大人力的重复劳动来处理的中间环节。DWS系统通过机器视觉和重量传感器的配合，采用全自动采集的方式同时获取快递的条码、体积和重量信息，颠覆了原有需要人工负重搬运并耗费大量工时的操作流程。
六面读码系统是指在物流行业中，对包裹的前/后/左/右/顶/底面进行条码自动识别的系统。海康机器人的六面读码系统，是依托于多年读码行业经验，集成多种智能读码产品和设计的多方位读码系统。
单件分离系统通常部署在DWS或分拣设备前，用于规范包裹间隔。主流单件分离系统采用RGBD立体相机对包裹做定位。以海康机器人DB500S系列RGBD智能立体相机为例，其依托内置的3D视觉处理算法以及深度学习算法，可实时精准输出视野中所有包裹坐标。再搭配海康机器人SCS单件分离软件，通过向PLC实时发送指令控制模组带完成包裹的分离，实现包裹单个通过且相互之间保持固定间隔，最高效率达10000pph。
交叉带自动分拣（如图6）是当前国内转运中心针对小件包裹分拣的主流方案，其中包含多个机器视觉的应用场景。
灰度仪通常用于检测交叉带小车盘面上的包裹数量和位置，实现异常回流避免错分。传统灰度仪使用2D智能相机，随着用户对于识别准确率和包裹位置坐标精度要求的提高，3D视觉慢慢的变成为主流方案。以海康机器人EDP立体相机为例，其内置多种算法，融合出双检测、有无检测、包裹纠偏及超边检测等功能于一体，是适用于目前各类型主流分拣机的全功能视觉检测解决方案。
交叉带自动分拣的“最后一公里”是实现自动供包方案，需要将大批量堆叠包裹自动化处理为单件流依次送上交叉带，对机器视觉设备和相关应用算法提出了更加高的要求。目前市场上有两套主流方案：爬坡除叠自动供包和机器人自动供包。
爬坡除叠自动供包系统依据功能分为三段：第一段通过机器视觉对多段倾斜皮带线上的包裹识别定位，控制皮带线进行差速拉包和跌落除叠；第二段为单件分离系统实现包裹的水平分离和包裹间固定间距配置；第三段则为基于RGBD智能立体相机的包裹出双检测系统，确保无上双件进入交叉带。爬坡除叠自动供包系统效率非常之高，单条线pph以上的效率，可对接3～4个供包台。
机器人供包系统（如图7）提供了一种更为灵活的自动化供包方式，采用内置深度学习硬核的RGBD智能立体相机搭配高速机器人，基于精准的深度学习物品识别定位算法和机器人轨迹规划算法，引导机器人全时高效抓取。机器人供包方案占地空间小，方案部署灵活，适合旧场地改造升级，可有效缓解传统人工供包方案成本高、招工难、出工时间受限等痛点。
在仓储物流中，除了前文已经介绍的读码和AMR移动机器人的视觉应用，还包括机器人拆码垛和货品拣选，以及垛型检测。
在各行各业的仓储物流环节，大量的货品需要搬运，如纸箱、麻袋、周转箱等，货品规格多、重量大、效率要求高。传统的自动化拆码垛系统有诸多限制，比如要求来料位置固定、货物规则码放且规格单一等。面向原料入库、成品出库的场景，海康机器人推出了3D视觉引导机械臂拆码垛系统（如图8），系统由3D相机和机器人视觉引导平台软件组成，内置海量数据预训练的超级AI模型，轻松识别不同品规、不同外观图案的货物，结合3D相机获取到的深度信息，系统输出精准的待抓取位姿，引导机械臂进行抓取。面向码垛场景，系统支持自动生成垛型或手动编辑垛型，并能够最终靠一键恢复或视觉识别的方式快速处理异常断电导致的系统中断，帮企业解决仓储流通中的搬运难题，实现高效、柔性生产。
在商超、医药、电商等行业，存在大量盒装货品的自动分拣需求，货品种类多、新增频繁，人工分拣效率低、易出错。海康机器人研发的货品拣选系统，以小型激光振镜立体相机为核心，结合机器人视觉引导平台，灵活适应多种商品和包装形状，引导机械臂实时规划抓取和放置货品的路径，同时避免运动过程中的碰撞风险，实施部署方便快捷。货品拣选系统也可以无缝对接WMS系统，为仓储物流带来新的智能化和灵活度。
在货物入库前，垛型松散、歪斜等可能会引起货物丢失或倾倒，为避免此类风险，仓储车间采用3D视觉系统能对已码垛型进行健康度检测。通过完整的三维重建，对栈板上的货物进行超宽超高检测，同时支持对码垛垛型进行形态学分析，判断该垛型在搬运运送过程中是不是真的存在掉落倾斜坍塌的风险，为货物安全进入立库系统做好准备。
在自动化的生产中，一般会用流水线的方式高效组织，而搬运环节也能借助各式AMR移动机器人，机器视觉主要与机器人结合解决工件上下料的问题。
在流水线生产的全部过程中，零部件加工前后要进行自动化的上料、下料。零部件来料运送的位置存在偏差，零部件种类多、换型快，对于自动化上下料系统的兼容性和适应性有较高要求。以海康机器人3D视觉引导工件上下料系统为例，可通过3D相机精准识别待抓取的工件位置。在无序抓取场景，该系统集强大的视觉解决能力与路径规划能力于一身，快速识别散乱堆叠的工件姿态，自适应规划抓取－退出路径，在典型场景下，无序抓取清筐率可达100%；同时避免机器人的多余动作，兼顾安全与高效。
目前，虽然“黑灯工厂”全自动化生产的概念已经提出，但实际上仍然有大量的人机共存环境，尤其是与物流相关环节存在移动机器人、工业机器人作业的情况下，安全生产是所有业主都必然重视的问题。机器视觉也可以提供非接触、便于事后追溯的一种安全防范方式。
相比传统的被动保护措施和视频监控方案，采用基于3D视觉和AI算法的智能立体防护方案，可提供更高精度、更快速度、更多维度的安全防范性能，凭借主动性、实时性与可追溯性的特点，实现对业主单位安全生产的全面保障。与此同时，方案可通过AI智能识别人、车、物等不同闯入场景，灵活判断是否减速或中断生产，大大降低因误检而导致的生产效率损失。
在移动机器人、工业机器人和机器视觉的加持下，现代物流的自动化和智能化程度逐渐加深，生产效率得到非常明显提升。而数字孪生、大模型等新技术的发展，也必将给物流领域带来进一步的技术更迭和持续发展。
物流的自动化和智能化，本质上是信息采集和流转技术的提升，带来货物流转效率的变革。而随信息技术的发展，我们将可以在一定程度上完成物流全链路的信息采集，并进行数字化，也就是构建物流全链路的数字孪生，让物流的全过程对货物生产者和消费的人乃至所有关联方实时透明，这将逐步提升物流的效率和服务体验。
包括机器视觉在内的物流信息技术，与AI紧密相关，而大模型的发展，让AI能力逐步提升。一方面，现在已经大范围的应用的读码、视觉分析的准确率将得到明显提升；另一方面，部分当前尚不能够实现或者很复杂的功能将变得简单。总之，物流领域在大模型的加持下，将会更加智能，更加易于使用。
详情
