星空体育网站:一种基于工业机器人和3D视觉的智能行李装载系统
发表时间:2024-12-15 09:36:10
文章作者:小编
浏览次数:
:为了降低人工行李装载的成本,并提高行李装载的效率,本文介绍了一种基于工业机器人和3D视觉的智能行李装载系统,通过与3D视觉系统协同工作,机器人根据平板车当前表面情况,选择合理装载位置,并智能生成装载行李的作业轨迹,从而实现将行李自动、高效地装载到平板车上。
作为现代社会高效便捷的交通方式,民航客运不仅改变了人们的出行方式,也推动了全球经济的深度融合与发展。随着科技的不断进步和环保理念的深入人心,我国未来的民航客运将更加环保、智能和高效。
如图1所示,旅客在机场值机之后,行李系统的输送、分拣环节都实现自动化,但在将行李装载到飞机之前,需要将离港行李装载到如图2所示的平板车上。这个工作目前的工作方式主要为采用纯人工搬运装载的方式。工人长期进行频繁来回搬运行李,容易造成肌肉劳损。另外,随着人力成本增加和劳动者对工作环境要求提高,招工将变得越来越困难。
为了减轻人工作业强度,一种方法是使用辅助穿戴设备和人配合完成行李装载作业,但这种方法仍需要人全程参与,且这种设备的省力效果也有待进一步提高。其他少有的自动化尝试[1]则将整个行李系统做得过大,涉及模块过多,不利于大规模推广和部署。
本文介绍的基于工业机器人和3D视觉系统的智能行李装载系统,具有易于和前道行李系统集成,能适应多种类型、尺寸和形状的行李,能充分利用平板车空间等诸多优点。
(1)行李整列输送带:前道行李系统将行李送到行李整列输送带上,然后通过它对行李角度进行规整以适合机器人拾取。
(2)3D视觉套件:套件1对位于整列输送带上的行李尺寸和类型进行检出,以配合机器人拾取和后续的装载作业。套件2检出平板车表面状态,配合套件1检出的行李尺寸实现机器人装载作业的轨迹。
(3)行李输出缓存装置:将机器人不适用装载的行李通过它输出到安全围栏外部,操作员将把这些行李和平板车上同一批次行李合并到一起。
(4)工业机器人:工业机器人[2]是一种多轴联动的,具有灵活的工作轨迹和姿态的工业设备。它具有较强的通用性和较高的可靠性,能被广泛地应用于需要空间工作轨迹的场景。
目前的机器人编程,基本上还是通过示教器由人工预先控制机器人到指定位置,机器人在工作时仅仅是“再现”预先示教过的位置。
在本应用中,由于每次将行李装载到哪个位置并非事先确定的,而是根据行李尺寸、平板车表面情况而定,因此在本应用中,机器人程序是根据视觉检出的结果而“动态”生成相应的作业轨迹。
本系统作业流程如图4所示,其中描述了机器人站,操作员和前道行李系统的典型作业流程。
由于普遍使用人工搬运和装载行李,在现有的前道行李系统中,送到机器人拾取位置行李的角度是没有精确控制的。考虑到机器人无法像人工那样灵活拾取,同时,为了确保行李装载到平板车上的效果,行李在机器人手爪中位置需尽可能准确。因此,在将行李转交给机器人之前,需要对待装载的行李角度进行规整,以便机器人能够准确拾取行李并实施装载,这个过程称为“行李整列”。
(3)根据检出的角度,旋转机构会通过旋转调整角度,使得行李的短边向前,长边平行于行李前进方向。
(4)传送机构将旋转机构上的行李送到机器人拾取位置。机器人在该位置拾取行李。
2D视觉处理的对象是平面图像或视频,它只包含了在X和Y轴上的空间信息。3D视觉处理的对象是三维立体空间中的物体和场景。它不仅包含了在X和Y轴上的空间信息,还包括在Z轴上的深度信息。通过深度图或点云数据,可以获得更全面的信息。得益于近些年国内外3D视觉相机得到大力发展[3-5],本系统中采用基于线D视觉套件实现对整列输送带上的行李尺寸、位置和类型进行检出。视觉的实现的功能如下:
(1)底面设定。目的是设定行李所在位置下输送带平面的位置,这是位置和尺寸检测的基础。考虑到输送带是个平面,因此需要在没有传送带表面点云进行平面拟合。最小二乘法[6]是最早的广泛应用的方法,但是容易受到干扰杂点的影响,RANSAC方法拟合[7]可以排除少量干扰点的影响,本系统采用这个方法。
(2)尺寸和位置测量。经过点云滤波,范围限制之后,利群点去除之后,将剩下的点云选择最小包围盒,如图6所示。计算行李的尺寸和位置时,使用包围盒近似替代实际行李复杂的表面。
(3)行李是否可以自动装载。对于外形尺寸过大或过小行李,系统将不对其装载到平板车上。
获得行李尺寸和在手爪中的位置后,机器人自动码垛流程如图7所示,其中,最重要的两个部分为生成理论装载位置和生成机器人装载轨迹。
机器人以水平状态拾取和装载行李,如图8所示。拾取行李的时候,手爪上的皮带向左侧带动行李,直到行李靠到挡板。装载的时候,皮带向右侧移动直到行李和手爪分离。
在拾取行李时,机器人知道行李和机器人末端法兰中心的相对位置关系,这将影响到机器人装载行李时的位置。
一般而言,工业机器人基于示教的程序,从固定位置抓起特定的物体,并将其放置到提前设定好的位置上。这样的方式无法针对行李的形状尺寸选择相应的放置位置。
在学术研究领域中,学者们研究了基于启发式的码垛算法,还有将强化学习技术和码垛结合起来[8-10],这些研究多是以长方体纸盒码垛为研究对象。本系统结合行李装载到平板车上时的实际情况,来生成理论装载位置,使用如下的方法:
使用位于平板车上方的3D相机套件2对平板车进行扫描,对平板车水平范围内细分多个网格,根据相机反馈的高度对该网格设定层数。如图9所示,L=0表示没有摆放行李的区域,L=1表示放一层行李的区域,以此类推。特别的是,当部分行李上表面的高度介于两层之间时,较高的层级作为层数。
我们将不同层的交界点作为备选点,如图9所示,三角形和圆形标记了这些备选点的位置。其中,三角形是行李外轮廓的右前角点,圆形是左前角点。
针对上述计算出的多个装载位置,需要筛选出当前最合适的选项,以便为接下来的机器人作业轨迹生成提供指导。在筛选过程中,我们会考虑的排序因素有:
(1)行李稳定性。我们评估行李预计覆盖区域各个网格点的位置高度z是否接近,越接近则表示稳定性越高。此外,我们还考察网格点的法线方向,法线越接近竖直向上,行李稳定性越好。如果法线指向两侧,则稳定性稍差。如果法线指向外侧,则稳定性差。
(2)装载位置是高层还是低层。在所有可能的装载位置上,我们更倾向于选择低层区域,即低层区域的优先级高于高层区域。
在实际操作中,我们会对以上因素赋予不同权重,进行综合排序,排在最靠前的装载位置将被选定,并进入下一步的机器人装载轨迹生成流程。
如果上述任一条件不成立,那么系统将无法生成当前装载位置的作业轨迹。此时,系统会返回装载位置列表,重新计算下一个可能的装载位置,并尝试生成新的作业轨迹。
其中,较小的行李占据行李比例为1/4~1/3。经过测试,行李的体积是采取相机套件1获得外轮廓的尺寸计算得出的名义体积。
经过20轮测试,平均的体积装载率(总的名义体积/小车内部体积)为105%。当且仅当在行李供给位置距离较近的条件下,每件行李平均装载时间为12 s(约为300件/小时)。
本系统与单工人作业相比,在装载率方面和工人水平大致相当,工人可以通过一边装载一边调整行李从而在最终获得稍高的装载率。
在效率方面,工人在体力充沛时候可以做到与机器人相当的水平,但是难以长时间保持高强度作业。而配合行李系统的早到库,以高密度发送行李到机器人站作业,那么机器人将始终保持高强度作业。
现在机场中行李装载的工人采用每天2班,做1天休息1天(或者做2休2),因此,一个工位大致相当于4个工人的成本。其逐年的成本线中的点状线 机器人和单工位成本线对比
如使用本系统,一开始存在一笔一次性投入,后每年也会存在少量的维护、备件和可能存在的人工补位费用。其逐年成本线中的直线可知,本系统和单工位成本比较,经过4.3年,两者成本相当。
本文提出了一种基于工业机器人和3D视觉的智能行李装载系统,实现替代工人将行李装载到平板车上。本系统具有如下优点:(1)3D视觉和装载软件可以检出待装载行李的尺寸和类型,并智能生成装载轨迹,将行李摆放到合适的位置。
(2)在达到和人工相当的装载率和效率的前提下,减少行李装载作业对人工的依赖。(3)对前道系统要求不高,适用于新建或者改造机场的环境。
本系统未来还有改进空间, 包括能自动将软包行李放置到最后;待装载的一个批次的行李能够预先规划,以更加合理的次序将行李发送到机器人装载系统;以及将适用场景扩大到兼容航空集装箱ULD。
[1]柯翔.基于全功能原位替代的机场行李机器人智能集装系统研究[J].物流技术与应用,2024(4):119-123.
[6]李二涛,张国煊,曾虹.基于最小二乘的曲面拟合算法研究[J].杭州电子科技大学学报,2009(2):48-51.
[9]杜晔晔.基于深度强化学习的三维装箱问题的研究[D]. 西安电子科技大学,2022.
[10]吴智博.复杂约束下航空行李码放算法研究[D].中国民航大学,2019.
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.