[0042] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合较佳实施例，对依据本发明提出的一种基于人工智能和二维码导航的AGV行驶优化方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0043] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0044] 本发明的实施例提供了一种基于人工智能和二维码导航的AGV行驶优化方法的一种具体实施方式，该方式实施例适用于AGV作业场地，AGV为无轨作业，所述场景中的二维码标识无需密集部署，二维码标识可铺设于非平整路面。为了解决AGV需要往返于不同工作区域，短距离无线通信无法完全覆盖的问题，本实施例利用基于人工智能视觉识别的二维码导航的AGV行驶优化方法，达到了没有无线通信的时候仍然可以精准导航的目的。
[0045] 本实施例采用了两个二维码传感器采集地面上的二维码图像信息，第一二维码传感器为部署于AGV上的RGB相机，用于采集AGV前方路面的情况。该RGB相机配置有云台可控制转动，云台则部署于可伸缩机械杆上，该机械杆在AGV运行过程中固定，且机械杆末端的参考坐标系与基于AGV位姿建立的基准坐标系之间的转换关系已知，RGB相机与机械杆的位姿转换关系可通过手眼标定等方式确定。第二二维码传感器则部署于AGV的底部，用于采集位于AGV底部的二维码信息。
[0046] 请参阅图1，其示出了一种基于人工智能和二维码导航的AGV行驶优化方法的流程图，该方法包括以下步骤：
[0047] 步骤S100，获取行驶路面图像，提取出路面作为感兴趣区域。
[0048] 确定第一二维码传感器当前位姿，利用第一二维码传感器获取行驶路面图像。
[0049] 利用语义分割网络输出语义分割图，语义分割网络为Encoder‑Decoder结构，网络的训练细节为：训练集为多张行驶路面RGB图像，标注为RGB图像对应的语义分割图，损失函数采用均方差损失函数；语义分割图中，道路类别像素点的像素值为1，其他类别像素点的像素值为0。
[0050] 得到道路区域的二值语义分割图像，其中像素值为1的像素点区域为二维码识别的感兴趣区域，将语义分割图像与初始RGB图像逐点相乘，可提取出感兴趣区域图像进行后续的二维码识别。
[0051] 步骤S200，识别感兴趣区域中的二维码图像；其中，二维码图像包括二维码边缘信息。
[0052] 具体的，识别感兴趣区域中的二维码图像的步骤还包括以下步骤：
[0053] 步骤S201，获取二维码预测点。
[0054] 根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断，获取二维码预测点。
[0055] 具体的，设置尺寸为3*3大小的滑窗，滑窗内像素值均设置为1。滑窗以感兴趣区域内各像素点为中心进行逐点相乘，其中，若滑窗所覆盖区域包含非感兴趣区域像素，将非感兴趣区域像素填充为0，通过二维码判断指标进行二维码识别。
[0056] 该二维码判断指标的获取方法包括：
[0057] 获取滑窗内像素值为1的任两个像素点坐标P(ik,jk)和P(ir,jr)，其中，ik代表第k个像素点的纵坐标，jk代表第k个像素点的横坐标，ir代表第r个像素点的纵坐标，jr代表第r个像素点的横坐标；二维码判断指标α1为：
[0058]
[0059]
[0060]
[0061] 其中，n表示像素值为1的像素点数量， 表示ik和ir相等或者jk和jr相等时两点之间的距离， 表示ik和ir不相等且jk和jr不相等时两点之间的距离。
[0062] α1表示任两个像素点之间的近似距离之和，该距离采用不同的计算公式目的在于，使判断不受图像坐标系的影响。
[0063] 设置判断阈值m1，若α1≥m1，则该滑窗中心点分类为二维码预测点。
[0064] 在本发明实施例中判断阈值m1取值为 在其他实施例中实施者可根据实际情况调整该阈值。
[0065] 步骤S202，根据二维码预测点对二维码边缘线段进行筛选。
[0066] 将获取的所有二维码预测点基于密度进行聚类，该步骤的目的在于，将二维码预测点分至各个聚类集合，并筛除掉噪声点。
[0067] 本发明实施例采用DBSCAN聚类算法进行聚类。
[0068] 通过边缘提取算法提取感兴趣区域内的边缘线段，对所提取出的边缘线段进行筛选，保留真实的二维码边缘线段。
[0069] 具体的，选择元素最多的聚类集合作为目标集合，对于目标集合内的二维码预测点进行凸包求解，按照以下规则对任意一条边缘线段进行筛选：
[0070] 若边缘线段或边缘线段的延长线与凸包内区域相交，则筛除该边缘线段；
[0071] 若边缘线段像素点数量小于阈值m2，将该边缘线段筛除；
[0072] 其中，在本发明实施例中m2取值为3，在其他实施例中实施者可根据实际情况调整该阈值。
[0073] 若不存在另一边缘线段与当前的边缘线段相交，将当前边缘线段筛除。
[0074] 步骤S203，根据二维码边缘之间的关系对二维码边缘线段进行筛选，获取正确的二维码边缘信息。
[0075] 具体的，剩余的边缘线段两两随机组合获取若干个边缘线段对，若某一边缘线段对中两线段相交且交点为两线段端点，则保留该边缘线段对。
[0076] 所获取的边缘线段数量应在[2,4]范围内，若为两条，则通过两线段夹角与90度相减，若差值的绝对值小于等于偏角阈值m3，则判断该两条线段为二维码边缘线段，否则，判断为未提取出正确的二维码边缘；
[0077] 其中，m3在本发明实施例中设置为10°，在其他实施例中实施者可根据实际情况调整该阈值。
[0078] 若为三条，其中应有两条线段平行，且另一条线段与该两条线段分别交于线段端点处，交点处夹角也满足与90度差值的绝对值小于等于偏角阈值m3，则判断该两条线段为二维码边缘线段，否则，判断为未提取出正确的二维码边缘；
[0079] 若为四条，其中应有两对线段组平行，且任两条线段与交于其线段端点处，交点处夹角也满足与90度差值的绝对值小于等于偏角阈值m3，则判断该四条线段为二维码边缘线段，否则，判断为未提取出正确的二维码边缘。
[0080] 根据提取出的正确的二维码边缘，获取二维码图像，二维码图像包括二维码边缘信息和二维码图像位置信息；边缘信息主要为图像中的边缘线段所在直线与图像坐标系x轴的夹角，位置信息主要为图像中的凸包质心点位置。
[0081] 若未提取出正确的二维码边缘，则基于二维码预测点的聚类集合中心点在图像中的位置进行RGB摄像头的旋转。
[0082] 作为一个示例，若聚类集合中心点在图像右侧，则RGB摄像头向右旋转。
[0083] 需要说明的是，为了确保AGV寻迹过程是高效快速的，本发明实施例建议摄像头的旋转仅限于偏航角，且每次旋转幅度固定；相机相对于AGV的位姿是已知的，在AGV的控制系统中存储有相机各位姿状态下图像平面和地平面之间投影变换的单应性矩阵。
[0084] 步骤S300：根据二维码图像的边缘信息确定参考移动直线，以使AGV矩阵沿着参考移动直线的方向向靠近二维码图像的方向移动，在移动的过程中使相机光轴旋转至与移动方向垂直；实现AGV的自主寻迹，用于后续路线规划。
[0085] 具体的，根据二维码位置信息中的凸包质心点在图像坐标系所位于的象限选取参考移动直线。若凸包质心点位于第一或者第三象限，则选取夹角在范围[0,90°)的边缘线段所在直线作为参考移动直线；若凸包质心点位于第二或者第四象限，则选取夹角在范围[90°,180°)的边缘线段所在直线作为参考移动直线。
[0086] 由于二维码部署位置一般为地面表面，因此，基于二维码边缘的移动问题可以简化为二维地面上的移动问题，即将AGV视作二维地面上的一个可移动点，又由于图像坐标系与以地面为参考的二维平面坐标系的变换矩阵已知，则通过图像坐标系中的参考移动直线上的两个点可获取以地面为参考的二维平面坐标系中的参考移动直线，移动方向通过所选择两点的i坐标确定，由i坐标大的一点指向i坐标小的一点。
[0087] 为获取二维码的正视图像以确认AGV移动的正确性，RGB相机的位姿也应进行变动，变动方法为：根据上述参考移动直线的方向，RGB相机光轴在水平面的投影应垂直于该参考移动方向，设相机的最终视角为参考视角，则从当前视角旋转至参考视角存在顺时针和逆时针两种方式，沿旋转角度较小的方向进行旋转。
[0088] 由于实际上相机并非完全的俯视，因此上述方法存在一定的误差，为减小该误差，本申请提出通过启发式的方法进行逐步修正。
[0089] 具体的，基于上述凸包质心点的i坐标确定每次旋转的角度，即
[0090]
[0091] 其中，θ为每次旋转的角度，I为图像的总行数。
[0092] 该步骤的目的在于避免旋转角度过大导致二维码消失在图像中从而失去参考信息。
[0093] 需要说明的是，视角旋转时的角度均为光轴在水平面投影的旋转角。
[0094] 沿着移动方向移动t时长，移动后采集图像并重复前述二维码识别、参考移动方向和参考视角获取过程，并更新参考移动方向和参考视角，以确保每次移动都更接近完整的二维码的标准位置和姿态；
[0095] 其中，t在不同实施例中实施者可根据实际情况调整该阈值。
[0096] 步骤S400，当获取的二维码图像被图像坐标系纵轴等分，则调整AGV移动方向与光轴的方向一致，以使在所述AGV行驶至所述二维码位置时获取完整的二维码图像。
[0097] 沿当前参考移动方向移动至任一边缘线段被图像坐标系y轴等分后，调整AGV移动方向与RGB相机光轴方向一致，并开启第二二维码传感器，该传感器部署于AGV底部。
[0098] 需要说明的是，若第一二维码传感器所拍摄图像经处理后二维码的图像直接满足二维码任一边缘在图像坐标系中平行于图像坐标系x轴，并且该边缘线段被图像坐标系y轴等分，则直接调整AGV移动方向与RGB相机光轴方向一致。
[0099] 步骤S500：根据所述完整的二维码图像的边缘的直线特性获取二维码的晃动程度；根据所述二维码的晃动程度调整匹配度，根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息，引导AGV的行驶方向。
[0100] 具体的，获取预存二维码信息的步骤，还包括以下步骤：
[0101] 步骤S501：判断获取的二维码图像是否完整。
[0102] 当所述二维码图像的边缘框线不满足直线特性时，提取所述边缘框线的边缘点，由任意两个所述边缘点构成直线，若所述直线构成一个完整的正多边形，则判定为已获取完整的二维码图像。
[0103] 具体的，获取二维码图像，利用第二二维码传感器进行固定频率的图像采集，在本发明实施例中设置为3帧/秒，对所采集图像进行实时处理。
[0104] 利用边缘提取算法对第二二维码传感器采集到的二维码图像进行边缘提取得到边缘点。
[0105] 由于此时真实二维码图像与第二二维码传感器较为接近，且地面并不一定是平整的，因此所提取边缘可能并不满足直线特性，通过直线拟合的方式提取边缘会出现一定的位置误差，因此本发明实施例采用霍夫变换的方式进行边缘的提取。
[0106] 具体的，将所提取的边缘点随机选择两个距离小于距离阈值m4的边缘点构成直线，在霍夫空间中体现为一个点，多次随机选取直线并映射至霍夫空间，最终在霍夫空间内统计对应点数最多的两个k值，若该两个值相乘为‑1，各自对应的且 则判断已获取完整的二维码图像信息；
[0107] 其中，距离阈值m4在本发明实施例中设置为5，在其他实施例中实施者可根据实际情况调整该阈值。
[0108] 步骤S502：根据完整的二维码图像判断二维码晃动程度。
[0109] 获取通过所述边缘点的多条平行线段，以相互垂直的两条所述边缘框线作为第一边缘线段和第二边缘线段；以所述第一边缘框线的每条所述平行线段上靠近所述第二边缘框线的端点作为目标端点，获取所述目标端点与所述第二边缘框线的距离，根据所述距离得到所述晃动程度。
[0110] 具体的，基于所获取到 所代表的直线，根据斜率k1、k2，改变偏置b生成若干条直线，对于其中一条直线，若直线上存在边缘像素点，则该直线上应存在两个端点，保留两个端点为一组，更换直线并重复提取端点，最终获取端点集合。
[0111] 对于端点集合内的任一组，作为一个示例：该组端点提取直线为k1，则该组内一个端点选择 两条直线进行距离计算，保留两个距离中较小的一个值，另一个端点同理，该组端点的距离值即为两个端点的距离值相加。
[0112] 端点集合内所有组的距离值之和ε用于表征二维码晃动程度，距离值之和越大，晃‑ε动程度越小，在本发明实施例中，该关系表示为P＝e ，以实现归一化，P为1时晃动程度最大。
[0113] 步骤S503：根据晃动程度调整完整的二维码图像与所预存的图像的匹配度的接收值。
[0114] 根据所述二维码的晃动程度调整匹配度，根据调整后的所述匹配度将所述完整的二维码图像与预存图像进行匹配以获取所述预存的二维码信息。
[0115] 具体的，获取二维码晃动程度后，以所部署的二维码图像作为预存图像，将第二二维码传感器采集到的图像与所存储的预存图像进行匹配，匹配度的接收值根据晃动程度调整；调整策略满足线性关系即可。
[0116] 作为一个示例，ω＝kP+b，其中k值应大于1，ω为接收值，通过k和b将ω范围控制在[0,1]，以克服地面不平整对图像匹配的影响。
[0117] 预存图像包含引导信息，引导信息用于指导AGV方向，AGV沿该方向行驶可采集到下一个二维码图像，进而实现导航；同时，在AGV进行匹配后，AGV基于自身IMU进行粗略定位，该定位无需精度要求，仅用作记录，以避免AGV重复行驶。
[0118] 本发明实施例利用人工智能视觉识别，根据二维码预测点判断和二维码边缘线段的筛选快速识别出二维码所在具体位置并进行AGV的行驶路线优化，将AGV移动到二维码所在位置，以使当无线通信中断时AGV仍能第一时间规划行驶路线。同时，考虑了路面不平坦对AGV获取二维码预存信息带来的影响，因此，根据二维码图像边缘的直线特性对采集到的二维码图像进行晃动程度分析，通过调整采集到的二维码与预存图像的匹配度的接收值，来消除地面不平坦对获取二维码预存信息带来的影响，以使本发明实施例对二维码的判别更准确。
[0119] 基于与上述方法相同的发明构思，本发明实施例还提供了一种基于人工智能和二维码导航的AGV行驶优化方法系统。
[0120] 请参阅图4，其示出了一种基于人工智能和二维码导航的AGV行驶优化系统，该系统还包括感兴趣区域提取模块101、二维码初步识别模块102、移动方向获取模块103、和二维码识别模块104。
[0121] 具体的，感兴趣区域提取模块101用于获取行驶路面图像，提取出路面作为感兴趣区域。二维码初步识别模块102用于识别感兴趣区域中的二维码图像；其中，二维码图像包括二维码边缘信息。移动方向获取模块103用于根据二维码图像的边缘信息确定参考移动直线，以使AGV沿着参考移动直线的方向向靠近二维码图像的方向移动，在移动的过程中使相机光轴旋转至与移动方向垂直。二维码识别模块104用于当获取的二维码图像被图像坐标系纵轴等分，则调整AGV移动方向与光轴的方向一致，以使在所述AGV行驶至二维码位置时获取完整的二维码图像及其预存的二维码信息，进而引导AGV的行驶方向。
[0122] 优选的，二维码初步识别模块102，该系统包括：
[0123] 二维码边缘筛选单元，用于根据感兴趣区域的像素点数量和像素点之间的距离进行二维码判断，获取二维码预测点，根据二维码预测点对二维码边缘线段进行筛选，获取正确的二维码边缘信息。
[0124] 优选的，二维码识别模块104，该系统包括：
[0125] 晃动程度获取单元，用于根据完整的二维码图像的边缘的直线特性获取二维码的晃动程度。
[0126] 预存二维码信息获取单元，用于根据二维码的晃动程度调整匹配度，根据调整后的所述匹配度将完整的二维码图像与预存图像进行匹配以获取预存的二维码信息。
[0127] 优选的，二维码识别模块104，该系统包括：
[0128] 完整二维码图像获取单元，用于当二维码图像的边缘框线不满足直线特性时，提取边缘框线的边缘点，由任意两个边缘点构成直线，若直线构成一个完整的正多边形，则判定为已获取完整的二维码图像。
[0129] 优选的，晃动程度获取单元，该系统包括：
[0130] 晃动程度计算单元，用于获取通过边缘点的多条平行线段，以相互垂直的两条边缘框线作为第一边缘线段和第二边缘线段；以第一边缘框线的每条平行线段上靠近第二边缘框线的端点作为目标端点，获取目标端点与第二边缘框线的距离，根据所距离得到晃动程度。
[0131] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0132] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0133] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
