[0003] 本发明的目的在于提供一种货架缺货智能检测装置及其检测方法。
[0004] 本发明一种货架缺货检测装置，包括移动拍照机器人、服务器和响应器。所述的服务器与响应器连接。所述的移动拍照机器人与服务器无线通信。所述的移动拍照机器人包括移动平台、激光扫描测距雷达、升降平台、旋转平台、俯仰调节机构和摄像机。所述的升降平台设置在移动平台上。旋转平台设置在升降平台上。俯仰调节机构设置在旋转平台上。所述的激光扫描测距雷达安装在移动平台的顶部。所述的升降平台包括升降底座、升降驱动机构和升降盘。升降底座间隔固定在底盘上。升降底座与升降盘通过升降驱动机构连接。升降底座固定在移动平台上。
[0005] 所述的旋转平台包括旋转底座、旋转盘和旋转电机。旋转底座固定在升降盘上。旋转盘设置在旋转底座的顶部，且与旋转底座构成转动副。旋转盘由旋转电机驱动。所述的俯仰调节机构包括安装架和舵机。安装架固定在旋转盘上。摄像机与安装架构成公共轴线水平设置的转动副。摄像机由舵机驱动翻转。
[0006] 进一步地，所述的升降驱动机构包括升降电机、丝杠、滑块、第三连接轴、第四连接轴和两个叉剪单元。所述的叉剪单元包括第一连杆、第二连杆、第三连杆、第四连杆、第一连接轴和第二连接轴。所述第一连杆的中部与第二连杆的中部铰接。所述第三连杆的中部与第四连杆的中部铰接。第一连杆、第三连杆的顶端与第一连接轴的两端分别构成转动副。第二连杆、第四连杆的顶端与第二连接轴的两端分别构成转动副。
[0007] 两个叉剪单元上下排列。位于上方的叉剪单元的第二连杆、第四连杆的底端与位于下方的叉剪单元的第一连杆、第三连杆的顶端通过位于下方的叉剪单元内第一连接轴的两端分别铰接。位于上方的叉剪单元的第一连杆、第三连杆的底端与位于下方的叉剪单元的第二连杆、第四连杆的顶端通过位于下方的叉剪单元内第二连接轴的两端分别铰接。位于下方的叉剪单元内第二连杆、第四连杆的底端与第三连接轴的两端分别构成转动副。第一连杆、第三连杆的底端与第四连接轴的两端分别构成转动副。第三连接轴的两端均支承在升降底座上。第四连接轴的两端分别伸入升降底座上开设的两个第一滑槽内。位于上方的叉剪单元内第一连接轴的两端均支承在升降盘上，第二连接轴的两端分别伸入升降盘上开设的两个第二滑槽内。
[0008] 水平设置的丝杠支承在升降底座上。滑块与第四连接轴的中部固定。固定在滑块上的螺母与丝杠构成螺旋副。丝杠由升降电机驱动。
[0009] 进一步地，所述的移动平台采用深圳玩智商科技有限公司生产的型号为EAIBOT SSD的移动平台。
[0010] 进一步地，所述的移动平台包括底盘、行进轮、万向轮和行进电机。两个同轴设置的行进轮分别支承在底盘的两侧。两个行进电机固定在底盘的底部，且输出轴与两个行进轮分别固定。万向轮安装在底盘底部。
[0011] 进一步地，所述的服务器采用PC端。所述的响应器采用扬声器。
[0012] 进一步地，所述激光扫描测距雷达的型号为YDLIDAR G4。
[0013] 进一步地，所述的旋转电机固定在旋转底座内，且输出轴与旋转盘固定。所述的舵机固定在安装架上，且输出轴与摄像机固定。
[0014] 该货架缺货智能检测装置的检测方法具体如下：
[0015] 步骤一、对依次排列的n个货架依次排序并编号，并将n个货架的编号、高度、应摆放商品种类相匹配并导入服务器。
[0016] 步骤二、i＝1,2,…,n，依次执行步骤三和四。
[0017] 步骤三、建立移动拍照机器人检测第i个货架时，摄像机的仰角θi、升降底座与升降盘的间距hi、摄像机的镜头与第i个货架的间距Li、第一个货架的高度Si之间的关系如式(1)、(2)、(3)、(4)、(5)、(6)所示。
[0018]
[0019]
[0020]
[0021] αi＝90°-γi-θi (4)
[0022] αi＝βi+θi (5)
[0023]
[0024] 其中， 为摄像机的自然视角；H为升降底座顶面、地面等间距与升降盘底面到摄像机镜头的间距之和；βi、γi、αi均为中间变量。
[0025] 步骤四、联立式(1)、式(2)、式(3)、式(4)、式(5)和式(6)，求出θi、hi、Li。
[0026] 步骤五、若n个货架为单排货架则通过方案一拍摄n个货架上商品的照片。若n个货架为双排货架则通过方案二拍摄n个货架上商品的照片。
[0027] 方案一：
[0028] 步骤5.1、将1赋值给i；进入步骤5.2。
[0029] 步骤5.2、移动拍照机器人行进到第i个货架装有货物的一侧，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。
[0030] 步骤5.3、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi。摄像机拍摄一张照片并加入第i照片组。
[0031] 步骤5.4、若摄像机已拍摄完成第i个货架的所有图像，则进入步骤5.5；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e；e为摄像机所拍得照片的长宽比。
[0032] 步骤5.5、若i小于n，则将i增大1，并执行步骤5.2至步骤5.4；否则，进入步骤六。
[0033] 方案二：
[0034] 步骤5.1、移动拍照机器人行进到第一个货架远离第二个货架的一侧，且与第一个货架的一端对齐，使得摄像机朝向第一个货架。移动平台移动，使得摄像机的镜头与第一个货架的间距等于L1；俯仰调节机构将摄像机的仰角调节为θ1，升降平台将升降底座与升降盘的间距调节为h1；摄像机拍摄一张照片并加入第一照片组。之后进入步骤5.2。
[0035] 步骤5.2、若摄像机已拍摄完成第一个货架远离第二个货架的侧面所有图像，则进入步骤5.3，否则，移动拍照机器人正向行进z1距离后执行步骤5.1；z1＝S1·e；e为摄像机所拍得照片的长宽比。
[0036] 步骤5.3、将1赋值给i；进入步骤5.4。
[0037] 步骤5.4、移动拍照机器人行进到第i个货架与第i+1个货架之间，且与第i个货架的一端对齐，使得摄像机朝向第i个货架。
[0038] 步骤5.5、移动平台移动，使得摄像机的镜头与第i个货架的间距等于Li；俯仰调节机构将摄像机的仰角调节为θi；升降平台运动，将升降底座与升降盘的间距调节为hi。摄像机拍摄一张照片并加入第i照片组。进入步骤5.6。
[0039] 步骤5.6、若摄像机已拍摄完成第i个货架朝向第i+1个货架的侧面的所有图像，则进入步骤5.7；否则，移动拍照机器人正向行进zi距离后执行步骤5.3；zi＝Si·e。
[0040] 步骤5.7、旋转盘转动180°。移动平台移动，使得摄像机的镜头与第i+1个货架的间距等于Li+1；俯仰调节机构将摄像机的仰角调节为θi+1；升降平台运动，将升降底座与升降盘的间距调节为hi+1。摄像机拍摄一张照片并加入第i+1照片组。进入步骤5.8。
[0041] 步骤5.8、若摄像机已拍摄完成第i+1个货架朝向第i个货架的侧面的所有图像，则进入步骤5.9；否则，移动拍照机器人反向行进zi+1距离后执行步骤5.7；zi+1＝Si+1·e。
[0042] 步骤5.9、若i小于n-1，则将i增大1，并执行步骤5.4至步骤5.8；否则，进入步骤5.10。
[0043] 步骤5.10、移动拍照机器人行进到第n个货架远离第n-1个货架的一侧，且与第n个货架的一端对齐，使得摄像机朝向第n个货架。移动平台移动，使得摄像机的镜头与第n个货架的间距等于Ln；俯仰调节机构将摄像机的仰角调节为θn，升降平台将升降底座与升降盘的间距调节为hn；摄像机拍摄一张照片并加入第n照片组。进入步骤5.11。
[0044] 步骤5.11、若摄像机已拍摄完成第n个货架远离第n-1个货架的侧面所有图像，则进入步骤六，否则，移动拍照机器人正向行进zn距离后执行步骤5.1；zn＝Sn·e。
[0045] 步骤六、i＝1,2,…,n，依次执行步骤七。
[0046] 步骤七、服务器识别第i照片组的照片中的商品种类，并与第i个货架上的应摆放商品种类进行对比。
[0047] 若第i照片组的照片中存在不属于第i个货架上的应摆放商品种类的商品种类，则判断第i个货架存在放货错误的情况，响应器提示工作人员去除第i个货架上的错误商品种类。
[0048] 若第i个货架上的应摆放商品种类中存在第i照片组的照片中无法找到的商品种类，则判断第i个货架存在缺货，响应器提示工作人员为第i个货架补货。
[0049] 若第i照片组的照片中的商品种类均为第i个货架上的应摆放商品种类，且第i照片组的照片中的商品种类数量等于第i个货架上的应摆放商品种类，则判断第i个货架上的货物正常。
[0050] 进一步地，步骤七中服务器识别照片上商品种类的方法如下：
[0051] 7.1、用n个货架上应摆放商品的图片对卷积神经网络进行训练，得到商品检测模型。
[0052] 7.2、通过CANNY边缘检测算法获取的垂直投影直方图对摄像机8拍摄的照片按照货架的分层进行逐层分割，得到单层商品图像。
[0053] 7.3、通过BRISK特征提取算法分别对步骤7.2得到的多张单层商品图像进行分割，得到多个商品图像块。
[0054] 7.4、将所有商品图像块分别导入步骤7.1得到的商品检测模型，得到各商品图像块内商品的种类。
[0055] 进一步地，所述的卷积神经网络采用FAST-R-CNN。
[0056] 本发明具有的有益效果是：
[0057] 1、本发明能够通过单个摄像机即可获取快速获取货架商品信息，不需要大量的劳动力，且能及时更新商品信息。
[0058] 2、本发明能够根据货柜的高度调节摄像机的俯仰角、高度以及与货柜的间距，从而在保证拍摄到所有货柜上所有商品的同时，尽可能地让图片上的商品更加清晰。
[0059] 3、本发明中应用了计算机视觉技术，加快了对货架商品的信息获取。
[0060] 4、本发明的移动拍照机器人可移动、升降和旋转，设计灵活，可以满足不同场景的拍照要求。
