绳驱柔性机械臂建模与控制方法研究现状

谭晨羽, 许朋, 李平, 喻洪流

谭晨羽, 许朋, 李平, 喻洪流. 绳驱柔性机械臂建模与控制方法研究现状[J]. 信息与控制, 2023, 52(3): 277-291. DOI: 10.13976/j.cnki.xk.2023.2033
引用本文: 谭晨羽, 许朋, 李平, 喻洪流. 绳驱柔性机械臂建模与控制方法研究现状[J]. 信息与控制, 2023, 52(3): 277-291. DOI: 10.13976/j.cnki.xk.2023.2033
TAN Chenyu, XU Peng, LI Ping, YU Hongliu. Current Research on Modeling and Control Methods for Cable-driven Flexible Manipulator[J]. INFORMATION AND CONTROL, 2023, 52(3): 277-291. DOI: 10.13976/j.cnki.xk.2023.2033
Citation: TAN Chenyu, XU Peng, LI Ping, YU Hongliu. Current Research on Modeling and Control Methods for Cable-driven Flexible Manipulator[J]. INFORMATION AND CONTROL, 2023, 52(3): 277-291. DOI: 10.13976/j.cnki.xk.2023.2033
谭晨羽, 许朋, 李平, 喻洪流. 绳驱柔性机械臂建模与控制方法研究现状[J]. 信息与控制, 2023, 52(3): 277-291. CSTR: 32166.14.xk.2023.2033
引用本文: 谭晨羽, 许朋, 李平, 喻洪流. 绳驱柔性机械臂建模与控制方法研究现状[J]. 信息与控制, 2023, 52(3): 277-291. CSTR: 32166.14.xk.2023.2033
TAN Chenyu, XU Peng, LI Ping, YU Hongliu. Current Research on Modeling and Control Methods for Cable-driven Flexible Manipulator[J]. INFORMATION AND CONTROL, 2023, 52(3): 277-291. CSTR: 32166.14.xk.2023.2033
Citation: TAN Chenyu, XU Peng, LI Ping, YU Hongliu. Current Research on Modeling and Control Methods for Cable-driven Flexible Manipulator[J]. INFORMATION AND CONTROL, 2023, 52(3): 277-291. CSTR: 32166.14.xk.2023.2033

绳驱柔性机械臂建模与控制方法研究现状

基金项目: 

国家重点研发计划 2022YFC3601400

详细信息
    作者简介:

    谭晨羽(1997-),男,研究生。研究领域为康复机器人控制

    许朋(1992-),男,博士生。研究领域为智能护理机器人设计

    李平(1989-),女,博士生。研究领域为计算机视觉与康复机器人

    通讯作者:

    喻洪流,yhl98@hotmail.com

  • 中图分类号: TB18

Current Research on Modeling and Control Methods for Cable-driven Flexible Manipulator

  • 摘要:

    绳驱柔性机械臂具有高形变、质量小、能耗低等优点,伴随机器人应用的发展,针对绳驱软柔性机械臂的精准建模与有效控制成为国内外学者的重点研究方向。本文综述了绳驱柔性机械臂建模与控制方法,从建模方法上分析其运动学、动力学及静力学建模,并分别从基于模型与无模型两方面对控制方法进行归纳总结。其中,基于模型的控制方法分为运动学与动力学建模两类,而无模型控制方法包括模糊控制、神经网络控制、自适应控制与滑模控制等。最后,对绳驱柔性机械臂建模与运动控制未来的研究方向进行展望。

    Abstract:

    The cable-driven flexible manipulator has several advantages, such as high deformation, small mass, and low energy consumption. With the development of robotic applications, the precise modeling and effective control of cable-driven flexible manipulators have become a key research direction for domestic and foreign scholars. This study reviews cable-driven flexible manipulators′ modeling and control methods; analyzes their kinematic, dynamic, and static modeling from the modeling method; and summarizes the control methods from model-based and model-free perspectives. The model-based control methods are divided into kinematic and dynamic modeling. Meanwhile, the model-free control methods include fuzzy, neural network, adaptive, and sliding mode control. Finally, the future research direction of modeling and motion control of cable-driven flexible manipulators prospects.

  • 随着人工智能、机器视觉技术的提升,在生产环境的安全防护方面,研究人员提出了智慧安监的概念. 护具佩戴检测和动作识别的并行实现是实现智慧安监的一个重要步骤. 文[1]利用数据交互算法,将姿态估计中的姿态信息引入到护具佩戴检测算法中,实现两种数据的交互,从而提出了一种三点定位法,确定护具检测区域,有效识别出护具佩戴情况. 姿态估计算法[2-4],能够有效地将图像信息中的人体姿态转化为姿态坐标,人体姿态坐标的特征丰富,数据量小,便于传输,使动作识别的速度更快,准确性更强;数据交互算法,能够利用一种数据增加其他数据算法的性能,包括准确率和实时性,如匈牙利算法[5]可以最大程度地将两种集合进行匹配,为护具佩戴检测和动作识别的并行识别提供了新的思路.

    护具佩戴检测属于护具检测领域,是利用目标检测的方法,检测人员是否佩戴护具(安全帽、安全背心),并剔除未正确佩戴的护具信息(如手持安全帽),得到人员的护具佩戴情况. 传统的目标检测算法需要通过手工设计特征,在实际检测中存在准确率低、模型泛化性差等问题. 近年来,国内外学者提出了一系列基于深度学习的目标检测算法,可以用于护具检测系统. 2018年Seong等[6]利用安全背心的颜色进行了色彩空间转换和亮度成分评估,提出了一种颜色空间转换的方法,增强安全背心检测的精度. 2019年Fang等[7]针对传统检测方法准确率低、鲁棒性差的问题,提出了一种基于改进YOLOv2网络的安全帽佩戴情况检测方法,识别速度可以达到每秒148帧(YOLOv3的实时性低于YOLOv2). 2019年Dasgupta等[8]提出了一种基于卷积神经网络的摩托车安全帽佩戴情况检测结构,通过实验评价,检测结果优于传统的卷积神经网络. 2020年Felix等[9]利用交通数据制作摩托车头盔佩戴情况数据集,利用深度学习算法对复杂路况下,摩托车佩戴情况进行检测,并通过实验证明了其方法的有效性. 已有的护具佩戴检测方法,在检测过程中没有对未佩戴的护具与佩戴后的护具进行区分,而未佩戴的护具与佩戴后的护具特征相似,属于未正确佩戴护具行为,因此,本文对文[1]的数据交互方法进行改进,在护具佩戴检测算法中引入姿态信息,对这两种特征进行明确区分.

    动作识别是深度学习和机器视觉领域的一个分支,是对各种背景下的人员动作(打电话、挥舞等)进行识别. 随着人工智能技术的发展,基于机器视觉技术的人员动作监控已成为可能. 2019年Lei等[10]提出了一种基于骨架匹配的人体姿态估计方法,通过对姿态信息分类获得动作分类信息,有效地实现了动作分类. 2020年Tufek等[11]利用数据平衡和数据扩充方法,在有限的动作数据集上实现了动作分类,并通过实验证明了该方案的有效性. 2020年Tsai等[12]使用3D ConvNet结构和基于非极大值抑制原理的数据处理方法,实现了基于深度学习算法的多人动作识别系统. 针对背景信息影响动作识别精度的问题,2020年周波等[13]提出一种新的结合目标检测的人体行为识别的算法,在人体动作识别的过程中增加目标检测机制,使神经网络有侧重地学习人体的动作信息,降低了背景信息对动作识别精度的影响. 此外,很多学者使用智能传感器进行动作识别,如Kinect摄像机,2020年Wang等[14]对基于Kinect的动作识别方法进行了综述,并基于综述进行了算法改进,提升了算法的性能. 智能传感器简化了动作识别流程,但对设备要求较高,不易于算法的推广. 以上方法针对动作识别的准确性出发,但现实需求对动作识别算法的实时性同样有较高的要求[15].

    通过对已有方法的研究,针对算法的实时性问题,本文提出了基于姿态估计的护具佩戴检测与动作识别并行识别方案. 并行识别方案使用深度可分离卷积[16]对Openpose模型进行轻量化改进,改善姿态估计的实时性,快速获得多种人体姿态坐标,保证动作特征的丰富性. 本方案采用了一种基于距离和匈牙利算法的数据交互方法和基于姿态信息的四边形检测法,利用头肩区域的强鉴别性[17],对未佩戴护具和佩戴后护具的特征进行明确区分,剔除误判的护具信息,并选取14种关键姿态节点,从多方位获得姿态数据,通过深度神经网络(deep neural network,DNN),快速实现动作识别,有效解决了断续的图像序列难以有效识别的问题.

    基于姿态估计的并行识别系统主要可以分为4个部分:姿态估计、动作分类、护具检测和数据交互. 第一部分是姿态估计. 在多特征的情况下,深度可分离卷积(depthwise separable convolution,DSC)可以有效压缩网络模型的参数量. 本文利用DSC对Openpose模型的特征提取层进行改进,降低Openpose模型的参数量,有效提升姿态估计的实时性. 另外,针对Openpose模型存在对同一人体躯干重复估计的情况,本文在Openpose模型中加入非极大值抑制算法,去除重复的姿态信息,提高姿态估计的精度. 第二部分是动作分类. 改进的Openpose模型将图像特征转化为关节特征,利用算法将关节特征转化为关节坐标,通过DNN网络即可对图像序列进行有效的人体动作识别. 第三部分是护具检测. Darknet53模型可以快速准确地提取护具信息的特征,利用YOLOv3+Darknet53模型可以有效地检测出护具信息,包括安全帽和安全背心. 第四部分是数据交互. 匈牙利算法可以最大程度地将两个集合进行匹配,本文利用人体躯干和护具检测框的距离信息,使用匈牙利算法对人体躯干和护具进行匹配,并利用四边形检测法对护具检测框进行检验,剔除未正确佩戴的护具检测框. 本文提出的并行识别系统框架如图 1所示.

    图  1  并行识别系统框架图
    Fig. 1.  Framework of parallel recognition system

    考虑到系统的实时性,本并行识别系统选取不同动作切换过程中,较为活跃的14个姿态信息,进行DNN动作分类.

    本文使用DSC对Openpose模型的特征提取层进行改进,降低模型的参数量,增加Openpose模型姿态估计的速度,并搭建深度神经网络(DNN),对姿态信息进行动作分类,提出了一种基于改进Openpose模型和DNN的快速动作分类方案.

    多人姿态估计包含自顶向下和自底向上两种常用的方法. 自顶向下,首先检测出每个人体,再对人体进行关节识别;自底向上,先对所有的关节点进行识别,然后对关节点进行分组、连接,构成人体躯干. 在多人场景下,同时对每个人的关节点进行识别速度更快,为保证识别系统具有更高的实时性,本文根据自底向上的思路,使用改进的Openpose模型,进行姿态估计.

    传统的Openpose模型利用VGGnet(Visual Geometry Group network)获取图像特征,再利用图像特征进行特征点识别和特征区域识别. 特征点识别,利用卷积网络识别出18个关节点,输出每个关节点的热图以及1个背景热图. 特征区域识别,对19种特征点信息,两两之间生成骨骼区域的热图,共38种(C192). 可视化后的特征点和特征区域热图如图 2所示. 在图 2中,图 2(a)为可视化后的脚踝关节点. 图 2(b)为可视化后的特征区域(骨骼).

    图  2  可视化特征图像
    Fig. 2.  Visual features image

    Openpose模型对一个躯干进行姿态估计时,需要计算19种特征点和38种特征区域,共57种数据特征,网路参数庞大,降低了Openpose模型的识别速度. 因此,本文使用DSC对Openpose模型进行改进,降低参数量,可以增加系统的实时性.

    DSC能够有效压缩多特征模型[16],本文使用DSC对Openpose的特征提取层进行改进,得到改进的特征提取层DSCnet(Depthwise Separable Convolution network),使Openpose模型拥有更轻量化的网络结构,提升姿态估计模型的实时性. VGGnet、DSCnet的结构如图 3图 4所示.

    图  3  传统特征提取层:VGGnet
    Fig. 3.  Traditional feature extraction layer: VGGnet
    图  4  改进特征提取层:DSCnet
    Fig. 4.  Improve feature extraction layer: DSCnet

    图 3所示,VGGnet的输入图像为三通道的RGB图像,图像的宽度为W,长度为L. 正常卷积令图像的通道数(深度)为卷积核的第三维度,即正常卷积的卷积核大小为M×N×3,数量为1,得到的图像特征的大小为(W-M+1)×(L-N+1)×1. 一个图像特征所需的卷积核参数为M×N×3个,姿态估计需要获得57个图像特征,所需的卷积核参数为M×N×3×57个.

    图 4中,DSCnet的输入图像为三通道的RGB图像,图像的宽度为W,长度为L. 深度可分离卷积的实现分为两步:第1步,深度可分离卷积令图像的通道数(深度)为卷积核数量,即深度可分离卷积的卷积核大小为M×N×1,数量为3,得到的图像特征的大小为(W-M+1)×(L-N+1)×3. 第2步,建立大小为1×1×3的特征卷积核(不同图像特征对应不同参数的特征卷积核)对第1步获得的图像特征进行卷积,获得最终的图像特征大小为(W-M+1)×(L-N+1)×1,与正常卷积的图像特征大小一致. 一个图像特征所需的卷积核参数为M×N×1×3+1×1×3个,姿态估计需要获得57个图像特征,因此,建立57个大小为1×1×3的特征卷积核对第一步中获得的图像特征进行卷积,获得57个图像特征,所需的卷积核参数为M×N×1×3+1×1×3×57个.

    图 3图 4的分析可知,利用VGGnet进行57个图像特征提取时,卷积层需要的卷积核参数为M×N×3×57个;利用DSCnet进行57个图像特征提取时,卷积层需要的卷积核参数为M×N×1×3+1×1×3×57个,远远低于VGGnet所需要的卷积核参数个数,可以大大提高Openpose模型的识别速度.

    基于图像序列的动作识别方法,难以对断续图像序列有效识别. 本文使用改进的Openpose模型将图像中的人体特征转化为人体关节点坐标数据,保证了人体动作特征的丰富性和轻量化(坐标数据格式简单,数据量小,便于后续处理和传输),并在制作数据集时,从多角度采集数据,保证了各种动作数据的丰富性. 在数据丰富情况下,本文设计DNN进行动作分类,并采用全连接层(Dense)和批量标准化层(batch normalization,BN)交替的网络结构,如图 5所示. 针对DNN梯度消失问题,本文利用基于姿态信息的Batch Normalization算法,对中间网络层的输出进行标准化处理后,降低了不同样本间值域的差异性,增加姿态特征的变化梯度,解决了梯度消失的问题.

    图  5  DNN动作分类网络结构
    Fig. 5.  DNN action classification network structure

    基于姿态信息的Batch Normalization算法实现可以分为两步:第一步,利用式(1)~式(3)将输入的多种姿态特征Pi进行正态标准化,获得标准化后的姿态信息. 第二步,利用式(4)为Pi增加梯度信息,获得,避免DNN动作分类网络出现梯度消失问题.

    (1)

    (2)

    (3)

    在式(1)~式(3)中,k为姿态特征的种类数,μBk种姿态特征的均值,σB2k种姿态信息的方差,ε为方差阈值. 利用式(3),将姿态姿态信息正态标准化.

    (4)

    在式(4)中,γβ为梯度函数系数和常数向量. 利用式(4)改变姿态特征变化的梯度,从而增加网络收敛速度,避免梯度消失问题.

    在人员躯干与护具信息未进行匹配的情况下,进行数据交互容易出现信息误删问题(护具误删). 基于这一问题,本文提出一种基于距离和匈牙利算法的数据交互方法,将目标检测算法获得的护具信息和动作识别中的姿态信息进行匹配,解决了信息误删问题,实现了护具佩戴检测和动作识别的数据交互. 利用四边形检测法进行护具佩戴检测算法的误判判断(如手持安全帽),将未正确佩戴的护具信息进行剔除,增加了护具佩戴检测算法的准确性.

    Openpose模型在姿态估计过程中,同一个躯干存在重复估计的问题,如图 6所示,降低了数据交互的准确率. 本文在改进Openpose模型的输出阶段,利用式(5)、式(6)加入非极大值抑制算法(non-maximum suppression,NMS),对姿态信息进行预处理,去除重复的姿态信息.

    图  6  姿态重复信息
    Fig. 6.  Repeat data of pose

    (5)

    (6)

    在式(5)、式(6)中,Nin为待检测的姿态信息,Nscore为待检测姿态信息的原始分数,M为得分最高的姿态信息,Nt为预设阈值,Nmap为待检测姿态信息的最后得分,Nms为非极大值抑制算法的输出值,Pfoot为局部最优化窗口. 利用式(5)从N in获得每个姿态信息的最后姿态信息的Nmap,再使用Max函数,利用Pfoot进行滚动,对姿态信息进行去重.

    基于距离和匈牙利算法的数据交互方法,利用式(7)、式(8),计算护具检测框与躯干的距离,再利用距离作为匈牙利算法的输入,进行护具信息和躯干信息的匹配.

    (7)

    (8)

    在式(7)中,H i=(xiyi)为第i个护具检测框的中心点坐标;Het为护具检框中心点坐标集合;n为护具检测框个数;P j=(xj,yj)为第j个躯干的0号关节点(Nose)坐标,正确佩戴的安全帽;Nose关节点始终处于安全帽的检测框之内;Pose是姿态关节坐标集合;m为躯干数量. Li为距离转换阈值,等于第i个护具检测框长和宽的算数平均数. 首先利用式(7),计算各个护具检测框与躯干的距离Lij,然后利用式(8),将Lij中超过阈值Li的值转换为无穷大,从而得到匈牙利算法的输入量NHP,利用匈牙利算法将护具信息与人体躯干进行匹配.

    护具信息和躯干数据的交互关系可以分为两种情况,如图 7所示,分别为护具信息与躯干数目相同、护具信息与躯干数目不相同. 护具佩戴检测的目标为判断人员是否正确佩戴护具,因此,本文在使用匈牙利算法对护具和躯干进行匹配时,以躯干为主导,优先为所有躯干匹配护具检测框.

    图  7  数据交互格式
    Fig. 7.  Format of exchange data

    式(8)获得的NHP为具体数值,其数值的大小为躯干和护具匹配的具体量纲,基于此,本文对传统的匈牙利算法进行改进,具体步骤如下:

    1) 由式(7)中护具检测框集合Het和姿态关节坐标集合Pose的维度建立行数m,列数n的匈牙利矩阵Magy.

    2) 利用式(8),计算m×nPjHiNHP,并对每个躯干的nNHP进行升序排序,然后将排序的名次填入匈牙利矩阵Magy.

    3) 先将矩阵Magy的每一行减去该行的最小值,获得矩阵M agyF,再将矩阵M agyF的每一列减去该列的最小值,获得矩阵M agyS.

    4) 将矩阵M agyS中,所有不同行且不同列的0元素取出,读出0元素对应坐标值(ji),将第j个躯干与第i个护具检测框进行匹配.

    针对未佩戴护具的误判问题(如手持安全帽),本文提出了结合姿态信息的四边形检测法,示意图如图 8所示. 利用基于距离和匈牙利算法的数据交互方法将躯干与护具检测框进行匹配,通过计算节点坐标与安全帽的位置关系,将误判的护具信息剔除. 假设,护具检测框box的左上角坐标Qi(xminymin)和右下角坐标Qj(xmaxymax). 利用公式(9)通过QiQj建立第一级数值四边形Q uaF(QF11QF12QF21QF22).

    图  8  四边形检测法示意图
    Fig. 8.  Schematic diagram of quadrilateral detection

    (9)

    图 8所示,box1、box2、box3均为护具检测框,box1和box3为包含了0号关节点(Nose)的护具误判信息,为了将box1和box3进行剔除,必须对数值四边形进行压缩. 设置压缩比例θ,压缩比例θ由式(10)获得. 获得压缩比例θ后,利用式(11),获得第二级数值四边形QuaS(Q S11QS12QS21QS22).

    (10)

    在式(10)中,nh为每个躯干匹配的护具检测框数量,压缩比例最多为0. 5,保证算法的准确性.

    (11)

    判断0号关节点坐标P j=(xjyj)和第二级数值四边形QuaS的位置关系,若QS11 < Pj < QS22,则0号关节点在QuaS之内,保留此护具检测框;否则,将此护具检测框去除.

    本文实验中,使用准确率(Ar,Accuracy rate),帧速(FPS,Frames Per Second),漏检率(Mr,Miss rate),误判率(FFr,False Fositive rate)来测试模型的性能. 实测实验中,使用单GeForce2080进行算法的性能验证.

    (12)

    (13)

    (14)

    在式(12)~式(14)中,FP为误判帧,RP为正确识别帧,MP为漏判帧. 在利用公式计算Ar、FFr、Mr时,考虑到动作的延续性,本实验以每秒2帧的格式提取和计算FP、RP、MP的值.

    本文的数据集包括护具佩戴检测数据集(protective appliance wearing dataset,PAWD)、动作识别数据集(skeleton Openpose dataset,SOD)两部分. 在开源的安全帽检测数据集(safety helmet wearing dataset,SHWD)的基础上,加入了hat和vest两类数据进行扩充,构成了最终的护具佩戴检测数据集PAWD. SOD由NTU RGB+D动作识别数据集[18]和Openpose数据集组成,其中Openpose数据集为本文自制数据集.

    SHWD数据集中只包括helmet、person两类标签,无法对helmet和hat进行区分,且无法识别安全背心,因此本文对SHWD数据集进行扩充,得到PAWD数据集. 经过对SHWD数据集的扩充,本文的PAWD数据集共7 462张图片,标签设置为hat、helmet、person和vest四类. 从数据集中,选取80%的数据作为训练集,20%的数据作为测试集,然后再从训练集中选取10%的数据作为验证集,最后进行交叉验证测试,结果如表 1所示.

    表  1  护具佩戴检测数据集测试结果
    Tab. 1.  Test results of protective wear detect dataset
    数据集 Epoch:10 mAP Epoch:20 mAP Best mAP
    SHWD 0.734 0.815 0.821
    PAWD 0.692 0.791 0.791
    下载: 导出CSV 
    | 显示表格

    在目标检测问题中,mAP(mean Average Precision)是衡量检测结果的一个重要指标. 表 1中记录了两种数据集在YOLOv3+Darknet 53网络下训练10次、20次达到的平均精度. 在第13次,SHWD数据集的mAP达到的最大值;在第17次,PAWD数据集的mAP达到的最大值. 由于标签类别数的增加,PAWD数据集的mAP值稍低于SHWD数据集,且mAP值的最大值晚于SHWD数据集出现,符合训练规律,数据集扩充成功.

    本文实验中选取关节点标号对应表中的14种关节点作为动作识别的输入,关节点标号对应表如表 2所示;并利用NTU RGB+D动作识别数据集中的Skeleton数据和自制Openpose数据制作本文实验中的SOD数据集.

    表  2  关节点标号对应表
    Tab. 2.  Correspondence table of joint label
    关节名 Openpose Skeleton
    Nose 0 4
    Neck 1 21
    RShoulder 2 9
    Relbow 3 10
    RWrist 4 12
    LShoulder 5 5
    LElbow 6 6
    LWrist 7 8
    RHip 8 17
    Rknee 9 18
    Rankle 10 19
    LHip 11 13
    LKnee 12 14
    LAnkle 13 15
    下载: 导出CSV 
    | 显示表格

    1) Openpose数据

    Openpose数据为本文的实测数据,通过改进的Openpose模型进行姿态估计,得到各个动作对应的关节点数据,制作数据集. 步骤如下:(1)选取6位体型相差较大的同学依次做各种动作,对每种连续动作的各种情况进行采集,如图 9所示,将各种打电话动作均进行采集. (2)设置姿态估计网络,以每秒固定帧数的方式,输出指定的14个关节点信息. (3)建立数据集白板,将输出的关节点信息导入.

    图  9  动作实测数据
    Fig. 9.  Measured data of action

    2) Skeleton数据

    在动作识别的研究范围内,COCO、NTU RGB+D两个数据集的认可度较高. Skeleton数据是NTU RGB+D数据集中的三维骨骼数据,由Kinect传感器采集获得,含深度信息. 本文实验使用NTU RGB+D数据集中等量Skeleton数据和自制Openpose数据构造数据集,进行动作分类网络的训练. Skeleton数据与Openpose数据的格式如图 10所示. 由于Skeleton数据与Openpose数据格式不同,因此需要对Skeleton数据进行格式转换.

    图  10  动作数据格式图
    Fig. 10.  Format of action data

    表 2为Skeleton数据和Openpose数据的关节点标号对应表. 本文根据关节点标号对应表,提取Skeleton数据中Openpose数据对应的14个关节点数据,再利用去除深度值的方法,将三维Skeleton数据转化为二维Openpose数据.

    3) 动作识别数据集测试

    将数据集分为三类进行测试,包括Skeleton Dataset、Openpose Dataset、Skeleton+Openpose Dataset. 从各自数据集中,选取10%的数据做验证集,90%的数据为训练集,进行交叉训练测试,获得动作识别的Ar(Accuracy rate)如表 3所示.

    表  3  动作识别数据集测试结果
    Tab. 3.  Test results of action recognition dataset
    数据集 Skeleton Openpose Skeleton+Openpose
    Ar 0.94 0.938 0.91
    下载: 导出CSV 
    | 显示表格

    由测试可知,Skeleton数据集和Openpose数据集的准确率较高,但SOD数据集的鲁棒性更高. 在人员数据可测的情况下,可选择Openpose数据集进行动作识别,在人员信息未知的情况下,可选择SOD数据集进行动作识别.

    本文针对于Openpose模型的实时性不高的问题,利用DCS压缩模型参数的特性,对Openpose模型的特征提取层进行改进,并设计实验进行验证. 本实验使用准确率Ar和帧速FPS来评价系统的性能,分为单人识别和多人识别两类,分别在楼梯间、停车场和户外道路三种环境下进行实验,实验结果如图 11表 4所示. 图 11左侧3幅图为楼梯间实验,中间3幅图为停车场实验,右侧3幅图为户外道路实验.

    图  11  Openpose改进验证实验结果图
    Fig. 11.  Result of Openpose improved verification experiment
    表  4  Openpose改进验证对比实验结果
    Tab. 4.  Result of Openpose improved verification comparison experiment
    网络类别 Ar FPS 模型大小
    DSCnet 0.947 22 7.6 MB
    VGGnet 0.955 10 204.4 MB
    下载: 导出CSV 
    | 显示表格

    表 4中的测试结果可知,VGGnet的模型大小是DSCnet的26. 9倍,每秒识别动作的帧数比DSCnet少12帧. 原因在于,DSCnet中,利用深度可分离卷积对网络的参数进行轻量化处理,大大提高了网络的处理速度. 通过实验得到结论:使用DSCnet作为特征提取层,进行基于Openpose模型的动作识别,大大提升动作识别的实时性.

    本文中,利用数据交互方法和四边形检测法,将姿态信息加入到护具检测算法中,剔除误判信息,提升护具检测算法的准确率. 为验证基于姿态信息的护具检测算法的有效性,本文设计安全帽检测对比实验,使用准确率Ar、漏检率Mr和误判率FFr对算法的进行验证. 实验分为二个实验组:YOLOv3[20]和YOLOv3+PoseData(基于姿态信息的安全帽检测算法). 实验分别在楼梯间、停车场和户外道路三种环境下进行,实验结果如图 12表 5所示.

    图  12  安全帽检测对比实验结果图
    Fig. 12.  Result of helmet detect comparison experiment
    表  5  安全帽检测对比实验结果
    Tab. 5.  Result of helmet detect comparison experiment
    网络类别 Ar(HaH) FFr(HaH) Ar(Worn) Mr(Worn) Ar
    YOLOv3 0.675 0.325 0.952 0.048 0.867
    YOLOv3 + PoseData 0.968 0.032 0.945 0.065 0.959
    下载: 导出CSV 
    | 显示表格

    图 12上面3幅图为三种环境下,YOLOv3测试实验. 图 12下面3幅图为三种环境下,YOLOv3+PoseData测试实验.

    表 5中的实验结果可知,利用数据交互算法将误判的护具检测框进行剔除,可以提高护具检测的准确性. 由结果可知,YOLOv3+PoseData获得的手持安全帽误判率比文[19]中的安全帽检测方法降低29. 3%,整体准确率增加9. 2%. 因此,由实验结果得到结论:结合了姿态信息的YOLOv3+PoseData安全帽检测模型,大幅降低了手持安全帽的误判率,提升了护具佩戴检测系统的整体准确率,增加了系统的实用性.

    利用基于距离和匈牙利算法的数据交互方法,本文并行完成了动作识别和护具佩戴检测,提出一种快速的并行识别方案. 本文设计并行识别实验,使用准确率Ar、漏检率Mr和FPS对并行识别方案进行验证. 实验分为单人并行识别和多人并行识别两类,分别在楼梯间、停车场和户外道路三种环境下进行实验,实验结果如图 13表 6所示.

    图  13  人员行为识别实验结果图
    Fig. 13.  Result of human behavior recognition experiment
    表  6  并行识别实验结果
    Tab. 6.  Result of parallel recognition experiment
    Ar(Action) Ar(Helmet) Ar(Vest) Ar FPS
    0.942 0.953 0.910 0.935 9
    下载: 导出CSV 
    | 显示表格

    图 13左侧3幅图为楼梯间实验,中间3幅图为停车场实验,右侧3幅图为户外道路实验.

    在并行识别实验中,并行识别模型的整体正确率Ar为动作识别准确率、安全帽检测准确率和安全背心准确率的算术平均值. 由表 6中的实验结果可知,模型的整体正确率为93. 5%. 动作识别准确率和安全帽检测准确率与单独测试获得结果一致,并行识别实验结果合理. 考虑到行为的延续性,本文并行识别模型的FPS达到每秒9帧,基本满足识别要求. 因此,并行实验结果得到以下结论:本文提出的D-ODY(DSC-Openpose+DNN+YOLOv3,D-ODY)并行识别方案,在满足系统实时性的要求下,能够有效识别出动作信息、安全帽和安全背心佩戴情况.

    D-ODY并行识别方案在NTU RGB+D标准数据集上的动作识别准确率,PAWD数据集上的护具佩戴检测的准确率整体优于其他文献. 比文[9]的护具佩戴检测准确率高5. 2%,比文[12]的动作识别准确率高3. 4%,比文[20]的护具佩戴检测准确率高9. 2%,比文[21]的动作识别准确率高7. 3%.

    表  7  D-OPY与相关文献对比
    Tab. 7.  Comparison of D-OPY and related literature
    方法 Ar(Action) Ar(Helmet)
    D-ODY 0.942 0.953
    RetinaNet[9] 0.901
    3DConvNet+NMS[12] 0.908
    DeepSORT+YOLOv3[19] 0.867
    PoT2I+CNN[20] 0.869
    下载: 导出CSV 
    | 显示表格

    本文提出了一种D-ODY并行识别方案,快速并行实现了护具佩戴检测和动作识别. D-ODY使用DSC对Openpose模型的特征提取层进行改进,使姿态估计的FPS达到每秒22帧,较未改进的Openpose模型提高12帧. 本文在D-ODY中,使用基于距离和匈牙利算法的数据交互算法,以及四边形检测法,将姿态信息加入到安全帽检测算法中,使手持安全帽的误判率下降29. 3%. 并以实时性为前提,并行完成动作识别和护具佩戴检测,整体准确率达到93. 5%,解决了护具佩戴检测和动作识别并行识别实时性低的问题. 但D-ODY并行识别方案依然处于实验室研究阶段,系统的鲁棒性还有待提升,在今后的研究中,会继续改进,提高方案的实用性.

  • 图  1   连续型机器人概念

    Figure  1.   Concepts of continuous robot

    图  2   绳驱柔性机械臂一般性结构

    Figure  2.   General structure of cable-driven flexible manipulator

    图  3   绳驱柔性机械臂结构分类与发展

    Figure  3.   Classification and development of cable-driven flexible manipulator structure

    图  4   绳驱柔性机械臂运动学模型

    Figure  4.   Kinematic model of cable-driven flexible manipulator

    图  5   D-H法坐标系变换示意图

    Figure  5.   The schematic diagram of the D-H method of coordinate system transformation

    图  6   柔性机械臂分段常曲率圆弧参数

    Figure  6.   Piecewise constant curvature arc parameters of a flexible manipulator model

    图  7   连接节盘i上受力

    Figure  7.   The forces on connect disk i

    图  8   i节机械臂单元静力分析

    Figure  8.   The static analysis of the manipulator unit section i

    图  9   利用常曲率假设推导正逆运动学

    Figure  9.   Deriving forward and inverse kinematics using the constant curvature assumption

    表  1   主流绳驱柔性机械臂汇总比较

    Table  1   Comparison of mainstream cable-driven flexible manipulator

    机械臂名称 结构 长度/mm 系统精度/mm 末端负载/g 建模方法 控制方法 特点 局限
    GIS电力检修机械臂[1] 纯刚性 2000 - 818 运动学&静力学 运动学 适应狭小空间 结构易干涉
    充电机械臂[2] 纯刚性 1000 3 1500 运动学 运动学 自适应偏差、一体化结构 难以安装、运动规划效率低
    空间作业机械臂[3] 纯刚性 810 14.8 1500 运动学 运动学 快速响应、结构紧凑 重量、体积较大
    水下作业机械臂[5] 纯柔性 240 1 200 运动学&动力学 动力学 考虑流体力学补偿水体干扰 力矩小、建模复杂
    手术机械臂[8] 刚柔混合 90 2.56 - 运动学 运动学 体内安全定位 材料摩擦大
    空间作业机械臂[20] 纯刚性 1270 0.75 2000 运动学&动力学 动力学 混合驱动、精准避障 建模精度有限、无末端力控
    仿象鼻机械臂[23] 刚柔混合 830 - - 运动学 运动学 预定义避障、适应性抓取 制造、控制困难
    绳驱超冗余机械臂[26] 纯刚性 1400 2.21 2500 运动学&动力学 动力学 补偿线缆耦合、动态控制 控制精度有限
    心脏手术机械臂[28] 纯柔性 300 - 500 运动学 运动学 尺寸小、视觉反馈 纯硅胶灌注、控制参数单一
    丝驱柔性机械臂[29] 纯柔性 150 3.32 - 运动学 自适应控制 考虑材料粘性与应变、轨迹精度良好 未考虑系统摩擦、系统复杂
    水下运载器机械臂[30] 纯刚性 800 - 5 000 运动学 模糊控制 轻量化、低能耗 传动机构摩擦力大
    绳驱空中机械臂[31] 纯刚性 515 - - 动力学 滑模控制 系统稳定、控制精度良好 未样机验证
    绳驱柔性机械臂[32] 纯刚性 600 8.17 4 000 运动学 模糊控制 质量惯量小、负载自重比大 绳索张紧有限、建模精度受限
    绳驱软体机械臂[33] 纯柔性 150 - 15.6 MLP神经网络 深度强化学习 无需建模、视觉反馈 算法控制范围有限
    手术机械臂[34] 刚柔混合 30 0.32 30 MADQN神经网络 神经网络 无需建模、精度良好 控制未考虑接触力参数
    注:“-”表示未明确
    下载: 导出CSV

    表  2   绳驱柔性机械臂运动学建模方法对比

    Table  2   Comparison of kinematic modelling methods for cable-driven flexible manipulator

    建模类别 优势 不足
    基于理论分析建模 使用广泛,建立了统一框架,可用于多段机械臂 简化程度相对更高,精确性下降
    基于数值方法建模 适应多几何形状,易于观察形变,包括内部相互作用 计算负担高,有环境接触时求解效率低
    下载: 导出CSV

    表  3   无模型各类控制方法对比

    Table  3   Comparison of various model-free control methods

    方法分类 特点 应用
    模糊控制 无需考虑精确模型,根据输入输出变化率实时调整 时变的非线性的复杂系统
    神经网络控制 算法与智能控制相结合,具有自学习功能 高度非线性与严重不确定性系统
    自适应控制 可修正自身特性以适应对象动态特性变化 非线性系统,一般指对象结构已知,参数未知
    滑模控制 由系统状态变化调整结构,使系统按照预定“滑动模态”运动,鲁棒性强 非线性系统,环境具有明显干扰
    下载: 导出CSV

    表  4   基于模型/无模型控制方法对比

    Table  4   Comparison of model-based control and model-free control methods

    控制方法 适用环境 特点 应用
    基于模型 高稳定性、结构化环境 应用广泛,控制精度较高 易受外界扰动影响,建模过程繁琐
    无模型 高非线性系统、非结构化环境 无需建模步骤,适用复杂环境 应用相对较少,难以量化稳定指标
    下载: 导出CSV
  • [1] 李浩然. 基于GIS检修的柔性机械臂机构优化设计与运动学建模[D]. 北京: 北京林业大学, 2020.

    LI H R, Optimal design and kinematic modeling of flexible arm mechanism based on GIS maintenance[D]. Beijing: Beijing Forestry University, 2020.

    [2] 王浩淼. 线驱动柔性充电机器人系统的设计与控制研究[D]. 哈尔滨: 哈尔滨工业大学, 2017.

    WANG H M. Design and control of flexible cable-driven charging pile robotic system[D]. Harbin: Harbin Institute of Technology, 2017.

    [3] 韦贵炜, 徐振邦, 赵智远, 等. 线驱动连续型机械臂设计与运动学仿真[J]. 机械传动, 2019, 43(11): 32-38. https://www.cnki.com.cn/Article/CJFDTOTAL-JXCD201911006.htm

    WEI G W, XU Z B, ZHAO Z Y, et al. Design and kinematics simulation of a wire-driven multi-section continuous manipulator[J]. Mechanical Drive, 2019, 43(11): 32-38. https://www.cnki.com.cn/Article/CJFDTOTAL-JXCD201911006.htm

    [4] 朱晓俊, 王学谦, 马云萱, 等. 绳驱超冗余空间柔性机械臂遥操作系统设计与实验研究[J]. 机器人, 2022, 44(1): 9-18. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202201002.htm

    ZHU X J, WANG X Q, MA Y X, et al. Design and experimental study on the teleoperation system for cable-driven and hyper-redundant space flexible manipulator[J]. Robot, 2022, 44(1): 9-18. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202201002.htm

    [5]

    XU F, WANG H S, AU K W S, et al. Underwater dynamic modeling for a cable-driven soft robot arm[J]. IEEE/ASME Transactions on Mechatronics, 2018, 23(6): 2726-38. doi: 10.1109/TMECH.2018.2872972

    [6] 刘璇, 陈卫, 朱美龙, 等. 水下软体机械臂的设计及控制分析[J]. 船舶工程, 2020, 42(6): 21-25. https://www.cnki.com.cn/Article/CJFDTOTAL-CANB202006012.htm

    LIU X, CHEN W, ZHU M L, et al. Design and control analysis of underwater software robot arm[J]. Ship Engineering, 2020, 42(6): 21-25. https://www.cnki.com.cn/Article/CJFDTOTAL-CANB202006012.htm

    [7]

    KANNO T, KAWAKAMI T, KAWASAKI M, et al. Soft-material robot for ophthalmologic surgery[J]. Sensors and Materials, 2020, 32(3): 1041-1050. doi: 10.18494/SAM.2020.2668

    [8] 卢佳佳, 冯显英, 杜付鑫, 等. 一种丝驱连续体手术机械臂的设计及其运动学分析[J]. 机电工程, 2020, 37(9): 1051-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC202009010.htm

    LU J J, FENG X Y, DU F X, et al. Design and kinematics analysis of a tendon-driven surgical continuum arm[J]. Journal of Mechanical & Electrical Engineering, 2020, 37(9): 1051-1056. https://www.cnki.com.cn/Article/CJFDTOTAL-JDGC202009010.htm

    [9]

    JOSIE H, ULKU C, FABIO G, et al. Soft manipulators and grippers: A review[J]. Frontiers in Robotics and AI, 2016, 3: 69-72.

    [10]

    WANG S P, WANG R X, LIU M, et al. Review on reinforcement learning controller in soft manipulator[C]//Proceedings of the 2021 IEEE International Conference on Robotics and Biomimetics. Piscataway, USA: IEEE, 2021: 558-63

    [11] 徐丰羽, 孟凡昌, 范保杰, 等. 软体机器人驱动, 建模与应用研究综述[J]. 南京邮电大学学报: 自然科学版, 2019, 39(3): 64-75. https://www.cnki.com.cn/Article/CJFDTOTAL-NJYD201903011.htm

    XU F Y, MENG F C, FAN B J, et al. Review of driving methods, modeling and application in soft robots[J]. Journal of Nanjing University of Posts and Telecommunications, 2019, 39(3): 64-75. https://www.cnki.com.cn/Article/CJFDTOTAL-NJYD201903011.htm

    [12]

    GONG Z Y, FANG XI, CHEN X Y, et al. A soft manipulator for efficient delicate grasping in shallow water: Modeling, control, and real-world experiments[J]. The International Journal of Robotics Research, 2021, 40(1): 449-469. doi: 10.1177/0278364920917203

    [13]

    UPPALAPATI N K, KRISHNAN G. Design and modeling of soft continuum manipulators using parallel asymmetric combination of fiber-reinforced elastomers[J]. Journal of Mechanisms and Robotics, 2021, 13(1): 21-32.

    [14]

    UPPALAPATI N K, SINGH G, KRISHNAN G. Parameter estimation and modeling of a pneumatic continuum manipulator with asymmetric building blocks[C]//The 2018 IEEE International Conference on Soft Robotics. Piscataway, USA: IEEE, 2018: 528-533.

    [15] 王红红, 杜敬利, 保宏. 肌腱驱动连续体/软体机器人控制策略[J]. 机器人, 2020, 42(5): 626-640. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202005011.htm

    WANG H H, DU J L, BAO H. The control strategy of tendon-driven continuum/ soft robot[J]. Robot, 2020, 42(5): 626-640. https://www.cnki.com.cn/Article/CJFDTOTAL-JQRR202005011.htm

    [16]

    THURUTHEL T G, ANSARI Y, FALOTICO E, et al. Control strategies for soft robotic manipulators: A survey[J]. Robot, 2018, 5(2): 149-163.

    [17]

    TRIVEDI D, RAHN C D, KIER W M, et al. Soft robotics: Biological inspiration, state of the art, and future research[J]. Applied Bionics and Biomechanics, 2008, 5(3): 99-117. doi: 10.1155/2008/520417

    [18]

    ROBINSON G, DAVIES J B C. Continuum robots-a state of the art[C]//The 1999 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 1999: 2849-2854.

    [19] 彭光兵. 蛇形机械臂的设计与运动控制策略研究[D]. 杭州: 电子科技大学, 2022.

    PENG G B. Research on design and motion control strategy of snake arm robot[D]. Hangzhou: University of Electronic Science and Technology of China, 2022.

    [20] 刘天亮. 狭小空间作业绳驱分段联动机械臂运动规划与控制研究[D]. 哈尔滨: 哈尔滨工业大学, 2021.

    LIU T L. Motion planning and control of cable-driven segmented linkage manipulators for narrow space operations[D]. Harbin: Harbin Institute of Technology, 2021.

    [21]

    WEBSTER III R J, JONES B A. Design and kinematic modeling of constant curvature continuum robots: A review[J]. The International Journal of Robotics Research, 2010, 29(13): 1661-1683. doi: 10.1177/0278364910368147

    [22]

    LARSON O, DAVIDSON C. Flexible arm, particularly a robot arm, United States: 4393728[P]. 1983-07-19. https://www.freepatentsonline.com/4393728.html

    [23]

    HANNAN M W, WALKER I D. The 'elephant trunk' manipulator, design and implementation[C]//2001 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, USA: IEEE, 2001: 14-19.

    [24]

    HANNAN M W, WALKER I D. Kinematics and the implementation of an elephant's trunk manipulator and other continuum style robots[J]. Journal of Robotic Systems, 2003, 20(2): 45-63. doi: 10.1002/rob.10070

    [25]

    SANTIAGO J L C, GODAGE I S, GONTHINA P, et al. Soft robots and kangaroo tails: Modulating compliance in continuum structures through mechanical layer jamming[J]. Soft Robotics, 2016, 3(2): 54-63. doi: 10.1089/soro.2015.0021

    [26]

    XU W, LIU T, LI Y. Kinematics, dynamics, and control of a cable-driven hyper-redundant manipulator[J]. IEEE/ASME Transactions on Mechatronics, 2018, 23(4): 1693-1704. doi: 10.1109/TMECH.2018.2842141

    [27] 严盼辉. 基于视觉的绳驱柔性机械臂形状测量与目标定位方法[D]. 哈尔滨: 哈尔滨工业大学, 2019.

    YAN P H, Vision-based shape measurement of cable-driven flexible manipulator and target position method[D]. Harbin: Harbin Institute of Technology, 2019.

    [28] 俞晓瑾. 柔性机械臂的运动学和动力学建模及视觉伺服控制[D]. 上海: 上海交通大学, 2013.

    YU X J. Kinematics and dynamics modeling and visual servo control for robotic manipulator[D]. Shanghai: Shanghai Jiao Tong University, 2013.

    [29]

    WANG H S, WANG C, CHEN W D, et al. Three-dimensional dynamics for cable-driven soft manipulator[J]. IEEE/ASME Transactions on Mechatronics, 2016, 22(1): 18-28.

    [30] 李彬彬. 面向AUV的绳驱动水下机械臂系统设计与运动控制研究[D]. 南京: 南京航空航天大学, 2020.

    LI B B. System design and motion control research of underwater cable-driven manipulator for AUVs[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2020.

    [31] 姚勇, 丁力, 马瑞, et al. 考虑关节柔性的绳驱动空中机械臂关节空间鲁棒控制[J]. 控制与决策, 2023, 38(4): 971-979. https://www.cnki.com.cn/Article/CJFDTOTAL-KZYC202304010.htm

    YAO Y, DIN L, MA R, et al. Robust control for a cable-driven aerial manipulator with joint flexibility in joint space[J]. Control and Decision, 2023, 38(4): 971-979. https://www.cnki.com.cn/Article/CJFDTOTAL-KZYC202304010.htm

    [32] 徐伟. 绳驱动机器人的系统设计及运动控制研究[D]. 南京: 南京航空航天大学, 2018.

    XU W. Research on structural design and motion control of cable-driven robot[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2018.

    [33]

    WU Q X, GU Y Q, LI Y C, et al. Position control of cable-driven robotic soft arm based on deep reinforcement learning[J/OL]. Information, 2020, 11(6)[2022-03-25]https://www.mdpi.com/2078-2489/11/6/310. DOI: 10.3390/info11060310.

    [34]

    JI G L, YAN J Y, DU J X, et al. Towards safe control of continuum manipulator using shielded multiagent reinforcement learning[J]. IEEE Robotics and Automation Letters, 2021, 6(4): 7461-7468. doi: 10.1109/LRA.2021.3097660

    [35] 蒋国平, 孟凡昌, 申景金, 等. 软体机器人运动学与动力学建模综述[J]. 南京邮电大学学报(自然科学版), 2018, 38(1): 20-26. https://www.cnki.com.cn/Article/CJFDTOTAL-NJYD201801003.htm

    JIANG G P, MENG F C, SHEN J J, et al. Review on kinematics and dynamics modeling for soft robots[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2018, 38(1): 20-26. https://www.cnki.com.cn/Article/CJFDTOTAL-NJYD201801003.htm

    [36]

    YU C, LIU Z X, LIU X J, et al. DS-SLAM: A semantic visual SLAM towards dynamic environments[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2018: 1168-1174.

    [37]

    XU W F, LIU T L, LI Y M. Kinematics, dynamics, and control of a cable-driven hyper-redundant manipulator[J]. IEEE/ASME Transactions on Mechatronics, 2018, 23(4): 1693-1704. doi: 10.1109/TMECH.2018.2842141

    [38]

    CHIEN J L, CLARISSA L T L, LIU J M, et al. Kinematic model predictive control for a novel tethered aerial cable-driven continuum robot[C]//proceedings of the 2021 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, USA: IEEE, 2021: 1348-1354.

    [39]

    CHEN Z, LIU Z, HAN X G. Model analysis of robotic soft arms including external force effects[J/OL]. Micromachines, 2022, 13(3)[2022-06-10]. https://www.mdpi.com/2072-666X/13/3/350. DOI: 10.3390/mi13030350.

    [40]

    NA Y, LEE H, PARK J. Fabrication and experiment of an automatic continuum robot system using image recognition[J]. Journal of Mechanisms and Robotics, 2020, 12(1): 11-17.

    [41]

    QIANG Q, QIAN J W. Kinematics analysis and simulation of the oral flexible surgery robot[C]//Proceedings of the 2019 IEEE Advanced Information Technology, Electronic and Automation Control Conference. Piscataway, USA: IEEE, 2019: 2633-2639.

    [42] 王田苗, 郝雨飞, 杨兴帮, 等. 软体机器人: 结构, 驱动, 传感与控制[J]. 机械工程学报, 2017, 53(13): 1-13. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB201713001.htm

    WANG T M, HE Y F, YANG X B, et al. Soft robotics: Structure, actuation, sensing and control[J]. Journal of Mechanical Engineering, 2017, 53(13): 1-13. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB201713001.htm

    [43]

    OLIVER-BUTLER K, TILL J, RUCKER C. Continuum robot stiffness under external loads and prescribed tendon displacements[J]. IEEE Transactions on Robotics, 2019, 35(2): 403-419. doi: 10.1109/TRO.2018.2885923

    [44]

    LAI J W, HUANG K C, LU B, et al. Verticalized-tip trajectory tracking of a 3d-printable soft continuum robot: Enabling surgical blood suction automation[J]. IEEE/ASME Transactions on Mechatronics, 2021, 27(3): 1545-1556.

    [45]

    WU Q X, YANG X C, WU Y, et al. A novel underwater bipedal walking soft robot bio-inspired by the coconut octopus[J/OL]. Bioinspiration & Biomimetics, 2021, 16(4)[2022-07-29]. https://iopscience.iop.org/article/10.1088/1748-3190/abf6b9. DOI: 10.1088/1748-3190/abf6b9.

    [46]

    YAN J H, SHI P P, XU Z D, et al. Design and kinematics of cable-driven soft module coupled with spring[C]//Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics. Piscataway, USA: IEEE, 2019: 2195-2200.

    [47]

    DIAN S Y, ZHU Y Q, XIANG G F, et al. A novel disturbance-rejection control framework for cable-driven continuum robots with improved state parameterizations[J]. IEEE Access, 2022, 10: 91545-91556. doi: 10.1109/ACCESS.2022.3202934

    [48]

    WANG H S, CHEN W D, YU X J, et al. Visual servo control of cable-driven soft robotic manipulator[C]//The 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2013: 57-62.

    [49]

    NAGUA L, RELANO C, MONJE C A, et al. A new approach of soft joint based on a cable-driven parallel mechanism for robotic applications[J/OL]. Mathematics, 2021, 9(13)[2022-09-25]. https://www.mdpi.com/2227-7390/9/13/1468. DOI: 10.3390/math9131468.

    [50]

    ZHANG Z K, DEQUIDT J, BACK J, et al. Motion control of cable-driven continuum catheter robot through contacts[J]. IEEE Robotics and Automation Letters, 2019, 4(2): 1852-1859. doi: 10.1109/LRA.2019.2898047

    [51]

    TONKENS S, LORENZETTI J, PAVONE M. Soft robot optimal control via reduced order finite element models[C]//The 2021 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2021: 12010-12016.

    [52]

    ZHANG J, KAN Z Y, LI Y, et al. Novel design of a cable-driven continuum robot with multiple motion patterns[J]. IEEE Robotics and Automation Letters, 2022, 7(3): 6163-6170. doi: 10.1109/LRA.2022.3166547

    [53]

    ADAGOLODJO Y, RENDA F, DURIEZ C. Coupling numerical deformable models in global and reduced coordinates for the simulation of the direct and the inverse kinematics of Soft Robots[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 3910-3917. doi: 10.1109/LRA.2021.3061977

    [54]

    NIU L Z, DING L, GAO H B, et al. Closed-form equations and experimental verification for soft robot arm based on Cosserat theory[C]//The 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA: IEEE, 2019: 6630-6635.

    [55]

    RENDA F, BOYER F, DIAS J, et al. Discrete Cosserat approach for multisection soft manipulator dynamics[J]. IEEE Transactions on Robotics, 2018, 34(6): 1518-1533. doi: 10.1109/TRO.2018.2868815

    [56]

    FALKENHAHN V, MAHL T, HILDEBRANDT A, et al. Dynamic modeling of bellows-actuated continuum robots using the Euler-Lagrange formalism[J]. IEEE Transactions on Robotics, 2015, 31(6): 1483-1496. doi: 10.1109/TRO.2015.2496826

    [57] 沈逸, 樊耕霖, 唐秀川, 等. 基于高斯过程的软体机器人微分运动学控制[J]. 控制工程, 2021, 28(7): 1360-1365. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202107013.htm

    SHEN Y, FAN G L, TANG X C, et al. Gaussian process based differential kinematics control of the soft robot[J]. Control Engineering of China, 2021, 28(7): 1360-1365. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202107013.htm

    [58] 闫继宏, 石培沛, 张新彬, 等. 软体机械臂仿生机理, 驱动及建模控制研究发展综述[J]. 机械工程学报, 2018, 54(15): 1-14. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB201815001.htm

    YAN J H, SHI P P, ZHANG X B, et al. Review of biomimetic mechanism, actuation, modeling and control in soft manipulators[J]. Journal of Mechanical Engineering, 2018, 54(15): 1-14. https://www.cnki.com.cn/Article/CJFDTOTAL-JXXB201815001.htm

    [59] 顿向明, 敬忠良. 蛇形臂机器人研究与发展综述[J]. 飞控与探测, 2020, 3(5): 9-20. https://www.cnki.com.cn/Article/CJFDTOTAL-FKTC202005002.htm

    DUN X M, JIN Z L. Review on research and development of snake-arm robot[J]. Flight Control & Detection, 2020, 3(5): 9-20. https://www.cnki.com.cn/Article/CJFDTOTAL-FKTC202005002.htm

    [60]

    YANG J Z, PENG H J, ZHOU W Y, et al. A modular approach for dynamic modeling of multisegment continuum robots[J/OL]. Mechanism and Machine Theory, 2021, 165[2022-01-10]. https://www.sciencedirect.com/science/article/pii/S0094114X21001877?via%3Dihub. DOI: 10.1016/j.mechmachtheory.2021.104429.

    [61]

    LIU Z Z, ZHANG X G, CAI Z Q, et al. Real-time dynamics of cable-driven continuum robots considering the cable constraint and friction effect[J]. IEEE Robotics and Automation Letters, 2021, 6(4): 6235-6242.

    [62]

    MA J, HAN Z J, YANG L S, et al. Dynamics modeling of a soft arm under the Cosserat theory[C]//The 2021 IEEE International Conference on Real-time Computing and Robotics. Piscataway, USA: IEEE, 2021: 87-90.

    [63] 白争锋, 孔清峰, 赵起. 软体连续机械臂动力学建模与仿真[J]. 力学学报, 2021, 54: 1-13. https://www.cnki.com.cn/Article/CJFDTOTAL-LXXB202201015.htm

    BAI Z F, KONG Q F, ZHAO Q. Dynamic modeling and simulation of soft continuous manipulator[J]. Chinese Journal of Theoretical and Applied Mechanics, 2021, 54: 1-13. https://www.cnki.com.cn/Article/CJFDTOTAL-LXXB202201015.htm

    [64]

    WANG Y X, WANG H S, XU F, et al. Towards collision detection, localization and force estimation for a soft cable-driven robot manipulator[C]//The 2021 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2021: 12222-12228.

    [65]

    WANG P V, GUO S, WANG X Y, et al. Design and analysis of a novel variable stiffness continuum robot with built-in winding-styled ropes[J]. IEEE Robotics and Automation Letters, 2022, 7(3): 6375-6382.

    [66]

    BOUSBIA L, AMOURI A, CHERFIA A. Dynamics modeling of a 2-DoFs cable-driven continuum robot[J/OL]. World Journal of Engineering, 2022[2021-12-30]. https://www.emerald.com/insight/content/doi/10.1108/WJE-01-2021-0028/full/html. DOI: 10.1108/WJE-01-2021-0028.

    [67] 雷博兴. 基于神经网络的软体机械臂建模与位置控制研究[D]. 西安: 西安理工大学, 2021.

    LEI B X, Research on modeling and position control of soft manipulator based on neural network[D]. Xi′an: Xi′an University of Technology, 2021.

    [68]

    BAJO A, GOLDMAN R E., SIMAAN N. Configuration and joint feedback for enhanced performance of multi-segment continuum robots[C]//The 2011 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2011: 2905-2912.

    [69]

    PENNING R S, JUNG J W, FERRIER N J, et al. An evaluation of closed-loop control options for continuum manipulators[C]//The 2012 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2012: 5392-5397.

    [70]

    XU S L, HE B, ZHOU Y M, et al. A hybrid position/force control method for a continuum robot with robotic and environmental compliance[J]. IEEE Access, 2019, 7: 100467-100479.

    [71]

    WANG H S, NI H, WANG J C, et al. Hybrid vision/force control of soft robot based on a deformation model[J]. IEEE Transactions on Control Systems Technology, 2019, 29(2): 661-671.

    [72] 倪杭. 面向环境交互的柔性机器人的建模与控制[D]. 上海: 上海交通大学, 2019.

    NI H. Modeling and control of soft robot toward environment interaction[D]. Shanghai: Shanghai Jiao Tong University, 2019.

    [73]

    MAHL T, HILDEBRANDT A, SAWODNY O. A variable curvature continuum kinematics for kinematic control of the bionic handling assistant[J]. IEEE Transactions on Robotics, 2014, 30(4): 935-949.

    [74]

    ZHU J W, WANG H S, CHEN W D, et al. The three-dimensional shape control for a soft robot[C]//The 2017 IEEE International Conference on Control & Automation. Piscataway, USA: IEEE, 2017: 385-390.

    [75]

    GRAVAGNE I A, WALKER I D. Uniform regulation of a multi-section continuum manipulator[C]//The 2002 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2002: 1519-1524.

    [76]

    YANG J, SU H, LI Z J, et al. Adaptive control with a fuzzy tuner for cable-based rehabilitation robot[J]. International Journal of Control, Automation and Systems, 2016, 14(3): 865-875.

    [77]

    WANG Y Y, ZHU K W, CHEN B, et al. Model-free continuous nonsingular fast terminal sliding mode control for cable-driven manipulators[J]. ISA Transactions, 2020, 98: 483-495.

    [78]

    LI T, NAKAJIMA K, CIANCHETTI M, et al. Behavior switching using reservoir computing for a soft robotic arm[C]//The 2012 IEEE International Conference on Robotics and Automation. Piscataway, USA: IEEE, 2012: 4918-4924.

    [79]

    QI P, LIU C, ATAKA A, et al. Kinematic control of continuum manipulators using a fuzzy-model-based approach[J]. IEEE Transactions on Industrial Electronics, 2016, 63(8): 5022-5035.

    [80]

    YAZDANPANAH A, PILTAN F, ROSHANZAMIR A, et al. Design PID baseline fuzzy tuning proportional-derivative coefficient nonlinear controller with application to continuum robot[J]. International Journal of Intelligent Systems and Applications, 2014, 6(5): 90-100.

    [81]

    GIORELLI M, RENDA F, CALISTI M, et al. Neural network and Jacobian method for solving the inverse statics of a cable-driven soft arm with nonconstant curvature[J]. IEEE Transactions on Robotics, 2015, 31(4): 823-834.

    [82]

    ANSARI Y., MANTI M, FALOTICO E, et al. Multiobjective optimization for stiffness and position control in a soft robot arm module[J]. IEEE Robotics and Automation Letters, 2017, 3(1): 108-115.

    [83]

    WANG Z W, WANG T, ZHAO B L, et al. Hybrid adaptive control strategy for continuum surgical robot under external load[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 1407-1414.

    [84] 袁媛, 陈雨, 周青华, 等. 结合IMask R-CNN的绳驱机械臂视觉抓取方法研究[J]. 计算机应用研究, 2021, 38(10): 3093-3097. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202110038.htm

    YUAN Y, CHEN Y, ZHOU Q H, et al. Visual grasping method of rope-driven manipulator using IMask R-CNN[J]. Application Research of Computers, 2021, 38(10): 3093-3097. https://www.cnki.com.cn/Article/CJFDTOTAL-JSYJ202110038.htm

    [85]

    KRAUS D, JENSEN A, KILLPACK M. Coordinated soft robot multi-arm manipulation[C]//The 2020 IEEE International Conference on Soft Robotics. Piscataway, USA: IEEE, 2020: 424-431.

    [86]

    SAMADIKHOSHKHO Z, GHORBANI S, JANABI-SHARIFI F. Modeling and control of aerial continuum manipulation systems: A flying continuum robot paradigm[J]. IEEE Access, 2020, 8: 176883-176894.

    [87]

    LAI J W, HUANG K C, LU B, et al. Toward vision-based adaptive configuring of a bidirectional two-segment soft continuum manipulator[C]//The 2020 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, USA: IEEE, 2020: 934-939.

    [88] 李进华, 卜逸凡, 李晓阳, 等. 丝驱动连续体机器人的无模型自适应控制[J]. 天津大学学报(自然科学与工程技术版), 2022, 55(7): 754-763. https://www.cnki.com.cn/Article/CJFDTOTAL-TJDX202207012.htm

    LI J H, BU Y F, LI X Y, et al. Model-Free adaptive control for tendon-driven continuum robots[J]. Journal of Tianjin University(Science and Technology), 2022, 55(7): 754-763. https://www.cnki.com.cn/Article/CJFDTOTAL-TJDX202207012.htm

    [89]

    WANG Y Y, YAN F, CHEN J W, et al. Continuous nonsingular fast terminal sliding mode control of cable-driven manipulators with super-twisting algorithm[J]. IEEE Access, 2018, 6: 49626-49636.

    [90]

    MAZARE M, TOLU S, TAGHIZADEH M. Adaptive variable impedance control for a modular soft robot manipulator in configuration space[J]. Meccanica, 2022, 57(1): 1-15.

    [91]

    ZHENG G, ZHOU Y, JU M D. Robust control of a silicone soft robot using neural networks[J]. ISA Transactions, 2020, 100: 38-45.

  • 期刊类型引用(7)

    1. 孟祥璞,李硕,苑明哲,王文洪,张志佳,宋纯贺,曹飞道. 基于人体骨架的动作识别:综述与展望. 信息与控制. 2025(01): 1-27 . 本站查看
    2. 赵冬,杨改红,喻龙,周帅,薛俊杰. 运动员体能训练动作量化修正系统设计. 信息技术. 2024(04): 87-92 . 百度学术
    3. 丁静怡,王凌霄,袁竞峰,薛竣. 基于目标识别与姿态检测的套筒灌浆过程监测方法. 土木工程与管理学报. 2023(01): 136-144 . 百度学术
    4. 杨露. 基于视觉图像的靖边跑驴舞姿动作自动识别系统设计. 自动化与仪器仪表. 2023(05): 124-128 . 百度学术
    5. 费树岷,赵宏涛,杨艺,李春锋. 基于时序拓扑非共享图卷积和多尺度时间卷积的骨架行为识别. 信息与控制. 2023(06): 758-772 . 本站查看
    6. 晏国良. 基于动作捕捉的舞蹈视频动作识别技术研究. 赤峰学院学报(自然科学版). 2022(09): 48-52 . 百度学术
    7. 常丽萍. 基于多尺度特征融合的舞蹈规范动作姿态估计方法. 河北北方学院学报(自然科学版). 2022(11): 15-22 . 百度学术

    其他类型引用(6)

图(9)  /  表(4)
计量
  • 文章访问数:  707
  • HTML全文浏览量:  172
  • PDF下载量:  247
  • 被引次数: 13
出版历程
  • 收稿日期:  2023-02-13
  • 录用日期:  2023-04-05
  • 刊出日期:  2023-06-19

目录

/

返回文章
返回
x

声明

我刊近期收到个别作者反馈,发现有不法分子盗用《信息与控制》编辑部名义联系作者,提供外审意见、索要版面费等,严重侵害广大作者的合法权益,并对我刊声誉造成恶劣影响。

我刊现再次严正声明如下:在论文正式录用前,我刊不会以任何名义向作者索要版面费用。我刊收款账号为中国科学院沈阳自动化研究所,21001394201050000710-0004,无个人收款账号。 

如有问题可邮件或电话联系编辑部。联系人:孙静、韩颖,邮箱xk@sia.cn,电话024-23970049。

《信息与控制》编辑部

2024年2月23日