基于I_CBAM-DenseNet模型的小麦发育期识别研究
doi: 10.13878/j.cnki.jnuist.20230722001
付景枝1,2,3 , 马悦1,2,3 , 宏观4 , 刘云平1,2,3 , 吴文宇1 , 丁明明1,4 , 尹泽凡1
1. 南京信息工程大学自动化学院,南京, 210044
2. 南京信息工程大学大气环境与装备技术协同创新中心,南京, 210044
3. 南京信息工程大学江苏省大数据分析技术重点实验室,南京, 210044
4. 中国气象局气象探测中心,北京, 100081
基金项目: 国家自然科学基金 (51305210) ; 江苏省自然科学基金 (BK20150924)
作者简介
付景枝,女,博士,副教授,研究方向为机器人技术、系统优化.jennyfjz@163.com
中图分类号: TP391.4
文献标识码: A
Recognition of wheat development stage based on I_CBAM-DenseNet model
FU Jingzhi1,2,3 , MA Yue1,2,3 , HONG Guan4 , LIU Yunping1,2,3 , WU Wenyu1 , DING Mingming1,4 , YIN Zefan1
1. School of Automation,Nanjing University of Informantion Science & Technology,Nanjing 210044 ,China
2. Collaborative Innovation Center of Atmospheric Environment and Equipment Technology, Nanjing University of Informantion Science & Technology,Nanjing 210044 ,China
3. Jiangsu Key Laboratory of Big Data Analysis Technology (B-DAT) ,Nanjing University of Informantion Science & Technology,Nanjing 210044 ,China
4. China Meteorologicl Adiministration Meteorological Observation Centre,Beijing 100081 ,China
摘要
针对我国农作物发育期人工观测效率低、识别准确率不高等问题,提出一种基于I_CBAM-DenseNet模型的小麦发育期识别方法.该方法以密集连接卷积网络(DenseNet)为主干提取网络,融入卷积块注意模块CBAM.先将CBAM中的空间注意力模块(SAM)与通道注意力模块(CAM)由传统的串联连接改为并行连接,并将改进的CBAM(I_CBAM)插入到DenseNet最后一个密集网络中,构建一种I_CBAM-DenseNet模型,再选取小麦7个重要发育时期进行自动识别.为最大化提取小麦的特征信息,将超绿特征(ExG)因子和最大类间方差法(Otsu)相结合对采集到的小麦图像进行分割处理.对比分析了I_CBAM-DenseNet、AlexNet、ResNet 、DenseNet、CBAM-DenseNet以及VGG等模型的准确率和损失值的变化.结果表明,采取基于I_CBAM-DenseNet的卷积神经网络建立的模型,准确率达到99.64%,高于对比模型.
Abstract
To address the low efficiency and accuracy of manual observation in recognition of crop development stages,a recognition approach based on I_CBAM-DenseNet model is proposed.The approach utilizes a densely connected convolutional network (DenseNet) as the backbone extraction network and incorporates a Convolutional Block Attention Module (CBAM).The Spatial Attention Module (SAM) and Channel Attention Module (CAM) in CBAM are modified from traditional serial connection to parallel connection,and the Improved CBAM (I_CBAM) is inserted into the last dense block of DenseNet to construct the I_CBAM-DenseNet model.Seven important development periods of wheat are selected for automatic identification.To maximize wheat feature extraction,the Excess Green (ExG) feature factor and the maximum inter-class variance method of Otsu are combined to segment the acquired wheat images.The accuracy and loss values of models including I_CBAM-DenseNet,AlexNet,ResNet,DenseNet,CBAM-DenseNet and VGG are compared and analyzed.The results show that the proposed I_CBAM-DenseNet model outperforms other models with a high accuracy of 99.64%.
0 引言
近年来,在“智慧农业化”政策推动下,我国农业领域信息化和智能化技术得到快速发展.小麦生产在我国粮食生产中的地位举足轻重[1].小麦的发育期识别技术指的是在小麦整个生长过程中,对小麦生长期进行准确预测[2],以此来帮助作物种植者对小麦进行合理及时地农药喷洒,并且做出相应的施肥和灌溉作业.这不仅有利于提高小麦的产量,还可为农作物产量评估提供重要的参考价值[3].因此,对小麦发育期进行预测具有十分重要的意义.
传统的农作物观测方式大多是采用人工观测,农业专家需要不间断地去田地里观测作物长势,根据个人的主观性以及经验来判定作物具体处于哪个时期,从而判断是否需要施肥和灌溉作业.人工观测小麦发育期不仅效率低,而且耗时费力[4].目前,机器学习技术逐步走向成熟,在图像分割、图像识别领域应用广泛.Priya等[5]和安国平等[6]使用支持向量机(Support Vector Machine,SVM)模型对植物叶片进行分类,取得较好的分割效果; 徐慧智等[7]针对传统交通标志识别准确率低的问题,提出一种将ResNet和迁移学习结合的模型,该方法对交通标志识别具有较高的准确率; 廖强等[8]提出一种新的ResNet50模型,该方法通过对ResNet50设计全新的全连接层,对数据集采用数据增强技术[9],从而提高人脸表情识别准确率; 牛群峰等[10]和陈永卫等[11]分别针对人工分拣效率低和种类识别准确率不高的问题,提出优化的VGG神经网络,从而提高了分类识别的精度.以上方法虽然较传统分类模型准确率有所提高,但是只适用于数据集不多,且环境比较单一的情况,无法广泛适用于农作物生长周期的所有图像分类任务中.
近年来,压缩激励网络(Squeeze-and-Excitation Network,SENet)[12]、卷积块注意模块(Convolutional Block Attention Module,CBAM)[13]、高效通道注意力(Efficient Channel Attention,ECA)[14]等注意力机制由于增加了卷积神经网络(Convolutional Neural Network,CNN)来增强学习能力而得到广泛关注.Wang 等[15]提出一种新型的VGG型基础网络(VSBN)作为骨干网络,引入CBAM,模型的灵敏度、精度、F1均在95%以上; Wang等[16]提出一个新的并行混合注意模块(I_CBAM),能较好地实现对病虫害的细粒度分类.但是,上述方法在预处理图像时操作较为复杂,仅适用于少量植物病虫害识别领域.
针对我国农作物发育期人工观测效率低、传统分类模型识别准确率低,且无法应用于环境复杂的农作物发育期图像分类等问题,本文提出一种以DenseNet为主干提取网络,融入卷积块注意模块CBAM的方法.首先将CBAM中的空间注意力模块(Spatial Attention Module,SAM)与通道注意力模块(Channel Attention Module,CAM)由传统的串联改为并行,其次将改进的CBAM(I_CBAM)插入到DenseNet最后一个密集网络中,构建一种I_CBAM-DenseNet模型.该模型不仅可以提高小麦发育期的分类准确率,而且实现了低成本、高效率,为农业观测者以及研究者在小麦生产实践中提供重要的参考价值.
1 材料与方法
1.1 数据集来源
本研究使用的数据集均来源于河南郑州的小麦试验基地.该地区主要为西高东低的平原,总面积约为22 km2.该研究区域冬小麦产量高,是中国优质冬小麦生产中心之一.为了在室外自然光线下拍摄清晰图像,本文使用了尼康COOLPIX B700数码相机的自动模式,最高ISO限制为1 600,拍摄的最低快门速度为1/30 s,高架摄像头设定每天早上08:00以及下午15:00自动采集,摄像头采用等距离定点(设置离地2.5 m)拍摄小麦图像,并实时传输至电脑端的数据服务器进行保存.本研究选择2019—2022年期间小麦图像20 058张,包含拔节期、播种期、成熟期、抽穗期、出苗期、返青期、分蘖期、开花期、起身期、乳熟期、三叶期、越冬期、孕穗期13个发育期.为了减少模型参数的数量,将像素调整为224×224,所有图像数据均保存为JPG格式.为了凸显本文算法的有效性,选取小麦发育较为重要的出苗期、三叶期、分蘖期、孕穗期、抽穗期、开花期以及成熟期,并对这7个发育期进行重点研究.7个发育期的小麦图像对比如图1所示.
1.2 图像预处理
1.2.1 数据筛选
在提供的小麦数据集中存在大量无效照片,比如部分照片存在过度曝光、对比度过高以及图像差异不明显等问题,所以,需要采取手动和自动(代码实现)结合的方式对无效图像进行删除,并对过度曝光的照片进行处理调节,最后得出高质量的小麦图像数据集.
1.2.2 数据增强
由于经过筛选后的数据集数量不多,在训练模型时可能会导致模型过拟合和泛化能力较差[17],因此,本研究使用翻转图像、亮度及颜色增强3种数据增强技术[18]来补充数据集.数据增强效果如图2所示.
数据集增加后共有小麦图像数据集4 812张,其中,训练集3 368张,验证集962张,测试集482张.增强前后小麦各发育期图像数量如表1所示.
1.3 数据集划分
经过数据增强处理后,将小麦7个发育期的照片打乱,按照7∶2∶1的比例划分训练集、验证集及测试集,其中,训练集和验证集用来训练及选择模型,测试集用来评估模型的性能.各时期图像数据划分如表2所示.
1小麦发育期图像
Fig.1Pictures of wheat development stages
2数据增强效果
Fig.2Data enhancement effect
1增强前后小麦发育期图像
Table1Number of images of wheat development periods before and after enhancement
2各发育期图像划分
Table2Number of images allocated for training, validation and test
1.4 实验环境
本实验算法处理平台为高性能计算机,模型训练与测试的软件环境为Windows11系统,选择Python3.9编程语言,CPU为Intel i9,GPU为RTX3090,加速库CUDA10,深度学习框架为Pytorch1.10.模型训练的初始学习率(Learning_rate)为0.000 1,批处理(Batch size)大小为32,迭代次数(Epochs)为60.
2 小麦发育期识别模型
2.1 DenseNet 模型
卷积神经网络是深度学习中图像识别的重要组成部分[19].卷积层是提取图像特征的卷积神经网络的核心,具有优异性能的卷积层可以极大地提高模型的效率.理论上,可以通过增加模型中卷积层的数量来提取更多的特征.然而,在实践中,随着网络深度的增加,会出现消失梯度和退化问题.DenseNet具有特征共享和任意层间互连的特点[20].它通过密集连接重用特征图,利用不同层的特征图来减少层之间的相互依赖性,通过不同长度的快捷连接提供紧凑和差异化的输入特征,并有效减少深度网络中难以优化的梯度消失问题.最终的预测是使用来自所有层的特征,可以以较小的模型和计算工作量在标准数据集上获得更好的性能和模型鲁棒性[21].图3为DenseNet模型的结构.
DenseNet的基本结构由密集块(Dense Block)、过渡层(Transition Layer)、卷积层和全连接层组成.密集单元输入与之前密集单元的所有输出进行拼接合并,生成的新特征也需要传递到后续密集单元,从而使密集块的浅层特征得到重复利用和有效利用,可以在一定程度上减少梯度消失,并且可以用少量的卷积核来生成大量的特征.过渡层是相邻密集块之间的结构,由1×1卷积和2×2平均池化层组成,压缩密集块输入和所有提取的特征信息,降低特征图的大小和维数,可以有效地减少密集块参数的数量,防止网络过拟合[22].完全连接的层是分类预测层,它通过整合网络特征中的类别特征信息来减少特征位置对分类的影响,并在加权后对特征信息进行分类.
综上所述,DenseNet的特点就是所谓的密集连接,它使每一层的输入都能成为前面所有层输出的级联.通过这种方式,DenseNet中的每一层都能享受“密集”的特征重用,因为输入获得了所有先前层所学习的信息.DenseNet中第l层(1≤l)的输出可以写成:
yl=Hlxl=Hly0,yl,,yl-2,yl-1.
(1)
其中:Hl(·)是一种非线性转化函数,包含卷积、激活函数以及批归一化的3部分; [y0y1,···,yl-1] 表示密集连接的效果,该连接将前l-1层的输出连接在某个维度上.
3DenseNet模型结构
Fig.3DenseNet model structure
同时,对模型设计过程中模型性能与计算时间之间的最优关系进行了权衡.系统加载模型后,通过计算模型在测试数据集上的推理速度,得出模型预测单组图像只需要0.031 2 s左右,可以满足实际项目要求.
2.2 基于卷积的注意力模块
由于数据集中小麦图像的特征点不明显,导致卷积神经网络模型在训练的时候可能会提取无用的特征,影响网络模型的性能.本文在DenseNet模型基础上引入卷积块注意模块(CBAM)[23],包括两个子模块:通道注意力模块(CAM)和空间注意力模块(SAM).两个模块具有不同的功能,SAM可以提取输入图像的主要特征信息,CAM可以根据每个特征通道的重要性设置权重.CBAM模块结构如图4所示.
在通道注意力模块中,将输入的图像分别应用平均池化和最大池化,输出的特征图通过只有一个隐藏层的多层感知器(Multi Layer Perceptron,MLP)来生成通道注意力图.再通过元素相加计算通道注意力子模块.计算公式如下:
MC(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F))).
(2)
其中:σ是sigmoid函数; MLP为多层感知器; AvgPool(F)和MaxPool(F)分别表示平均池化和最大池化; MCF)为通道注意力模块.
4CBAM结构
Fig.4CBAM structure
与通道注意力不同,空间注意力子模块为了找到目标位置的信息,其沿通道轴同时进行平均池化和最大池化过程,并通过卷积层生成空间注意图.计算公式如下:
MsF'=σfAvgPoolF',MaxPoolF'
(3)
其中:F为输入特征图; f为7×7卷积运算; AvgPool(F′)和MaxPool(F′)分别表示平均池化和最大池化; MSF′)是空间注意力模块.
2.3 基于注意力机制的DenseNet小麦识别模型
研究表明,注意力机制引入CNN算法中,能够使网络模型得到优化.为了提高小麦发育期分类识别的准确率,本文以DenseNet为主干提取网络,将CBAM引入该网络模型.一方面,在该模型中,无论通道注意力在空间注意力之前(通道→空间,即CBAM),或是空间注意力在通道注意力之前(空间→通道,即反向CBAM),排在后面的权重将由排在前面的特征图生成.在某种程度上,排在后面的注意特征的输入受到排在前面的注意机制的影响,这会产生干扰,使模型不稳定.另一方面,串联插入只允许模型先考虑一个维度,然后再考虑另一个维度,这可能会导致模型无法充分利用输入数据中的信息.为此,本文通过将原来CBAM中通道注意力模块和空间注意力模块串联方式改为并行连接方式来改进CBAM,命名为I_CBAM.这是因为并行插入允许 CBAM 模块同时考虑通道和空间维度上的特征.这意味着两个注意力模块都能直接学习原始输入的特征图,而不用关注空间注意力和通道注意力的顺序,从而更好地捕获输入数据中的特征.I_CBAM计算公式如下:
F2'=MCF2F2MSF2
(4)
其中:是特征图加权乘法运算符号; F2'为输出的特征图.
将改进的CBAM注意力模块添加到DenseNet模型中最后一个Dense Block之后,对DenseNet网络模型进行优化,从而构建出一个新的模型I_CBAM-DenseNet,整体结构如图5所示.
识别模型由DenseNet和改进的CBAM构成,具体的工作流程如下:首先输入的小麦图像是三通道的,其像素大小为224×224,图像格式是RGB.本文使用7×7和3×3的卷积核对小麦图像进行初步的特征提取以及降维处理,得到64通道且图像尺寸大小为56×56的特征图F1.为了使小麦图像在处理过程中的特征信息更加显著,本文使用4个Dense Block及3个Transition Layer模块组成的网络.其中,Dense Block中Denselayer数量分别设置为6、12、24、16.为了对特征点进行提取,Denselayer选择1×1和3×3的卷积核且增长率设置为32.Transition Layer放在2个Dense Block中间.Transition Layer有个参数reduction(范围是0到1),本文设置为0.5,这样传给下一个Dense Block时,channel数量就会减少一半.经过上述过程处理,特征图的尺寸逐步变为28×28、14×14和7×7.
经过大量的实验验证,本文将改进后的CBAM插入到第4个Dense Block之后可以明显提高模型对小麦图像的识别准确率.改进的CBAM由CAM和SAM并联构成.在CAM部分,通过DenseNet特征提取网络输出的小麦发育期图像F2(7×7×256),在其宽度和高度上进行最大池化和平均池化,可以得出2个1×1×256的小麦特征图像,经过一个2层的神经网络可以得到2个1×1×256小麦特征图.然后将这2个小麦特征向量相乘进行加和操作,通过激活函数sigmoid得到通道注意力权重MC.在SAM部分,将DenseNet特征提取网络输出的小麦发育期图像F2(7×7×256),在其通道上进行最大池化和平均池化,可以得出2个7×7×1的小麦特征图像.本文选用3×3的卷积核对小麦特征通道数进行降维,通过激活函数sigmoid得到通道注意力权重MS.由于本文将CAM模块和SAM模块采用并行连接的方式,所以将小麦特征图F2MCMS相乘得到的特征,即为通过I_CBAM模块增强后的小麦特征F2'.
2.4 评价指标
为了更好地比较模型的分类能力,本实验使用损失值(Loss)、准确率(Accuracy,A)、召回率(Recall,R)、精确率(Precision,P)以及F1-Score作为评价指标衡量模型的性能[24].模型分类评价指标计算如式(5)—(8)所示.
P=TPTP+FP×100%
(5)
R=TPTP+FN×100%
(6)
A=TP+TNTP+TN+FP+FN×100%,
(7)
F1-Score=2×P×RP+R×100%
(8)
5基于I_CBAM-DenseNet小麦发育期识别
Fig.5Wheat developmental stage identification via the proposed I_ CBAM-DenseNet
式中:TP为分类正确的小麦样本数量; FP为分类错误的小麦样本数量; TN为分类正确的非本类小麦样本数量; FN为表示未被正确分类的小麦样本数量.
3 实验结果与分析
3.1 实验过程
1)数据收集:在田地周边超过2 m位置架设摄像头,摄像头拍摄的小麦图像定时传输至电脑端的数据服务器进行保存.
2)发育期分类:按照麦类作物各发育期特征将采集的图像进行发育期分类,本文选取小麦7个重要发育期即出苗期、三叶期、分蘖期、孕穗期、抽穗期、开花期以及成熟期.小麦发育期判定标准如表3所示.
3)筛选图像:将不清晰、有遮挡的照片进行手工删除,并进行发育期分类.为了更好地证明模型的鲁棒性,本文使用翻转图像、亮度增强,以及颜色增强方式扩充小麦数据集.按照7∶2∶1的比例将数据集划分为训练集、验证集和测试集.最后,对图像进行预处理,包括灰度化、归一化操作,以及像素去均值化.为了方便结果比较分析,将图像格式化,统一转换像素为224×224.
4)分割图像:将小麦图像分别进行灰度化处理(图6)和分割处理(图7),消除农作物背景干扰信息,最大化提取农作物生育期的特征信息.采用超绿特征(ExG)因子和最大类间方差算法(Otsu)分割图像,原始图像经灰度化和分割处理后的准确率对比结果如图8所示.
3麦类作物发育期判定标准
Table3Criteria for determining the developmental stage of wheat crops
5)模型验证:将I_CBAM-DenseNet分别与 DenseNet[26]、CBAM-DenseNet[27]、AlexNet[28]、ResNet[29]以及VGG[30] 5种常见的卷积神经网络模型进行分类识别比较,以验证本文模型对小麦各发育期图像识别的性能.迭代次数设置为60,批处理大小设置为32.训练时将损失值和准确率进行保存.
6小麦开花期灰度化处理图像
Fig.6Grey-scale processing of image of wheat during flowering stage
7小麦分蘖期分割处理图像
Fig.7Segmentation of image of wheat during tillering stage
8图像分割准确率
Fig.8Image segmentation accuracy
3.2 嵌入注意力模块前后准确率比较
图9所示,在DenseNet网络模型中添加不同的注意力机制,准确率明显提升.通过比较原始模型DenseNet、CBAM-DenseNet以及I_CBAM-DenseNet准确率及损失值可知,本文I_CBAM-densene收敛速度最快、准确率更高.
3.3 基于I_CBAM-DenseNet小麦发育期结果分析
为了进一步验证模型的泛化能力及其鲁棒性,采用测试数据集对I_CBAM-DenseNet进行性能评估.首先使用混淆矩阵更加直观地了解各模型对小麦发育期的分类情况.图10显示了该模型在测试集上的混淆矩阵.混淆矩阵的每一行代表小麦的真实发育期[25],每行中的数据表示该类别的小麦实例数量; 混淆矩阵的每一列代表小麦的预测发育期,每列中的数值表示小麦发育期类别的预测数量.由图10可知:小麦出苗期有1张被识别成三叶期; 三叶期有1张被识别成抽穗期; 孕穗期有1张被识别成分蘖期; 抽穗期有2张被识别成开花期; 成熟期有1张被识别成抽穗期.经分析,是因为相邻的发育期特征差异不大导致了误判.
9嵌入注意力模块后准确率
Fig.9Accuracy after embedding attention module
10I_CBAM-DenseNet混淆矩阵
Fig.10I_ CBAM DenseNet confusion matrix
根据式(5)—(8)计算本文所提出I_CBAM-DenseNet模型在测试集上的各评价指标,结果如表4所示.该模型对7个小麦发育期的分类识别准确率均高于99.17%,精确率均高于96.77%,召回率均高于96.61%,F1得分均高于98.07%.因此,I_CBAM-DenseNet模型可以高精度地识别出小麦的每个发育期.
4I_CBAM-DenseNet定量评估结果
Table4Quantitative evaluation results of I_CBAM-DenseNet
3.4 不同模型识别结果对比
为了更直观全面地展示本文提出模型的高精度性,在各模型训练过程中,对DenseNet、CBAM-DenseNet、 I_CBAM-DenseNet、AlexNet、ResNet以及VGG 6个模型测试集的准确率及损失值进行保存,得到其变化曲线分别如图11图12所示.
11不同模型验证集的准确率
Fig.11Accuracy of different model validation sets
从如图11可以看出,随着训练次数的不断增加,其他5个模型的曲线波动很大,表明这些模型的拟合度不高.但是本文提出的I_CBAM-DenseNet模型没有明显波动,在拟合方面表现良好.另外,6个模型在验证集上损失值呈下降趋势(图12),尽管部分验证阶段的损失率没有下降而是上升,但是总体损失值呈下降状态并迅速收敛,在收敛后,DenseNet的损失值均在0.086上下浮动.此外迭代次数在22左右时,I_CBAM-DenseNet模型的损失值一直处于最低,比其他5个模型更加稳定.随着迭代次数的不断增加,准确率也不断提高,当迭代次数在20左右时,模型在解空间中非常接近局部最优解,训练精度也随之收敛.通过对测试数据集上各种模型的全面比较可知,本文提出的I_CBAM-DenseNet能够准确识别小麦的发育期.
12不同模型验证集的损失值
Fig.12Loss values for different model validation sets
将训练好的模型分别在相同的测试集上测试,根据不同模型对小麦图像的分类结果将各模型的准确率、召回率、精确率以及每轮运行的时间进行统计计算,各模型对小麦7个发育期识别结果如表5所示.
5各模型在测试集上的性能对比
Table5Performance comparison of various models on test set
表5可知,I_CBAM-DenseNet模型准确率达到99.64%,比DenseNet、AlexNet、ResNet、VGG以及CBAM-DenseNet 分别提高2.39、3.08、2.57、4.88、0.65个百分点,其召回率以及精确率也比对比模型高,表明本文模型泛化性能较好.
4 总结
本文提出一种基于I_CBAM-DenseNet模型的小麦发育期图像自动识别方法,以解决我国农作物发育期人工观测效率低、识别准确率低等问题.为了验证模型泛化能力,对数据集采取了数据增强技术; 为了消除小麦图像与背景干扰的影响,采用超绿特征(ExG)因子和最大类间方差算法(Otsu)分割图像.在DenseNet卷积神经网络中融合注意力模块CBAM对模型进行改进优化.采用I_CBAM-DenseNet网络模型对小麦发育期进行训练识别,同时对比分析DenseNet、AlexNet、ResNet、 VGG以及CBAM-DenseNet模型的性能.结果如下:
1) I_CBAM-DenseNet模型对小麦发育期识别的准确率为99.64%,比DenseNet、AlexNet、ResNet、VGG以及CBAM-DenseNet分别提高2.39、3.08、2.57、4.88和0.65个百分点,其召回率以及精确率也比对比模型更高.
2)从识别结果中可以发现,临近发育期的小麦图像无突变特征,导致识别错误,后期需要对特征不明显的时期进行进一步研究.
3)为了充分发挥该模型在分类速度和准确性方面的优势,可以将其部署到手机、电脑等便携式电子终端上,以实现未来对拍摄的照片进行快速及时分类.
4)后续将收集更多的数据,并根据小麦的特征优化模型算法,将模型移植到其他作物发育期识别,以此来验证该模型的性能.
1小麦发育期图像
Fig.1Pictures of wheat development stages
下载: 全尺寸图片
2数据增强效果
Fig.2Data enhancement effect
下载: 全尺寸图片
3DenseNet模型结构
Fig.3DenseNet model structure
下载: 全尺寸图片
4CBAM结构
Fig.4CBAM structure
下载: 全尺寸图片
5基于I_CBAM-DenseNet小麦发育期识别
Fig.5Wheat developmental stage identification via the proposed I_ CBAM-DenseNet
下载: 全尺寸图片
6小麦开花期灰度化处理图像
Fig.6Grey-scale processing of image of wheat during flowering stage
下载: 全尺寸图片
7小麦分蘖期分割处理图像
Fig.7Segmentation of image of wheat during tillering stage
下载: 全尺寸图片
8图像分割准确率
Fig.8Image segmentation accuracy
下载: 全尺寸图片
9嵌入注意力模块后准确率
Fig.9Accuracy after embedding attention module
下载: 全尺寸图片
10I_CBAM-DenseNet混淆矩阵
Fig.10I_ CBAM DenseNet confusion matrix
下载: 全尺寸图片
11不同模型验证集的准确率
Fig.11Accuracy of different model validation sets
下载: 全尺寸图片
12不同模型验证集的损失值
Fig.12Loss values for different model validation sets
下载: 全尺寸图片
1增强前后小麦发育期图像
Table1Number of images of wheat development periods before and after enhancement
下载: 全尺寸图片
2各发育期图像划分
Table2Number of images allocated for training, validation and test
下载: 全尺寸图片
3麦类作物发育期判定标准
Table3Criteria for determining the developmental stage of wheat crops
下载: 全尺寸图片
4I_CBAM-DenseNet定量评估结果
Table4Quantitative evaluation results of I_CBAM-DenseNet
下载: 全尺寸图片
5各模型在测试集上的性能对比
Table5Performance comparison of various models on test set
下载: 全尺寸图片
[1]
郑玲. 小麦生物量田间快速测量方法研究[D]. 杨凌: 西北农林科技大学,2015. ZHENG Ling. Research on the fast detection method of wheat biomass infield[D]. Yangling: Northwest A & F University,2015
[2]
徐建鹏, 王杰, 徐祥, 等. 基于RAdam卷积神经网络的水稻生育期图像识别[J]. 农业工程学报,2021,37(8):143-150. XU Jianpeng, WANG Jie, XU Xiang,et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering,2021,37(8):143-150
[3]
陆佳岚, 王净, 马成, 等. 长江流域中稻产量和品质性状差异与其生育期气象因子的相关性[J]. 江苏农业学报,2020,36(6):1361-1372. LU Jialan, WANG Jing, MA Cheng,et al. Correlation between the differences in yield and quality traits among various types of middle rice and meteorological factors during growth period in the Yangtze River Basin[J]. Jiangsu Journal of Agricultural Sciences,2020,36(6):1361-1372
[4]
李要中, 刘钧, 马尚昌. 基于AM335X的农作物气象自动观测系统设计[J]. 气象科技,2017,45(5):818-824. LI Yaozhong, LIU Jun, MA Shangchang. Design of AM335X-based automatic crop-meteorological observation system[J]. Meteorological Science and Technology,2017,45(5):818-824
[5]
Priya C A, Balasaravanan T, Thanamani A S. An efficient leaf recognition algorithm for plant classification using support vector machine[C]//International Conference on Pattern Recognition, Informatics and Medical Engineering(PRIME-2012). March 21-23,2012, Salem, India. IEEE,2012:428-432
[6]
安国平, 姜长生, 吴庆宪. 基于PCNN和SVM的图像识别方法研究[J]. 电光与控制,2008,15(10):42-46. AN Guoping, JIANG Changsheng, WU Qingxian. Study on an image recognition method based on PCNN and SVM[J]. Electronics Optics & Control,2008,15(10):42-46
[7]
徐慧智, 闫卓远, 常梦莹. 一种结合ResNet和迁移学习的交通标志识别方法[J]. 重庆理工大学学报(自然科学),2023,37(3):264-273. XU Huizhi, YAN Zhuoyuan, CHANG Mengying. A traffic sign recognition method based on ResNet and transfer learning[J]. Journal of Chongqing University of Technology(Natural Science),2023,37(3):264-273
[8]
廖强, 王宇. 基于迁移学习ResNet50的表情识别[J]. 中国科技信息,2023(9):89-92. LIAO Qiang, WANG Yu. Expression recognition based on transfer learning ResNet50[J]. China Science and Technology Information,2023(9):89-92
[9]
张超群, 易云恒, 周文娟, 等. 基于深度学习与数据增强技术的小样本岩石分类[J]. 科学技术与工程,2022,22(33):14786-14794. ZHANG Chaoqun, YI Yunheng, ZHOU Wenjuan,et al. Small rock samples classification based on deep learning and data enhancement technologies[J]. Science Technology and Engineering,2022,22(33):14786-14794
[10]
牛群峰, 袁强, 靳毅, 等. 基于改进VGG16卷积神经网络的烟丝类型识别[J]. 国外电子测量技术,2022,41(9):149-154. NIU Qunfeng, YUAN Qiang, JIN Yi,et al. Identification of tobacco strands types based on improved VGG16 convolutional neural network[J]. Foreign Electronic Measurement Technology,2022,41(9):149-154
[11]
陈永卫, 韩俊英, 任希同. 基于改进型VGG的苹果果实品种识别[J]. 软件,2022,43(5):32-37. CHEN Yongwei, HAN Junying, REN Xitong. Variety identification of apple fruit based on improved VGG[J]. Computer Engineering & Software,2022,43(5):32-37
[12]
Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23,2018, Salt Lake City, UT, USA. IEEE,2018:7132-7141
[13]
Woo S, Park J, Lee J Y,et al. CBAM:convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer,2018:3-19
[14]
李孟浩, 袁三男. 改进YOLOv5s的交通标识检测算法[J]. 南京信息工程大学学报(自然科学版),2024,16(1):11-19. LI Menghao, YUAN Sannan. Traffic sign detection based on improved YOLOv5s[J]. Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2024,16(1):11-19
[15]
Wang S H, Fernandes S L, Zhu Z Q,et al. AVNC:attention-based VGG-style network for COVID-19 diagnosis by CBAM[J]. IEEE Sensors Journal,2022,22(18):17431-17438
[16]
Wang M, Wu Z, Zhou Z. Fine-grained identification research of crop pests and diseases based on improved CBAM via attention[J]. Trans Chin Soc Agric Mach,2021,52:239-247
[17]
孔建磊, 金学波, 陶治, 等. 基于多流高斯概率融合网络的病虫害细粒度识别[J]. 农业工程学报,2020,36(13):148-157. KONG Jianlei, JIN Xuebo, TAO Zhi,et al. Fine-grained recognition of diseases and pests based on multi-stream Gaussian probability fusion network[J]. Transactions of the Chinese Society of Agricultural Engineering,2020,36(13):148-157
[18]
庄建军, 徐子恒, 张若愚. 基于改进的YOLOv5模型和射线法的车辆违停检测. 南京信息工程大学学报(自然科学版):1-12[2023-06-29].https://doi.org/10.13878/j.cnki.jnuist.20230402001. ZHUANG Jianjun, XU Ziheng, ZHANG Ruoyu. Vehicle violation detection based on improved YOLOv5 model and radiometric method. Journal of Nanjing University of Information Science & Technology(Natural Science Edition):1-12[2023-06-29].https://doi.org/10.13878/j.cnki.jnuist.20230402001
[19]
Yu D W, Yang J E, Zhang Y,et al. Additive DenseNet:dense connections based on simple addition operations[J]. Journal of Intelligent & Fuzzy Systems,2021,40(3):5015-5025
[20]
张芸德. 基于深度特征学习和多级SVM的玉米生长期识别研究[D]. 武汉: 华中师范大学,2018. ZHANG Yunde. Research on corn growth stage identification based on depth feature learning and multi-level SVM[D]. Wuhan: Central China Normal University,2018
[21]
Zhou T, Ye X Y, Lu H L,et al. Dense convolutional network and its application in medical image analysis[J]. BioMed Research International,2022,2022:2384830
[22]
王善平. 基于生长期识别与路径规划的喷杆喷雾机精准施药决策系统研制[D]. 泰安: 山东农业大学,2021. WANG Shanping. Development of precision spraying decision system for boom sprayer based on growth identification and path planning[D]. Taian: Shandong Agricultural University,2021
[23]
王圆, 祝俊辉, 周贤勇, 等. 基于改进ResNet模型的番茄叶片病虫害识别. 激光杂志:1-6[2023-06-29].http://kns.cnki.net/kcms/detail/50.1085. TN.20230726.0907.002.html. WANG Yuan, ZHUJunhui, ZHOU Xianyong,et al. Tomato leaf pest identification based on improved ResNet model. Laser Journal:1-6[2023-06-29].http://kns.cnki.net/kcms/detail/50.1085. TN.20230726.0907.002.html
[24]
扶兰兰, 黄昊, 王恒, 等. 基于Swin Transformer模型的玉米生长期分类[J]. 农业工程学报,2022,38(14):191-200. FU Lanlan, HUANG Hao, WANG Heng,et al. Classification of maize growth stages using the Swin Transformer model[J]. Transactions of the Chinese Society of Agricultural Engineering,2022,38(14):191-200
[25]
许美贤, 郑琰, 李炎举, 等. 基于PSO-BP神经网络与PSO-SVM的抗乳腺癌药物性质预测[J]. 南京信息工程大学学报(自然科学版),2023,15(1):51-65. XU Meixian, ZHENG Yan, LI Yanju,et al. Prediction of properties of anti-breast cancer drugs based on PSO-BP neural network and PSO-SVM[J]. Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(1):51-65
[26]
庄黎波, 李勇, 刘强, 等. 基于改进Densenet的番茄病害识别[J]. 浙江农业科学,2023,64(8):1939-1944. ZHUANG Libo, LI Yong, LIU Qiang,et al. Tomato disease identification based on improved Densenet[J]. Journal of Zhejiang Agricultural Sciences,2023,64(8):1939-1944
[27]
申志凯. 基于CBAM-DenseNet网络的支气管内膜结核辅助诊断研究[D]. 南昌: 南昌大学,2022. SHEN Zhikai. Research on auxiliary diagnosis of endobronchial tuberculosis based on CBAM-DenseNet network[D]. Nanchang: Nanchang University,2022
[28]
宫妍, 位冲冲, 夏明磊. 基于改进的卷积神经网络的工件识别技术[J]. 哈尔滨商业大学学报(自然科学版),2023,39(3):294-302. GONG Yan, WEIChongchong, XIA Minglei. Workpiece recognition technology based on improved convolution neural network[J]. Journal of Harbin University of Commerce(Natural Sciences Edition),2023,39(3):294-302
[29]
刘拥民, 胡魁, 聂佳伟, 等. 基于MSDB-ResNet的水稻病虫害识别[J]. 华南农业大学学报,2023,44(6):978-985. LIU Yongmin, HU Kui, NIE Jiawei,et al. Rice pest identification based on MSDB-ResNet[J]. Journal of South China Agricultural University,2023,44(6):978-985
[30]
孙孟研, 王佳, 马睿, 等. 基于注意力机制的轻量化VGG玉米籽粒图像识别模型. 中国粮油学报:1-12[2023-07-06].https://doi.org/10.20048/j.cnki.issn.1003-0174.000226. SUN Mengyan, WANG Jia, MA Rui,et al. Image recognition model of light VGG maize kernel based on attention mechanism. Journal of the Chinese Cereals and Oils Association:1-12[2023-07-06].https://doi.org/10.20048/j.cnki.issn.1003-0174.000226
图(12) / 表(5)
手机扫码阅读
引用本文
FU Jingzhi, MA Yue, HONG Guan, LIU Yunping, WU Wenyu, DING Mingming, YIN Zefan. Recognition of wheat development stage based on I_CBAM-DenseNet model[J].Journal of Nanjing University of Information Science & Technology,2025,17(1):42-52
复制

FU Jingzhi, MA Yue, HONG Guan, LIU Yunping, WU Wenyu, DING Mingming, YIN Zefan. Recognition of wheat development stage based on I_CBAM-DenseNet model[J].Journal of Nanjing University of Information Science & Technology,2025,17(1):42-52
Copy
计量
文章访问量: 57
HTML全文浏览量: 13
PDF下载量: 106
1小麦发育期图像
Fig.1Pictures of wheat development stages
2数据增强效果
Fig.2Data enhancement effect
3DenseNet模型结构
Fig.3DenseNet model structure
4CBAM结构
Fig.4CBAM structure
5基于I_CBAM-DenseNet小麦发育期识别
Fig.5Wheat developmental stage identification via the proposed I_ CBAM-DenseNet
6小麦开花期灰度化处理图像
Fig.6Grey-scale processing of image of wheat during flowering stage
7小麦分蘖期分割处理图像
Fig.7Segmentation of image of wheat during tillering stage
8图像分割准确率
Fig.8Image segmentation accuracy
9嵌入注意力模块后准确率
Fig.9Accuracy after embedding attention module
10I_CBAM-DenseNet混淆矩阵
Fig.10I_ CBAM DenseNet confusion matrix
11不同模型验证集的准确率
Fig.11Accuracy of different model validation sets
12不同模型验证集的损失值
Fig.12Loss values for different model validation sets
1增强前后小麦发育期图像
Table1Number of images of wheat development periods before and after enhancement
2各发育期图像划分
Table2Number of images allocated for training, validation and test
3麦类作物发育期判定标准
Table3Criteria for determining the developmental stage of wheat crops
4I_CBAM-DenseNet定量评估结果
Table4Quantitative evaluation results of I_CBAM-DenseNet
5各模型在测试集上的性能对比
Table5Performance comparison of various models on test set
郑玲. 小麦生物量田间快速测量方法研究[D]. 杨凌: 西北农林科技大学,2015. ZHENG Ling. Research on the fast detection method of wheat biomass infield[D]. Yangling: Northwest A & F University,2015
徐建鹏, 王杰, 徐祥, 等. 基于RAdam卷积神经网络的水稻生育期图像识别[J]. 农业工程学报,2021,37(8):143-150. XU Jianpeng, WANG Jie, XU Xiang,et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering,2021,37(8):143-150
陆佳岚, 王净, 马成, 等. 长江流域中稻产量和品质性状差异与其生育期气象因子的相关性[J]. 江苏农业学报,2020,36(6):1361-1372. LU Jialan, WANG Jing, MA Cheng,et al. Correlation between the differences in yield and quality traits among various types of middle rice and meteorological factors during growth period in the Yangtze River Basin[J]. Jiangsu Journal of Agricultural Sciences,2020,36(6):1361-1372
李要中, 刘钧, 马尚昌. 基于AM335X的农作物气象自动观测系统设计[J]. 气象科技,2017,45(5):818-824. LI Yaozhong, LIU Jun, MA Shangchang. Design of AM335X-based automatic crop-meteorological observation system[J]. Meteorological Science and Technology,2017,45(5):818-824
Priya C A, Balasaravanan T, Thanamani A S. An efficient leaf recognition algorithm for plant classification using support vector machine[C]//International Conference on Pattern Recognition, Informatics and Medical Engineering(PRIME-2012). March 21-23,2012, Salem, India. IEEE,2012:428-432
安国平, 姜长生, 吴庆宪. 基于PCNN和SVM的图像识别方法研究[J]. 电光与控制,2008,15(10):42-46. AN Guoping, JIANG Changsheng, WU Qingxian. Study on an image recognition method based on PCNN and SVM[J]. Electronics Optics & Control,2008,15(10):42-46
徐慧智, 闫卓远, 常梦莹. 一种结合ResNet和迁移学习的交通标志识别方法[J]. 重庆理工大学学报(自然科学),2023,37(3):264-273. XU Huizhi, YAN Zhuoyuan, CHANG Mengying. A traffic sign recognition method based on ResNet and transfer learning[J]. Journal of Chongqing University of Technology(Natural Science),2023,37(3):264-273
廖强, 王宇. 基于迁移学习ResNet50的表情识别[J]. 中国科技信息,2023(9):89-92. LIAO Qiang, WANG Yu. Expression recognition based on transfer learning ResNet50[J]. China Science and Technology Information,2023(9):89-92
张超群, 易云恒, 周文娟, 等. 基于深度学习与数据增强技术的小样本岩石分类[J]. 科学技术与工程,2022,22(33):14786-14794. ZHANG Chaoqun, YI Yunheng, ZHOU Wenjuan,et al. Small rock samples classification based on deep learning and data enhancement technologies[J]. Science Technology and Engineering,2022,22(33):14786-14794
牛群峰, 袁强, 靳毅, 等. 基于改进VGG16卷积神经网络的烟丝类型识别[J]. 国外电子测量技术,2022,41(9):149-154. NIU Qunfeng, YUAN Qiang, JIN Yi,et al. Identification of tobacco strands types based on improved VGG16 convolutional neural network[J]. Foreign Electronic Measurement Technology,2022,41(9):149-154
陈永卫, 韩俊英, 任希同. 基于改进型VGG的苹果果实品种识别[J]. 软件,2022,43(5):32-37. CHEN Yongwei, HAN Junying, REN Xitong. Variety identification of apple fruit based on improved VGG[J]. Computer Engineering & Software,2022,43(5):32-37
Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 18-23,2018, Salt Lake City, UT, USA. IEEE,2018:7132-7141
Woo S, Park J, Lee J Y,et al. CBAM:convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer,2018:3-19
李孟浩, 袁三男. 改进YOLOv5s的交通标识检测算法[J]. 南京信息工程大学学报(自然科学版),2024,16(1):11-19. LI Menghao, YUAN Sannan. Traffic sign detection based on improved YOLOv5s[J]. Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2024,16(1):11-19
Wang S H, Fernandes S L, Zhu Z Q,et al. AVNC:attention-based VGG-style network for COVID-19 diagnosis by CBAM[J]. IEEE Sensors Journal,2022,22(18):17431-17438
Wang M, Wu Z, Zhou Z. Fine-grained identification research of crop pests and diseases based on improved CBAM via attention[J]. Trans Chin Soc Agric Mach,2021,52:239-247
孔建磊, 金学波, 陶治, 等. 基于多流高斯概率融合网络的病虫害细粒度识别[J]. 农业工程学报,2020,36(13):148-157. KONG Jianlei, JIN Xuebo, TAO Zhi,et al. Fine-grained recognition of diseases and pests based on multi-stream Gaussian probability fusion network[J]. Transactions of the Chinese Society of Agricultural Engineering,2020,36(13):148-157
庄建军, 徐子恒, 张若愚. 基于改进的YOLOv5模型和射线法的车辆违停检测. 南京信息工程大学学报(自然科学版):1-12[2023-06-29].https://doi.org/10.13878/j.cnki.jnuist.20230402001. ZHUANG Jianjun, XU Ziheng, ZHANG Ruoyu. Vehicle violation detection based on improved YOLOv5 model and radiometric method. Journal of Nanjing University of Information Science & Technology(Natural Science Edition):1-12[2023-06-29].https://doi.org/10.13878/j.cnki.jnuist.20230402001
Yu D W, Yang J E, Zhang Y,et al. Additive DenseNet:dense connections based on simple addition operations[J]. Journal of Intelligent & Fuzzy Systems,2021,40(3):5015-5025
张芸德. 基于深度特征学习和多级SVM的玉米生长期识别研究[D]. 武汉: 华中师范大学,2018. ZHANG Yunde. Research on corn growth stage identification based on depth feature learning and multi-level SVM[D]. Wuhan: Central China Normal University,2018
Zhou T, Ye X Y, Lu H L,et al. Dense convolutional network and its application in medical image analysis[J]. BioMed Research International,2022,2022:2384830
王善平. 基于生长期识别与路径规划的喷杆喷雾机精准施药决策系统研制[D]. 泰安: 山东农业大学,2021. WANG Shanping. Development of precision spraying decision system for boom sprayer based on growth identification and path planning[D]. Taian: Shandong Agricultural University,2021
王圆, 祝俊辉, 周贤勇, 等. 基于改进ResNet模型的番茄叶片病虫害识别. 激光杂志:1-6[2023-06-29].http://kns.cnki.net/kcms/detail/50.1085. TN.20230726.0907.002.html. WANG Yuan, ZHUJunhui, ZHOU Xianyong,et al. Tomato leaf pest identification based on improved ResNet model. Laser Journal:1-6[2023-06-29].http://kns.cnki.net/kcms/detail/50.1085. TN.20230726.0907.002.html
扶兰兰, 黄昊, 王恒, 等. 基于Swin Transformer模型的玉米生长期分类[J]. 农业工程学报,2022,38(14):191-200. FU Lanlan, HUANG Hao, WANG Heng,et al. Classification of maize growth stages using the Swin Transformer model[J]. Transactions of the Chinese Society of Agricultural Engineering,2022,38(14):191-200
许美贤, 郑琰, 李炎举, 等. 基于PSO-BP神经网络与PSO-SVM的抗乳腺癌药物性质预测[J]. 南京信息工程大学学报(自然科学版),2023,15(1):51-65. XU Meixian, ZHENG Yan, LI Yanju,et al. Prediction of properties of anti-breast cancer drugs based on PSO-BP neural network and PSO-SVM[J]. Journal of Nanjing University of Information Science & Technology(Natural Science Edition),2023,15(1):51-65
庄黎波, 李勇, 刘强, 等. 基于改进Densenet的番茄病害识别[J]. 浙江农业科学,2023,64(8):1939-1944. ZHUANG Libo, LI Yong, LIU Qiang,et al. Tomato disease identification based on improved Densenet[J]. Journal of Zhejiang Agricultural Sciences,2023,64(8):1939-1944
申志凯. 基于CBAM-DenseNet网络的支气管内膜结核辅助诊断研究[D]. 南昌: 南昌大学,2022. SHEN Zhikai. Research on auxiliary diagnosis of endobronchial tuberculosis based on CBAM-DenseNet network[D]. Nanchang: Nanchang University,2022
宫妍, 位冲冲, 夏明磊. 基于改进的卷积神经网络的工件识别技术[J]. 哈尔滨商业大学学报(自然科学版),2023,39(3):294-302. GONG Yan, WEIChongchong, XIA Minglei. Workpiece recognition technology based on improved convolution neural network[J]. Journal of Harbin University of Commerce(Natural Sciences Edition),2023,39(3):294-302
刘拥民, 胡魁, 聂佳伟, 等. 基于MSDB-ResNet的水稻病虫害识别[J]. 华南农业大学学报,2023,44(6):978-985. LIU Yongmin, HU Kui, NIE Jiawei,et al. Rice pest identification based on MSDB-ResNet[J]. Journal of South China Agricultural University,2023,44(6):978-985
孙孟研, 王佳, 马睿, 等. 基于注意力机制的轻量化VGG玉米籽粒图像识别模型. 中国粮油学报:1-12[2023-07-06].https://doi.org/10.20048/j.cnki.issn.1003-0174.000226. SUN Mengyan, WANG Jia, MA Rui,et al. Image recognition model of light VGG maize kernel based on attention mechanism. Journal of the Chinese Cereals and Oils Association:1-12[2023-07-06].https://doi.org/10.20048/j.cnki.issn.1003-0174.000226

Address:No. 219, Ningliu Road, Nanjing, Jiangsu Province

Postcode:210044

Phone:025-58731025