双层稀疏优化的非凸正则化研究

论文摘要

稀疏优化是目前最优化领域中非常热门的研究前沿课题,在压缩感知、图像处理、机器学习、生物信息等领域都获得了成功的应用.它旨在从少量样本中恢复高维度的稀疏信号;为此,学者们提出了l0最小化模型.然而,人们发现有些实际问题不仅是稀疏的,还具有特殊的结构,如实际应用中的组稀疏与组内稀疏的结构,Friedman等学者将l1范数与l2,1范数结合作为罚函数项,提出了稀疏&组稀疏优化模型.该模型已被成功应用于深度神经网络、特征选择等问题中.受稀疏&组稀疏优化模型的启发,以及l0范数比l1范数更优的稀疏诱导性特征,本文将l0与l2,0结合作为惩罚项,提出（非凸）双层稀疏优化模型,并深入研究模型的稳定性理论与算法收敛性理论.本文主要工作与贡献如下:第一,本文分别对欠定线性系统和非线性系统提出了双层稀疏优化模型.双层稀疏优化模型引入了l0范数与l2,0范数的惩罚项,同时刻画组稀疏与组内稀疏的结构,这将为广泛的工程应用提供新的建模思路.第二,本文研究了这两个双层稀疏优化模型的稳定性理论.对于线性系统,提出了线性算子A的组稀疏特征值条件,并在此条件下得到了线性双层稀疏优化模型的Oracle性质和恢复边界估计.对于非线性系统,提出了损失函数的组限制强凸条件,并在此条件假设下建立了Oracle性质和恢复边界.需要注意的是,这两个模型的Oracle性质不需要任何正则性假设,而恢复边界需要的假设条件也比目前文献研究的要弱.模型的稳定性理论研究将为双层稀疏优化的成功应用与推广奠定理论根基.第三,本文对这两个模型设计了相应的连续化近似梯度算法,建立了收敛性理论.具体的,运用KL理论框架,得到了算法的全局收敛性;结合罚函数的特殊结构证明了收敛点即为双层稀疏优化模型的局部极小解,并深入分析了算法的线性收敛速度.算法的收敛性理论将为广泛的工程计算与实际应用提供算法基础.第四,本文进行了大量的数值实验,并将本文设计的算法与一些机器学习领域的先进算法进行比较,如ADMM、ISTA、OMP、FoBa、GSparO、SPGL1等.实验结果表明,合理利用双层稀疏结构,本文所设计的模型与算法的性能表现要明显优于已有算法。

论文目录

文章来源

类型: 硕士论文

作者: 刘思凡

导师: 胡耀华

关键词: 线性反问题,非线性系统,双层稀疏优化,稳定性理论,近似梯度算法

来源: 深圳大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 深圳大学

分类号: O224

总页数: 69

文件大小: 1985K

下载量: 21

相关论文文献

• [1].基于TGSVD的桥梁移动荷载识别及正则化矩阵选取[J]. 振动.测试与诊断 2015(01)
• [2].一类逆时反问题的改进正则化方法的收敛性[J]. 高等学校计算数学学报 2011(02)
• [3].L_∞范数拟合正则化方法在飞行器动态载荷识别中的应用[J]. 振动与冲击 2017(09)
• [4].稀疏优化模型及其正则化方法[J]. 数学建模及其应用 2018(04)
• [5].稀疏约束的正则化方法[J]. 淮阴师范学院学报(自然科学版) 2016(01)
• [6].确定热方程未知源问题的超阶正则化方法[J]. 数学物理学报 2020(03)
• [7].求解非光滑方程组的三次正则化方法[J]. 运筹学学报 2019(02)
• [8].地震波形反演的稀疏约束正则化方法[J]. 地球物理学报 2013(01)
• [9].利用核函数和不同正则化方法的结构载荷识别混合技术研究[J]. 振动工程学报 2018(04)
• [10].排序学习的Lavrentiev正则化方法[J]. 复旦学报(自然科学版) 2018(06)
• [11].用于雷达方位超分辨的范数正则化方法[J]. 系统工程与电子技术 2014(08)
• [12].正则化方法在结构模型修正中的应用研究[J]. 中国海洋大学学报(自然科学版) 2016(09)
• [13].正则化方法的统一[J]. 大地测量与地球动力学 2015(01)
• [14].航空重力向下延拓的多参数正则化方法[J]. 武汉大学学报(信息科学版) 2020(07)
• [15].基本解法求解反问题的正则化方法[J]. 山东理工大学学报(自然科学版) 2015(06)
• [16].一类不适定非线性椭圆方程柯西问题的正则化方法(英文)[J]. 数学杂志 2020(04)
• [17].基于Landweber-Kaczmarz正则化方法的参数重构[J]. 哈尔滨商业大学学报(自然科学版) 2018(04)
• [18].数值求导的离散正则化方法[J]. 计算机工程与科学 2008(10)
• [19].一类求数值微分的正则化方法及算例[J]. 丽水学院学报 2009(02)
• [20].Banach空间中非扩张映像的一般正则化方法[J]. 中北大学学报(自然科学版) 2016(05)
• [21].同伦摄动稀疏正则化方法及其应用[J]. 应用泛函分析学报 2016(01)
• [22].无穷限第一类Fredholm方程的正则化方法[J]. 北京化工大学学报(自然科学版) 2013(S1)
• [23].基于Tikhonov正则化方法的移动荷载识别实验研究[J]. 水利与建筑工程学报 2015(03)
• [24].基于非凸L_(1-2)正则化的生物发光断层成像仿真研究[J]. 中国激光 2018(04)
• [25].遗传算法结合正则化方法反演海洋大气波导[J]. 物理学报 2012(04)
• [26].基于光滑L_(1/2)正则化理论的地震数据重建[J]. 中国矿业大学学报 2019(05)
• [27].面载荷识别的TSVD正则化方法[J]. 应用力学学报 2010(01)
• [28].Single-cell RNA sequencing的正则化方法（英文）[J]. 广州大学学报(自然科学版) 2019(02)
• [29].一种新Tikhonov正则化方法[J]. 西南师范大学学报(自然科学版) 2018(06)
• [30].基于模型函数与L-曲线的正则化参数选取方法[J]. 江西师范大学学报(自然科学版) 2014(06)

标签：线性反问题论文;  非线性系统论文;  双层稀疏优化论文;  稳定性理论论文;  近似梯度算法论文;