您的位置:首页

详情

发展交替方向法理论体系 推广数学方法应用——南京大学何炳生教授

2019-05-06

何炳生,南京大学数学系教授,博士研究生导师,江苏省有突出贡献的中青年专家,享受政府特殊津贴。长期专注于结构型单调变分不等式和凸优化分裂算法的研究。20多年前,根据单调变分不等式及投影算子的基本性质所决定的三个基本不等式,提出了一族求解单调变分不等式的简单易行、便于并行实现的投影收缩算法。这些算法在求解(机器人控制中一类特有的凸二次优化、岩土工程中的多裂缝扩展模拟等)一些工程问题中起到了其他算法不能替代的作用。最近20 多年,他主要研究以交替方向法为代表的求解具有可分离结构的凸优化的预测-校正方法,代表性成果发表在Math. Prog.Numer. Math.SIAMIMA等系列期刊。研究和提出的方法在管理科学、工程力学和图像处理、机器学习等数据科学领域得到广泛应用。何炳生教授曾获得江苏省科技进步一等奖、中国运筹学会科学技术奖运筹研究奖、首届江苏省工业与应用数学突出贡献奖,高等学校科学研究优秀成果奖自然科学二等奖。从南京大学退休后于2015年加入南方科技大学,教学之余,继续他的优化理论和算法研究。

交替方向法具有结构简单、易于实现以及计算效率高等优点,是机器学习、人工智能、计算机视觉、图像处理等领域中应用最广泛的算法之一。然而,交替方向法的收敛速率、能否用于具有两个以上可分离块的凸优化问题,这些关键问题长期未能解决,亟需做更深入的理论与算法研究。在国家自然科学基金的多年持续资助下,何炳生教授和他的合作者们系统研究了这些课题,设计了效率更高的交替方向法,率先给出求解具有多个可分离块的凸优化问题的交替方向类算法,并提出了分析这类算法收敛性的(预测-校正)统一框架,实质性地发展了交替方向法的理论体系并极大地拓展了其应用范围。

1 交替方向法代表的一阶算法的收敛速率

交替方向法将分块结构的凸优化问题分裂成容易求解的单块子问题分别计算,适用于求解大规模的、带块状分离结构的优化问题。尽管交替方向法的收敛性早在1976年就有,但收敛速率却一直未能得到证明。何炳生教授和他的主要合作者(以前的硕士学生)、香港大学袁晓明教授利用变分不等式作为分析工具,在最一般的条件下,分别证明了交替方向法在遍历和点列意义下的计算复杂性,得到了次线性收敛速率。由于交替方向法可以看成是Douglas-Rachford算子分裂方法的一个特殊情形,他们由特殊到一般,更进一步地对Douglas-Rachford算子分裂方法的收敛速率证明了同样的结果。这些成果完整系统地刻画了以交替方向法为代表的一阶算法的收敛速率,回答了优化界多年来关心的一个重要问题。

目前,这类理论分析所采用的变分不等式工具和预测-校正框架已经被国内外同行广泛应用于其他多种一阶优化算法的理论分析和算法改进,并取得了一系列有意义的成果。

2 多块可分离结构凸优化问题的算法设计

机器学习、人工智能、计算机视觉、图像处理等领域的很多经典问题可归结为具有多块可分离结构的凸优化问题,经典的交替方向法只是用来处理具有两块可分离结构的凸优化问题。学术界急需要求回答如下的问题:求解两块可分离结构凸优化问题的交替方向法,能否直接推广用来求解具有多块可分离结构的凸优化问题 ? 2013年,何炳生教授和合作者们给出了否定的答案。在这之前,他们已经率先提出了一些充分利用交替方向法优点、略作修正就能够处理多块可分离结构凸优化问题的分裂算法。这些根据社会生活实践理念设计的算法,很快就被国际著名学者在求解实际问题时采用。

3 变分不等式视野下的预测-校正算法框架

凸优化的一阶最优性条件可以由一个单调变分不等式来刻画。何炳生教授开启了在变分不等式视野下研究以交替方向法为代表的分裂收缩算法。通过分析已有分裂算法在变分不等式下的收缩性质,总结归纳出了一个预测-校正算法框架。这一框架为分裂收缩算法的收敛性提供了统一简便的证明,也为因问题所需构造方法、评判算法效率以及改进一些现有方法,提供了有效途径。在处理多块问题的算法设计方面,何炳生教授和他的合作者们将由一些(不一定保证收敛的)直观方法提供的迭代点视为预测点,结合统一框架的收敛条件进行必要的校正,从而设计出一系列保证收敛的预测-校正算法。

原始-对偶混合梯度法(PDHG方法)是求解图像处理中一类鞍点问题的经典算法。何炳生教授与合作者首次揭示了一个特殊的 PDHG方法在变分不等式视野下等价于求解鞍点问题的邻近点算法(PPA),提出和使用 PDHG的海外学者都说这一诠释极大地简化了方法的收敛性分析。何炳生教授同时利用预测-校正算法框架,将(不能保证收敛的)原始-对偶混合梯度法的迭代点视为预测,再做适当校正,设计了求解鞍点问题的一些稳健的预测-校正型算法,并利用统一框架证明了这些算法的收敛性与收敛速率。

外梯度算法是求解一般非线性单调变分不等式的经典算法,它同样与预测-校正的收缩算法有着紧密的联系。何炳生教授指出该方法可看作以Goldstein-Levitin-Polyak投影方法为预测,并以简化邻近点算法为校正的预测-校正型方法。基于这一预测-校正算法框架,提出了一种更具计算优势的投影收缩方法。

4 非精确意义下的线性化与自适应罚参数的交替方向法

        交替方向法在每步迭代中都需要求解单块的子问题,但精确求解这些子问题对很多实际问题往往无法实现。何炳生教授和合作者对子问题的目标函数线性化同时附加一个邻近点正则项,以此提供预测点,然后再根据收缩原则校正,得到了基于邻近点预测-校正的交替方向法。这类算法可以根据实际问题的需要,选取不同的邻近点项,得到一系列有效降低子问题难度的修正的交替方向法。罚参数的选取对交替方向法的计算效果至关重要。何炳生教授和合作者提出平衡“原始”与“对偶”残量的思想,给出了算子分裂方法中罚参数选取的自适应调比准则,并在变参数情况下证明了这些算法的收敛性。这些调比技术原则,也被中国工程院外籍院士、斯坦福大学教授 S. Boyd 在设计相关的凸优化求解器中采用。