凸优化(四)凸函数分析

如题所述

第1个回答  2022-06-06

之前简单介绍了凸函数的定义,相信大家对凸函数有了简单的认识,但是这是远远不够的,这次通过一些详细的函数讲解来介绍一下部分常见凸函数的特点。

(1) 第一个定义 :如果X为在实数向量空间的凸集。并且有映射 ,如果 被称为 ,则有 如果F被称为 严格凸 ,那么有:

(2) 第二个定义 :有映射 ,

(3) 第三个定义 :若 可微,对

(4) 第四个定义 二阶条件 ,若 二阶可微,则 (这里的大于等于号是表示特征值大于等0,表示矩阵半正定) 。

这四个定义在不同地方均有用处,但在判断函数是否为凸函数时最常用的是第四个。其中 为 Hessian矩阵 ,表示函数的二阶偏导矩阵。

(1) 仿射函数: ,显然,其二阶导函数为 ,所以仿射函数为 凸函数

(2) 指数函数: ,显然 ,所以指数函数是 凸函数

(3) 幂函数: ,接着求导啊求导~, , ,显然啦,当 时,幂函数就成为了仿射函数,所以即凸又凹。

(4) 负熵函数: ,还是求导, ,嗯,还是个 严格凸函数 。(也是个非常重要的函数!!)

(5) 极大值函数(重中之重): 现在来一个比较复杂却非常常见的函数: 这个函数显然是不可导的,那么首先根据定义一来看一下是否为凸函数。取两值 ,构造凸组合的新值 ,发现满足凸函数定义,所以极大值函数时凸函数。但是啊,由于其无法求导,后续处理会出现各种问题。所以,这里有一个解析逼近,就是用一个解析函数去逼近极大值函数。这个函数是这样的 : 那么来证明一下这个函数也是凸函数吧!这里就要用到凸函数的第四个定义了,轮到Hessian矩阵出场了。对上述函数求二次偏导得到如下关系( 公式打得累死 ):

这个式子看上去也很丑,那么定义列向量 ,那么(1)式就变成了 ,函数的Hessian矩阵可以写成 那么大家还记得半正定矩阵如何证明么?就是 成立,那么A则为半正定矩阵。好,那么开始构造!! 另 ,那么(2)式就变成了: 此式成立,用到的性质为 柯西-施瓦茨不等式 ,所以 函数为凸函数。

(6) 行列式的对数: ,首先说明一下啊,当矩阵X只有一维时,那么原函数则为 ,显然是凹函数。所以我们是在已经知道其为凹函数的前提下证明它是凹函数的了~根据凸函数的第二个定义当 ,构造凸组合的函数 继续化简得到为: 接着只要分析这个式子就可以,求导即可,得到: 到这里证明就结束了,原函数为凹函数得证。

可见啊,分析函数凸性一般都是通过其 矩阵来分析,但是对于部分凸函数的证明也不是简单的,总体的计算过程也在越来越复杂,后面会逐步讲解凸问题的理论与求解。但是在证明的过程中会发现,其理论也是一步一步建立起来的,弄懂了原理之后看问题就会举一反三了。

相似回答