整体变分修补算法及其理论基础
在进行整体变分算法的研究之前，先介绍本文所用到的数学知识—变分学，这样在后面的讨论中，有利于更好的理解所讨论的问题。
2.1 变分法的相关知识
变分学历史上第一个重要问题是牛顿提出的。他研究了所谓“水桶问题”，大概是这样：若一个水桶以固定角速度绕对称轴旋转，问桶中水面呈什么形状时所受阻力最小？这个问题已经是典型的变分问题，但牛顿当年用来解决问题的方法还不是变分中的基本方法。
导致变分建立的著名问题是瑞士数学家约汉.贝努里在1696年提出的，即“最速降线问题”。此问题发表于当年6月的《教师学报》上。问题一提出来，立即吸引了当时世界上许多最优秀的数学家的关注。在该杂志1697年5月上刊登了牛顿、莱布尼兹、洛比答和贝努里兄弟的解法。他们采用不同的方法得到了殊途同归的答案。原来“最速降线”居然是摆线！但是只靠这些方法，变分法是创立不起来的。欧拉在1736年的论文中指出：要使积分
(2-1)
取极值，函数y(x)必须满足
(2-2)
方程(2-2)就是著名的“欧拉方程”。不过，许多重大数学成果的第一个证明往往很繁琐，欧拉这次也不例外。经后人的改进，最终使变分学成为了一个新的数学分支。
上面讨论的是变分法古典部分的内容，它所研究的主题可以归结为：在适当的函数集合内选择函数y(x),使积分(2-1)取极值。解决这一问题又归结为解欧拉方程(2-2)。看起来问题似乎并不复杂，办法也很平常，不过解一个微分方程罢了。其实不然，我们依靠这种方法，就能用统一的数学程序来解决自然界和其他方面的千差万别的问题，就能用奇妙的变分原理解释无数的自然现象。
2.1.1 泛函的定义
把具备某种性质的函数的集合记作D。对于集合Q=Q[f]中的任何函数 属于D（即对任何f D），变量Q都有唯一确定的值与它对应，那么变量Q叫做依赖于函数 的泛函，记为Q=Q[f(x)]或Q=Q[f]。一元函数f(x)也可换成多元函数，如Q=Q[z(x,y)]。
这是泛函概念的一个浅介，对于本文来说，这种说明已经足够用了。所以，函数是变量和变量的关系，而泛函是变量与函数的关系。泛函是一种广义的函数。
2.1.2 变分概念
1、泛函 中, 的变分
对于泛函 是集合D中任何元素。如果由 变成 ，则 叫做 在 上的变分( 及 均属于D)，记作
(2-3)
我们常用
(2-4)
表示 上的变分。
2、连续泛函
对于泛函 而言，如果当 的变分 充分小时, 的改变量可以任意小，那么就称泛函 是连续的。
3、线性泛函
如果泛函 与 的关系是线性的,也就是说,Q满足以下条件
(1) (C是任意常数)
(2)
这时，称 为线性泛函。
4、泛函的变分
对于泛函 ，给 以增量 （即 的变分），则泛函Q有增量 。如果 可表示为
(2-5)
在此, 对 而言（当 给定）是线性范式而
（当 固定，max ）
那么, 称为泛函的变分，记作 。可见泛函 的变分 是Q的增量的“线性主要部分”。
5、泛函的极值
如果泛函 在任何一条与 接近的曲线上的值不大（或不小）于 ，也就是，如果 （或 0）时，则称泛函 在曲线 上达到极大值（或极小值），而且在 上有 。
6、欧拉方程
(1)对于泛函 ，其欧拉方程为
(2-6)
(2)对于泛函 ，其欧拉方程为
(2-7)
(3)对于泛函 ，其欧拉方程为
(2-8)
(4)于泛函 ，其欧拉方程为
（ ） (2-9)
2.2 整体变分基本理论
变分图像复原是一种确定性的方法，它通过引入能量函数，将图像复原问题转化成一个泛函求极值问题，即变分问题。
变分法是研究泛函求极值问题的方法，它的几个主要步骤如下 ：
1、从物理问题上建立泛函及其约束条件
2、通过泛函变分，利用变分法基本预备定理求得欧拉-拉格朗日方程
3、在边界条件下求解，即求解微分方程
由于变分法和欧拉-拉格朗日方程表示同一物理问题，因此可以从欧拉-拉格朗日方程求解或者从变分法直接求近似解(如用有限元法，里兹法，迦辽金法等)，它们是等效的。
本文按照该思路，以Rudin、Osher and Fatemi 提出了整体变分(total variation, TV)模型为例，详细阐述了整体变分复原模型的构造(即为图像复原问题建立泛函及其约束条件)，推导了与之相应的偏微分方程，即利用变分法推导出该泛函的欧拉-拉格朗日方程，最后给出了该模型的直接差分数字实现方案。
2.2.1 变分图像复原中PDE的推导
1、泛函及其约束条件的建立
令 为原始的清晰信号, 为被噪声污染的信号,即
(2-10)
其中,n(x)为具有零均值,方差为σ 的随机噪声,即
, (2-11)
TV图像复原模型是由Rudin、Osher and Fatemi 提出的，并且现在成为图像复原中最成功的方法。与最小二乘复原模型相比，TV模型最主要的差别用梯度的 范数替代了它的L 范数，也就是最小化整体变分(Rudin认为，有噪声图像的整体变分比无噪声图像的整体变分明显的大，最小化整体变分可以消除噪声)
(2-12)
并假设所有可观测的图像具有有界变分。有界变分空间定义为：
BV( )在BV范数 下是巴拿赫空间。
噪声的假设导致了TV范数最小化的两种约束
(2-13)
此处，| |为图像区域 的面积。因此，(2-12)和(2-13)定义了约束最优化问题。
由于TV范数的平移不变性：TV[u+c]=TV[u],c为任意常数，那么第一个约束实际上是自满足的 。因此，通常，我们只需要考虑第二个拟合约束。通过引入拉格朗日乘子 ，可以定义一个新的能量泛函
(2-14)
其中参数 对平衡去噪与平滑起到重要作用。因此，它依赖于噪声水平。这样，就建立了图像复原的TV模型。它是一个泛函求极值问题，即变分问题。
2、PDE的推导
上面我们建立了图像复原问题TV泛函模型(2-14)，这一节将推导出与之相关的偏微分方程(PDE)。从TV复原模型(2-14)式可以看出，该泛函是
(2-15)
型的泛函，其中，
(2-16)
文献[17]已经推导出该类泛函求极值的必要条件，即欧拉-拉格朗日方程(PDE)：
(2-17)
其中， ， 。所以，对于(2-16)，有
(2-18)
将(2-18)代入(2-17)，得
=>
=> (2-19)
其中， 为梯度算子。
即TV 复原模型的欧拉-拉格朗日方程为：
- (2-20)
对于光滑函数u ，方程(2-20)中的微分项表示水平线 的曲率，这就揭示了该模型中的几何特性。
2.3 本章小结
本章开始即介绍了古典变分方程的由来，接着为让我们更好的了解整体变分模型的原理，简单地介绍了泛函的定义和变分的一些基本概念。在泛函和变分有了一定了解的基础上，以Rudin、Osher and Fatemi 提出了整体变分(total variation, TV)模型为例，详细阐述了整体变分复原模型的构造(即为图像复原问题建立泛函及其约束条件)，推导了与之相应的偏微分方程，即利用变分法推导出该泛函的欧拉-拉格朗日方程。
