分布式优化算法学习（一）
分布式优化算法学习（一）
分布式优化简介
分布式协同优化与传统集中式优化相比较具有如下特点:
- 与优化问题相关的信息分布存储在每个智能体中, 因此更隐私;
- 每个智能体不需要将数据传输到中心节点, 只需要与邻居智能体进行信息交互, 因此更加节约通信成本;
- 不存在单点故障问题, 极大地提高了系统的鲁棒性;
- 不依赖于中心节点, 增强了网络的可扩展性.
分布式协同优化的基本结构，如上图所示，每个智能体（节点）都有一个局部目标函数，全局目标函数是这些局部目标函数的和，每个节点通过与邻居节点进行信息交互，最终协同实现全局优化的目标。
minx∈Rn∑i=1Nfi(x)\text{min}_{x \in \bm{R}^n}\sum\limits_{i=1}^{N} f_i(x)minx∈Rni=1∑Nfi(x)
即每个智能体的自身状态收敛到全局最优解。
凸分析
对于函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，如果对任意x,y∈Rnx,y \in R^nx,y∈Rn和 0≤θ≤10\leq \theta \leq 10≤θ≤1
f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta)f(y)f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
则称函数fff为凸函数。
对于连续可微函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，如果存在常数μ>0\mu > 0μ>0使得下式对任意x,y∈Rnx,y \in R^nx,y∈Rn成立
(▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2(▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2
则函数fff为强凸函数。
对于连续可微函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，如果存在常数μ>0\mu > 0μ>0使得下式对任意y∈Rny \in R^ny∈Rn成立
(▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2(\bigtriangledown f(y) - \bigtriangledown f(x))^{\text{T}}(y-x) \geq \mu ||y-x||^2(▽f(y)−▽f(x))T(y−x)≥μ∣∣y−x∣∣2
则函数fff关于xxx是有限强凸的。
对于连续可微函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，如果存在常数L>0L > 0L>0使得下式对任意x,y∈Rnx,y \in R^nx,y∈Rn成立
∣∣▽f(y)−▽f(x)∣∣≤L∣∣y−x∣∣||\bigtriangledown f(y) - \bigtriangledown f(x)|| \leq L ||y-x||∣∣▽f(y)−▽f(x)∣∣≤L∣∣y−x∣∣
则函数称fff为L_光滑或简称光滑
更多推荐
11
0- 0
已为社区贡献1条内容
所有评论(0)