英文缩写解释

英文缩写 英文解释 中文解释
DNN Deep Neural Network 深度神经网络
DP Deep Learning 深度学习
EKF Extended Kalman Filter 扩展卡尔曼滤波器
FO Fourier Operator 傅里叶算子
KO Koopman Operator 库普曼算子
>

卡尔曼滤波器

自适应滤波器的概念

滤波器在实现滤波、平滑或者预测等任务时，能够自动跟踪和适应系统或环境的动态变化，就需要滤波器的参数可以随着时间做简单的变化或更新，用地推的方式实现，这样的滤波器称为自适应滤波器。

匹配滤波与Wiener滤波

连续时间的滤波器有两种最优设计准则：

  • 匹配滤波：滤波器的输出达到最大的信噪比
  • Wiener滤波：输出滤波器的均方估计误差最小

匹配滤波

理论推导

考虑观测信号：$$y(t)=s(t)+n(t)$$
s(t)s(t)为已知信号，n(t)n(t)为零均值的加性平稳噪声（白色或有色）

  • 白噪声（white noise）是指功率谱密度在整个频域内是常数的噪声。 所有频率具有相同能量密度的随机噪声称为白噪声。
  • 有色噪声（ coloured noise）是指功率谱密度函数不平坦的噪声。大多数的噪声的频谱主要都是非白色频谱，通过信道的白噪声受信道频率的影响而变为有色的。

令h(t)h(t)为滤波器的时不变冲激响应函数，目标就是设计滤波器h(t)h(t)，使得滤波器的输出信号y(t)y(t)的信噪比最大化。
滤波器的输出信号为：

y0(t)=y(t)∗h(t)=∫−∞∞y0(τ)h(t−τ)dτ=∫−∞∞s(τ)h(t−τ)dτ+∫−∞∞n(τ)h(t−τ)dτ=s0(t)+n0(t)\begin{align} y_0(t) & =y(t)*h(t) \\ & = \int_{-\infty}^{\infty} y_0(\tau)h(t-\tau)d\tau \\ & = \int_{-\infty}^{\infty} s(\tau)h(t-\tau)d\tau + \int_{-\infty}^{\infty} n(\tau)h(t-\tau)d\tau \\ & = s_0(t) + n_0(t) \end{align}

so(t)s_o(t)、no(t)n_o(t)分别为滤波器的输出信号分量和噪声信号分量。
在t=T0t=T_0时刻，滤波器的输出信噪比定义为

\begin{align} (\frac{S}{N})^2 & = \frac{\textbf{t=T_0时刻输出的瞬时信号功率}}{\textbf{输出噪声的平均功率}} \\ & = \frac{s_0^2(T_0)}{E[n_0^2(t)]} \end{align}

利用傅里叶变换的卷积特性，有

s0(t)=∫−∞∞s(τ)h(t−τ)dτ=12π∫−∞∞H(jω)S(jω)ejωtdω\begin{align} s_0(t) = \int_{-\infty}^{\infty} s(\tau)h(t-\tau)d\tau & = \frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega t}d\omega \end{align}

式中，H(jω)H(j\omega) = ∫−∞∞h(t)e−jωtdt\int_{-\infty}^{\infty} h(t)e^{-j\omega t}dt为滤波器的频率响应函数（传递函数），S(jω)S(j\omega) = ∫−∞∞s(t)e−jωtdt\int_{-\infty}^{\infty} s(t)e^{-j\omega t}dt为信号的频谱密度函数。
t=T0t=T_0时刻，输出信号的瞬时功率为

s02(T0)=∣12π∫−∞∞H(jω)S(jω)ejωT0dω∣2\begin{align} s_0^2(T_0) & = |\frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega T_0}d\omega |^2 \\ \end{align}

t=T0t=T_0时刻，输出噪声的平均功率为

En02(t)=E{∫−∞∞n(τ)h(t−τ)dτ}2\begin{align} E{n_0^2(t)} = E\{\int_{-\infty}^{\infty} n(\tau)h(t-\tau)d\tau\}^2 \end{align}

补一些功率谱密度的知识：
若某一个功率信号x(t)x(t)的功率为px(t)p_x(t)，则有

px(t)=lim⁡T→∞12T∣xT(t)∣2\begin{align} p_x(t) = \lim_{T\rightarrow\infin}\frac{1}{2T}|x_T(t)|^2 \end{align}

其功率谱密度函数Px(jω)P_{x}(j\omega)为

Px(jω)=lim⁡T→∞12T∣XT(jω)∣2\begin{align} P_{x}(j\omega)=\lim_{T\rightarrow\infin}\frac{1}{2T}|X_T(j\omega)|^2 \end{align}

若以f为自变量，则可以写成

Px(f)=lim⁡T→∞12T∣XT(f)∣2\begin{align} P_{x}(f)=\lim_{T\rightarrow\infin}\frac{1}{2T}|X_T(f)|^2 \end{align}

(其中XT(jω)X_T(j\omega)为xT(t)x_T(t)的傅里叶变换, xT(t)x_T(t)为x(t)x(t)在[−T,T][-T,T]上的截断信号)
根据Parseval定理

∫−∞∞∣xT(t)∣2dt=12π∫−∞∞∣XT(jω)∣2dω=∫−∞∞∣XT(f)∣2df\begin{align} \int_{-\infty}^{\infty} |x_T(t)|^2dt & = \frac{1}{2\pi}\int_{-\infty}^{\infty} |X_T(j\omega)|^2 d\omega \\ & = \int_{-\infty}^{\infty} |X_T(f)|^2 df \end{align}

总功率为：

P=lim⁡T→∞12T∫−∞∞∣xT(t)∣2dt=lim⁡T→∞12T∫−∞∞∣XT(f)∣2df=∫−∞∞P(f)df\begin{align} P = \lim_{T\rightarrow\infin}\frac{1}{2T}\int_{-\infty}^{\infty} |x_T(t)|^2dt & = \lim_{T\rightarrow\infin}\frac{1}{2T}\int_{-\infty}^{\infty} |X_T(f)|^2 df & = \int_{-\infty}^{\infty}P(f)df \end{align}

令Pn(jω)P_n(j\omega)为加性噪声的功率谱密度函数，则输出噪声的功率谱密度函数为

Pn0(jω)=∣H(jω)∣2Pn(jω)\begin{align} P_{n_0}(j\omega) = |H(j\omega)|^2 P_n(j\omega) \end{align}

输出噪声的平均功率可以写作(以频率作为量度)

E[n02(t)]=12π∫−∞∞Pn0(jω)dω=12π∫−∞∞∣H(jω)∣2Pn(jω)\begin{align} E[n_0^2(t)] = \frac{1}{2\pi}\int_{-\infty}^{\infty}P_{n_0}(j\omega)d\omega = \frac{1}{2\pi}\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega) \end{align}

代入信噪比定义式，可以得出

(SN)2=s02(T0)E[n02(t)]=∣12π∫−∞∞H(jω)S(jω)ejωT0dω∣212π∫−∞∞∣H(jω)∣2Pn(jω)=12π∣∫−∞∞(H(jω)Pn(jω))(S(jω)Pn(jω))ejωT0dω∣2∫−∞∞∣H(jω)∣2Pn(jω)\begin{align} (\frac{S}{N})^2 = \frac{s_0^2(T_0)}{E[n_0^2(t)]} & = \frac{|\frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega T_0}d\omega |^2}{\frac{1}{2\pi}\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)} \\ & = \frac{1}{2\pi}\frac{|\int_{-\infty}^{\infty}(H(j\omega)\sqrt{P_n(j\omega)})(\frac{S(j\omega)}{\sqrt{P_n(j\omega)}})e^{j\omega T_0}d\omega|^2}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)} \end{align}

分子凑了一个Pn(jω)\sqrt{P_n(j\omega)}, 因为要用到Cauchy-Schwartz不等式：

∣∫abf(x)g(x) dx∣≤∫abf2(x) dx∫abg2(x) dx\begin{align} \left|\int_{a}^{b} f(x)g(x)\ dx\right| \leq \sqrt{\int_{a}^{b} f^2(x)\ dx}\sqrt{\int_{a}^{b} g^2(x)\ dx} \end{align}

等号在当且仅当f(x)=cg∗(x)f(x)=cg^*(x), c是任意复常数时成立。取c = 1：

f(x)=H(jω)Pn(jω)，g(x)=S(jω)Pn(jω)ejωT0\begin{align} f(x) = H(j\omega)\sqrt{P_n(j\omega)}， g(x)=\frac{S(j\omega)}{\sqrt{P_n(j\omega)}}e^{j\omega T_0} \end{align}

(SN)2≤12π∫−∞∞∣H(jω)∣2Pn(jω)dω∫−∞∞(∣S(jω)∣2Pn(jω))ejωT0dω∫−∞∞∣H(jω)∣2Pn(jω)dω=12π∫−∞∞∣H(jω)∣2Pn(jω)dω∫−∞∞(∣S(jω)∣2Pn(jω))dω∫−∞∞∣H(jω)∣2Pn(jω)dω=12π∫−∞∞∣S(jω)∣2Pn(jω)dω\begin{align} (\frac{S}{N})^2 & \le \frac{1}{2\pi}\frac{\int_{-\infty}^{\infty}|H(j\omega)|^2P_n(j\omega)d\omega\int_{-\infty}^{\infty}(\frac{|S(j\omega)|^2}{P_n(j\omega)})e^{j\omega T_0}d\omega}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)d\omega} \\ & = \frac{1}{2\pi}\frac{\int_{-\infty}^{\infty}|H(j\omega)|^2P_n(j\omega)d\omega\int_{-\infty}^{\infty}(\frac{|S(j\omega)|^2}{P_n(j\omega)})d\omega}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)d\omega} \\ & = \frac{1}{2\pi}\int_{-\infty}^{\infty}\frac{|S(j\omega)|^2}{P_n(j\omega)}d\omega \end{align}

eixe^{ix}的模总是1, 因此平方也是1，复指数乘积项就没了。

取最大值，即为等式成立条件。将式中等号成立时的滤波器传递函数记作Hopt(jω)H_{opt}(j\omega), 利用Cauchy-Schwartz不等式等号成立条件：

Hopt(jω)Pn(jω)=S∗(jω)Pn∗(jω)e−jωT0(c=1)Hopt(jω)=S(−jω)Pn(jω)e−jωT0\begin{align} H_{opt}(j\omega)\sqrt{P_n(j\omega)}&=\frac{S^*(j\omega)}{\sqrt{P_n^*(j\omega)}}e^{-j\omega T_0}\\(c &= 1)\\ H_{opt}(j\omega)&=\frac{S(-j\omega)}{P_n(j\omega)}e^{-j\omega T_0} \end{align}

可以得到最大信噪比：

SNRmax=12π∫−∞∞∣S(jω)∣2Pn(jω)dω\begin{align} SNR_{max} = \frac{1}{2\pi}\int_{-\infty}^{\infty}\frac{|S(j\omega)|^2}{P_n(j\omega)}d\omega \end{align}

由此，最优线性滤波器理论推导完成。

适用条件

上面推导过程显示出，接收机必须已知并存储信号的精确结构/功率谱，积分区间还必须与信号取非零值区间（截断区间）同步。

Wiener滤波

理论推导

依然用观测信号：y(t)=s(t)+n(t)y(t)=s(t)+n(t), 使用滤波器（传递函数为H(jω)H(j\omega)）,对信号s(t)s(t)进行参数估计：

s^(t)=∫−∞∞y(τ)h(t−τ)dτ=∫−∞∞h(τ)y(t−τ)dτ\begin{align} \hat{s}(t) = \int_{-\infty}^{\infty} y(\tau)h(t-\tau)d\tau = \int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau \end{align}

由参数估计理论可知（推导略过也不是很重要），估计误差s(t)−s^(t)s(t)-\hat{s}(t)是随机变量，不适合作为滤波器的性能评价标准。而另一个量：均方误差则是一个确定量，是滤波器的主要测度之一。考虑均方误差：

J=E{[s(t)−s^(t)]2}=E{[s(t)−∫−∞∞h(τ)y(t−τ)dτ]2}\begin{align} J=E\{[s(t)-\hat{s}(t)]^2\}=E\{[s(t)-\int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau]^2\} \end{align}

取值最小，这就是最小均方误差（Minimum Mean Square Error，MMSE）准则。于是，线性最优滤波器的冲激响应可以表示为

hopt(t)=arg⁡min⁡h(t)E{[s(t)−∫−∞∞h(τ)y(t−τ)dτ]2}\begin{align} h_{opt}(t)=\mathop{\arg\min}\limits_{h(t)} E\{[s(t)-\int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau]^2\} \end{align}

其FT就是线性最优滤波器的频率响应：

Hopt(jω)=Psy(jω)Pyy(jω)\begin{align} H_{opt}(j\omega)=\frac{P_{sy}(j\omega)}{P_{yy}(j\omega)} \end{align}

Psy(jω)P_{sy}(j\omega)代表输入信号s(t)s(t)和输出信号y(t)y(t)之间的交叉功率谱密度/互功率谱密度(CPSD)，它是衡量两个信号在频率ω\omega下的相关性。

Psy(ω)=E{S(ω)Y∗(ω)}\begin{equation} P_{sy}(\omega) = E\{S(\omega)Y^*(\omega)\} \end{equation}

Pyy(jω)P_{yy}(j\omega)代表输出信号y(t)y(t)的自功率谱密度（APSD），它是对输出信号在频率ω\omega下的功率或能量的衡量。

Pyy(ω)=E{Y(ω)Y∗(ω)}\begin{equation} P_{yy}(\omega) = E\{Y(\omega)Y^*(\omega)\} \end{equation}

此为非因果Wiener滤波器，因为hopt(t)h_{opt}(t)在(−∞,+∞)(-\infty,+\infin)内取值，而非因果滤波器不可能实现。
任何一个非因果线性系统可以看作因果部分与反因果部分组合，因果部分是物理层面可以实现的，反因果部分在物理层面不可能实现。由此联想到将非因果Wiener滤波器的因果部分提取出来，就可以得到可实现的Wiener滤波器。

很多情况下，信号和噪声，即s(t)s(t)与n(t)n(t)是独立的，这时候Wiener滤波器的频率响应可以表示为：

Hopt(jω)=Pss(jω)Pss(jω)+Pnn(jω)\begin{align} H_{opt}(j\omega)=\frac{P_{ss}(j\omega)}{P_{ss}(j\omega)+P_{nn}(j\omega)} \end{align}

其中Pss(jω)P_{ss}(j\omega)代表输入信号s(t)s(t)的自功率谱密度（APSD），Pnn(jω)P_{nn}(j\omega)代表噪声信号n(t)n(t)的自功率谱密度（APSD）。

基于状态空间模型的线性最优滤波——Kalman滤波

理论推导

考虑一个离散时间线性动态系统，它由描述「状态向量」的过程方程和描述「观测向量」的观测方程共同表示。

过程方程/状态方程：x(n+1)=F(n+1,n)x(n)+v1(n)\begin{align} \textbf{过程方程/状态方程：} \bold{x}(n+1)&=\bold{F}(n+1, n)\bold{x}(n)+\bold{v_1}(n)\\ \end{align}

  • x(n)\bold{x}(n) 为一个 M∗1M*1 的列向量，,表示系统在离散时间域中n时刻的状态，是不可观测的
  • F(n+1,n)x(n)\bold{F}(n+1, n)\bold{x}(n)是一个M∗MM*M的状态转移矩阵，它描述了系统在离散时间域中n时刻的状态与n+1时刻的状态之间的关系，是已知的；
  • v1(n)\bold{v_1}(n)是一个 M∗1M*1 的列向量，描述状态转移中间的加性噪声或者误差。

观测方程：

y(n)=C(n)x(n)+v2(n)\begin{align} \bold{y}(n)&=\bold{C}(n)\bold{x}(n)+\bold{v_2}(n)\\ \end{align}

  • y(n)\bold{y}(n)为一个 N∗1N*1 的列向量，表示系统在离散时间域中n时刻的观测 向量，是可观测的；
  • C(n)x(n)\bold{C}(n)\bold{x}(n)是一个N∗MN*M观测矩阵，它描述了系统在离散时间域中n时刻的状态与n时刻的观测之间的关系，是已知的；
  • v2(n)\bold{v_2}(n)是一个 N∗1N*1 的列向量，描述观测噪声。

Kalman滤波问题描述为：利用观测数据向量y(1),y(2),...,y(n)\bold{y}(1),\bold{y}(2),...,\bold{y}(n), 对n≥1n \geq 1求状态向量x(i)\bold{x}(i)的各个分量的最小二乘估计值x^(i)\hat{\bold{x}}(i)。根据ii和nn的不同取值，Kalman滤波问题可以分为三类：

  • 滤波问题：i=ni=n，使用nn时刻以前的测量数据，抽取n时刻的信息
  • 平滑问题：1≤i<n1 \leq i \lt n,待抽取的信息不一定是n时刻的，有可能是n之前的任意时刻。即得到感兴趣的结果的时间通常滞后于获得测量数据的时间。
  • 预测问题：i>ni \gt n，使用n时刻以及以前时刻的测量数据，提前抽取n+τ(τ>0)n+\tau(\tau \gt 0)时刻的信息。

新息过程(innovation process，这个翻译也是没谁了)

给定观测值y(1),...,y(n−1)\bold{y}(1),...,\bold{y}(n-1), 求y(n)\bold{y}(n)的最小二乘估计值。记为y1^(n)=defy^(n∣y(1),...,y(n−1))\hat{\bold{y_1}}(n) \overset{def}{=} \hat{\bold{y}}(n|\bold{y}(1),...,\bold{y}(n-1)).

新息过程的定义

对于y(n)\bold{y}(n)的新息过程定义为：

α(n)=y(n)−y1^(n),n=1,2,…\begin{align} \bold{\alpha}(n) = \bold{y}(n)-\hat{\bold{y_1}}(n), n = 1,2,\dots \end{align}

式中，N∗1N*1的列向量α(n)\bold{\alpha}(n)表i是观测数据y(n)\bold{y}(n)的新的信息，简称新息。

新息的性质
  1. n时刻的新息α(n)\bold{\alpha}(n)与过去所有的观测数据y(1),...,y(n−1)\bold{y}(1),...,\bold{y}(n-1)正交。即：

Eα(n)yH(k)=O,k=1,2,…,n−1\begin{align} E{\bold{\alpha}(n)\bold{y}^H(k)} = \bold{O}, k = 1,2,\dots,n-1 \end{align}

  1. 新息过程由彼此正交的随机向量序列{α(n)}\{\bold{\alpha}(n)\}构成，即：

Eα(n)αH(k)=O,k=1,2,…,n−1\begin{align} E{\bold{\alpha}(n)\bold{\alpha}^H(k)} = \bold{O}, k = 1,2,\dots,n-1 \end{align}

  1. 表示观测数据的随机向量序列{y(1),…,y(n)}\{\bold{y}(1),\dots,\bold{y}(n)\}与表示新息过程的随机向量序列{α(1),…,α(n)}\{\bold{\alpha}(1),\dots,\bold{\alpha}(n)\}是一一对应的。

以上性质表明：新息过程具有白噪声性质，但它却能够提供有关观测数据的信息。

新息过程理论推导

分析新息过程的相关矩阵：

R(n)=E{α(n)αH(n)}\begin{align} \bold{R}(n) = E\{\bold{\alpha}(n)\bold{\alpha}^H(n)\} \end{align}

在卡尔曼滤波中，并不直接估计y1^(n)\hat{\bold{y_1}}(n), 而是先计算状态向量的一步预测：

x1^(n)=defx^(n∣y(1),...,y(n−1))\begin{align} \hat{\bold{x_1}}(n) \overset{def}{=} \hat{\bold{x}}(n|\bold{y}(1),...,\bold{y}(n-1)) \end{align}

再得到

y1^(n)=C(n)x1^(n)\begin{align} \hat{\bold{y_1}}(n) = \bold{C}(n)\hat{\bold{x_1}}(n) \end{align}