协方差怎么算(协方差矩阵cov计算公式)

       协方差及协方差矩阵有着特别广泛的应用，在多元高斯分布、高斯过程、卡尔曼滤波等算法中多有用到，本文从协方差、协方差矩阵讲起，并重点讲解协方差矩阵在高斯分布中的用法及意义，也是讲解高斯过程、贝叶斯优化的铺垫。

       X、Y两个随机变量的协方差在和中用于衡量两个变量的总体。用来刻画两个随机变量之间的相关性：

       假定我们不知道潜在的概率分布，我们取n个样本来计算：

       分别计算这n样本的两个变量的均值，这两个变量的协方差可以用下式来计算：

       由于变量都有量纲，如果消除各自量纲影响，将协方差除以两个变量的标准差，则可得相关系数：

       随机向量：

       我们计算所有元素的两两协方差，形成协方差矩阵：

       这是一个对称矩阵，对角线是每个变量的方差。如果是对角阵，

       协方差矩阵形式如下：

       多元高斯分布概率密度的推导

       设多元高斯分布如下：均值向量为 μ， 协方差矩阵为Σ

       与一元高斯分布对比，概率密度函数形式有所变化，这个变化是怎么来的，我们通过二元高斯分布来推导一下这个密度函数的由来。

       对于二元高斯分布，我们设定：

       现在我们推导两个变量的高斯分布的密度函数公式：

       这个联合概率密度函数是各自概率密度函数的乘积，这表明两个变量是独立的。这个独立性反映在我们的协方差矩阵中，就是 只有对角线元素不为零，两个变量是独立的，所以联合概率密度可以表示为两个变量概率密度的乘积 。

       我们看相互独立的两个变量的二维高斯分布图像在XoY平面投影的函数表达式

       令：

       得:

       显然这是一个椭圆曲线的表达式。

       我们看两种情况，一种协方差矩阵是对角阵（变量相互独立），另一种是协方差矩阵是非对角阵（变量有关联） 。

       我们用matlab来形象展示一下：

       下图是两个变量的均值都是零，协方差矩阵为：

       其三维曲面如下：

       在XOY平面的投影如下：

       本文主要讲解了协方差矩阵及其在高斯分布中意义和用法。协方差矩阵在高斯过程中有着非常重要的意义，如果不能很好的理解协方差矩阵，就不能很好的理解高斯过程。