Simone怎样理解MMD（Maximum Mean Discrepancy），它的平方怎样定义？
的有关信息介绍如下：
谢邀！
我从integral probability metric角度进行简单介绍，假设楼主对kernel已经很了解了：
如何比较两个分部 和 相似性呢？
一个方法就是比较两个分布的moments，举个例子：
比较一阶moment就是比较均值： 和
比较二阶moment就是在均值一样的情况下比较方差： 和
即使保证一阶二阶moments一样，两个分布还是有可能不同的，比如考虑有一样一阶二阶moments的Gaussian分布和 Laplace分布
所以我们需要个更general的形式，对于某些 ，我们比较： 和
我们需要这个 能提供足够多的moments又要使这个比较可计算的，我们可以使用kernel trick!
所以我们假设 in unit ball of RKHS： ，在这个假设下，MMD 可以被定义为
我们希望找到一个 使得俩分布的期望moments的差最大。
期望moments可以写成线性内积：
因为RKHS在Hilbert Sapce里面，所以我们可用Riesz's Representation theorem:
所以，期望也可以写成Hilbert space inner product 形式
牛逼啊，这里的 就是所谓的 mean embedding了！
如何找到使MMD最大的 ：
所以MMD可以被解释为两个分布在某个空间中mean embedding的距离：
我们希望找到最好的 使得这个MMD距离最大，简单来说，俩定长向量乘积最大必定这两个向量同方向，所以上述的 sup 内积变成了norm ：
如何计算：
我们可以对 做蒙特卡洛估计:
在Hilbert space 中，norm 就是 inner product:
在RKHS中，inner product可以用kernel计算：
所以：
