1. 现在，PLM 的假设 “a term at each position can propagate its occurrence at that position to other positions within the same document through a proximity-based density function” (Lv and Zhai, 2009) 是内蕴的。一个词对应 上的一个点，沿着测地线到达另一个点，产生语素变换的损失。所谓的 “virtual document” 就是在指定距离处的有限点集。用“word as a point”这个强假设，代替原文中有点勉强的假设，还是比较划算的，因为可以定义内积和距离。
2. proximity-based kernel function for propagation 是关于路径的损失密度函数。也许可以写成路径积分，也许不是测地线。反正就是类似的意思。

一些查询扩展(query expansion)的方法也可以用这个套路解释，但意义不大。PLM 还是基于词的多项分布， 用的是计数测度，所以当时来看，结果没有提高很多，很正常。

所以接下来，就是利用 的性质得到更好的估计。过段时间再写。

这些模型可以分成两类：对 N 不敏感的和对 N 敏感的。

随着 N 的增大，对 N 不敏感的模型的性能整体上只会在一个很小的区间内波动，这称为它们具有“收敛性”。对 N 敏感的模型的性能一般和 N 的取值是负相关的，也许 N=100 的时候性能很好，但是当 N 增大数倍之后结果就变得惨不忍睹。

为什么会有这种区别呢？这只取决于这些模型是否是词汇空间上良好定义的测度。正确的测度会因为大数定律的限制而变得稳定，不标准的度量会因为有偏的估计而失常。Batch normalization 为什么有用呢？也许其实和什么“独立同分布假设”之类关系不大，只是为一堆杂乱无章的东西(batch)强行定义了一个良好的概率测度(normalization)。

所以想要检验没有理论基础的模型，最好不要用 two-stage strategy，而要浪费大把时间直接 rank the whole collection。不然文章发出来，最多也只是有人引用、没人敢用。