月相

Posted on 2019-07-192019-07-20 by chiccs

考虑在 $\mathbb{R}^n$ 上的函数 $f$ ，现在定义一个在 $[0,2\pi]^n$ 上的对应映射 $p(\textbf{x})$ ，通过以下方式

$p(\textbf{x}) = \sum_{k_i=-\infty}^{\infty}f(\textbf{x}+2(k_1,k_2,...,k_n)\pi)$

这样就可以有所根据地考虑在 $S^{n-1}$ 的概率测度，经过推广，也可以适用于一些简单的流形。

$S^{n-1}$ 上最简单的概率测度当然是均匀分布 $p(\textbf{x})=\frac{1}{Area(S^{n-1})}$

接着就是模仿正态分布的 $p(\textbf{x})=\frac{1}{Z}e^{-\frac{1}{2} \lVert \mathbf{x}-\mathbf{\mu } \rVert ^2}$ 。以及使用上述映射变换正态分布的结果。利用 L2 范数就会放弃一些弯曲空间的特征，可以想象这类分布的实用性一般。用测地线长度代替也许会好一些，但仍然过于平凡。还有一些可靠的分布，需要更深入的探索。

在流形上，滤波、平滑和贝叶斯推断可以有很强的联系，许多定义在离散空间的模型会有更舒展的表达。

白山桃

Posted on 2019-05-192019-05-19 by chiccs

$U,V \in S^{n-1}$ ，求连接 $U$ 和 $V$ 的测地线(geodesic)的长度。

这其实很简单，只需要一个结论： $S^{n-1}$ 上两点间测地线一定被过圆心的大圆覆盖。然后使用 $g=r\theta$ 计算小于等于 $\pi$ 的那部分弧长。通过 $U$ 和 $V$ 的内积可以得到角度。

不过关心的是另外一件事情：假使两个语素被映射到某个流形上，度量它们接近程度的应该是测地线而不是余弦相似度，cosine similarity 只是在映射到 $S^{n-1}$ 时的特殊情况。因为测地线可以有另一种定义：其上每一点都指向局部变换代价最小的方向。

想要推动一件事情的发展，不需要很多勉强的创新，而是观念上的改变，还有一些传播的技巧。不管这样的改变是正确的，还是有争议的。坦白说最近这些东西都是用写作治疗自己，我不是很在意内容的对错（但为了对同行负责还是把个人主页上 blog 的链接删掉了）。不过我想还要写一段时间，因为一些重要的内容还没出现。

琴月

Posted on 2019-05-082019-05-08 by chiccs

$V$ 在 $S^{n-1}$ 均匀分布， $U$ 是其上的固定点， $U \cdot V \sim ?$

定义累积分布 $F(X)=Pr(U \cdot V < x)$
以 $U$ 的正方向为轴，想象用一个垂直于 $U$ 并与其它 $n-1$ 个坐标轴平行的超平面，将 $S^{n-1}$ 截成两个部分
满足条件的点集构成 $S^{n-1}$ 上非球缺的部分

$F(x)=1-\frac{\frac{n\pi^{\frac{n}{2}}}{\Gamma(\frac{n}{2})}I_{1-x^2}(\frac{n-1}{2},\frac{1}{2})}{\frac{n\pi^{\frac{n}{2}}}{\Gamma(\frac{n}{2}+1)}}$

$I$ 是正则化不完全 Beta 函数

$I_{1-x^2}(\frac{n-1}{2},\frac{1}{2})=\frac{\int_{0}^{1-x^2}t^{\frac{n-3}{2}}(1-t)^{-0.5}}{\int_{0}^{1}t^{\frac{n-3}{2}}(1-t)^{-0.5}}$

$f(x)\propto (1-x^2)^{\frac{n-3}{2}}$

简单修改 $V$ 的分布条件，结论对 $S^{n-1}$ 上的任意分布几乎成立。从某种意义上说，所有使用 word embedding 而不考虑维度影响的 NLP/IR 模型都是有问题的。

开始名为新·语义检索的转向。

九伤

Posted on 2019-05-072019-05-07 by chiccs

$V$ 在 $S^{2}$ 均匀分布， $U$ 是其上的固定点， $U \cdot V \sim ?$
定义累积分布 $F(X)=Pr(U \cdot V < x)$
只考虑 $x \in [0,1]$ 的情形，其它区间置零截断。
满足条件的点集构成 $S^{2}$ 上的非球缺，计算它们的测度
$F(x)=\frac{2\pi x}{2\pi}$
$f(x)=\frac{dF(x)}{dx}=1$

荒咬

Posted on 2019-05-052019-05-05 by chiccs

$V$ 在 $S^{1}$ 均匀分布， $U$ 是其上的固定点， $U \cdot V \sim ?$
定义累积分布 $F(X)=Pr(U \cdot V < x)$
考虑 $x \in [0,1]$ 的情形，其他类似
满足条件的点集构成 $S^{1}$ 上的弧，取它们的测度为 $S^{1}$ 的弧长
$F(x)=\frac{2arcsin(x)}{2\frac{\pi}{2}}$
$f(x)=\frac{dF(x)}{dx}=\frac{2}{\pi \sqrt{1-x^2}}$