Author: chiccs

扇沟流

Posted on by chiccs

有很多的检索模型，都使用这样的策略：首先使用一种简单的检索模型（比如 LM, BM25 和 TF-IDF）找出最接近 query 的前 N 个结果（比如 top 100/500/1000），然后再使用自己的模型重新对这些结果打分并排序(rerank)。

read more...

这些模型可以分成两类：对 N 不敏感的和对 N 敏感的。

随着 N 的增大，对 N 不敏感的模型的性能整体上只会在一个很小的区间内波动，这称为它们具有“收敛性”。对 N 敏感的模型的性能一般和 N 的取值是负相关的，也许 N=100 的时候性能很好，但是当 N 增大数倍之后结果就变得惨不忍睹。

为什么会有这种区别呢？这只取决于这些模型是否是词汇空间上良好定义的测度。正确的测度会因为大数定律的限制而变得稳定，不标准的度量会因为有偏的估计而失常。Batch normalization 为什么有用呢？也许其实和什么“独立同分布假设”之类关系不大，只是为一堆杂乱无章的东西(batch)强行定义了一个良好的概率测度(normalization)。

所以想要检验没有理论基础的模型，最好不要用 two-stage strategy，而要浪费大把时间直接 rank the whole collection。不然文章发出来，最多也只是有人引用、没人敢用。

琴月

Posted on by chiccs

V  在 S^{n-1} 均匀分布，U 是其上的固定点， U \cdot V \sim ?

read more...

定义累积分布 F(X)=Pr(U \cdot V < x)
以 U 的正方向为轴，想象用一个垂直于 U 并与其它 n-1 个坐标轴平行的超平面，将 S^{n-1} 截成两个部分
满足条件的点集构成 S^{n-1} 上非球缺的部分

F(x)=1-\frac{\frac{n\pi^{\frac{n}{2}}}{\Gamma(\frac{n}{2})}I_{1-x^2}(\frac{n-1}{2},\frac{1}{2})}{\frac{n\pi^{\frac{n}{2}}}{\Gamma(\frac{n}{2}+1)}}

I 是正则化不完全 Beta 函数

I_{1-x^2}(\frac{n-1}{2},\frac{1}{2})=\frac{\int_{0}^{1-x^2}t^{\frac{n-3}{2}}(1-t)^{-0.5}}{\int_{0}^{1}t^{\frac{n-3}{2}}(1-t)^{-0.5}}

f(x)\propto (1-x^2)^{\frac{n-3}{2}}

简单修改 V 的分布条件，结论对 S^{n-1} 上的任意分布几乎成立。从某种意义上说，所有使用 word embedding 而不考虑维度影响的 NLP/IR 模型都是有问题的。

开始名为新·语义检索的转向。

NASDAQ:JD 观察

Posted on by chiccs

声明：因为消息来源有限，文章内容可能有错漏。若阅读本文进行投资而产生的损益，本人不负任何责任。

京东（NASDAQ:JD）最近因为 CEO Richard Liu 的丑闻以及一些管理上的举措而深陷舆论风波。观点如下：

read more...

  1. 某些媒体提出，刘很可能需要辞去 CEO 的职位。他的一系列新闻严重影响了京东的形象和士气。然而，对于一家总体上还在亏损的企业来说，创始人此时辞职是很不明智的。这是一个两难的处境，要么刘能够振作，忍辱负重带领企业走出困境。要么和董事会仔细权衡，找一个代理人继续发号施令。
  2. 京东的问题主要出在管理上。有些人，特别是做“技术”的人以为，京东的落后本质上是技术的落后。这种思维完全是“AI”程序员自以为会写几行代码会调几个参数就可以高人一等统治世界的技术乐观主义的生动体现。推动历史进程的主体是人而不是人创造的物质。京东并不是一个完全依靠流量变现（百度和腾讯在做的部分事情）或者，通过与生产者/消费者交换竞争市场长尾的信息而产生收益的企业（阿里在做的部分事情。BTW，淘宝的搜索引擎相比推荐系统真的烂得令人发指，我每次都只能搜几个不满意的结果放进购物车然后等着系统给我推荐正确的商品。你们真的这么相信 feature 笛卡尔积 + learning to rank 而不需要 ad-hoc retrieval 的专家吗….）。它的核心在于供应链和物流。即使在零售端一败涂地，它也可以依靠其在供给方面的优势而继续苟活。这是这家企业的大部分核心价值所在，因此它可以具有很好的业务伸缩性，根据时势变化采取具体的策略。在空降高管的这几年，JD 给人的感觉仍然是有些混乱。从外界看企业，会关注这个企业有哪些“接口”和提供的功能。事实上我没看到这个企业有清晰可以理解的“接口”，让人明白你们到底是在做什么生意的。
  3. 近期管理方面的举措反映了 Liu 希望重新整合力量、团结员工、收拢人心的意愿。外界的解读不一定能代表内部的看法。
  4. 成功的男人需要谦卑和机智，更需要尊重和呵护女性。JD 这样人力资源厚重的企业最后的高度将完全取决于掌舵人的修养、德行和不受干扰的洞察力。做出点东西就开始装模作样挑衅别人（甚至是曾给你机会的人）的鼠辈最后都如过眼烟云。总的来说，我觉得刘应该向事件的女主角、自己的妻子、自己的员工和投资者公开郑重道歉，这比任何公关措施都有用。

NASDAQ:JD 这只股票有很多机构在操盘，散户不宜过多下注。建议的策略：短期做空，长期谨慎做多。

DAC with Quad Philips TDA1305T

Posted on by chiccs
pic from Taobao.com

三四年以前买了自己的第一个解码器，基于 AK4490。出来的声音的解析度很高，现场感不错，但是数码味比较重，声音生冷，就好像没有感情的电子合成器很努力地想发出真实乐器的声音。

read more ...

AKM AK4490 是很不错的芯片，只是这种新产品在开发导向上更追求技术指标而不是具体的听感。就好像宾得的 FA 31/43/77mm Limited 指标不算顶尖但仍被公认是传世之作，而适马的各种“黑科技”镜头素质秒天秒地却总被吐槽色彩很烂不堪大用。另外一个很重要的点是这个解码器推不动 dt880 600欧，虽然我加了一个仿拜亚动力A1的耳放，但总是感觉不够劲。

左右寻觅，看来看去，买了这个奇葩的机子，由四个飞利浦的 TDA1305T 并联输出。卖家的商品介绍写得很山寨，一股浓浓的农民创业卖惨+发烧友自负又自恋的味道。看上面这个图片里面显示的电路板，没有那种巨大的“水池”，而是充满了密密麻麻的独石电容，显示出设计者独特的想法，大概是想通过反馈部分调整中高频的表现吧，但是不看电路图的话很难理解思路，更何况我的水平也有限。

具体说听感。控制力很强，具体表现在量感足，人声厚实，即使音量调得很小，耳机的振膜也有种要震出来的感觉，这是并联以后输出功率充沛的缘故。声音很清澈，音色清淡偏暖。声场不是很广阔但是定位感很强，可以明显感受到录音者的声音在传送到录音设备时在空气中的衰减，真实得令人头皮发麻。有一点很浅的所谓“胆味”：除了这个老芯片在解码能力（大概只有 16 bit 左右）上的不足导致的原因以外，这大概显示了 tda1305 这个芯片的“平滑”特性，可以过滤比较尖锐的信号，填充采样不足的部分，让声音变得“柔顺”。这个机子的缺点主要是对动态的把握有欠缺，具体来说声音的节奏感有一点点不易觉察的拖沓，可能是这个机子的 USB 信号处理电路的天生缺陷，jitter 比较高。

飞利浦是我最喜欢的企业之一，因为他们是少数能够捕捉生活的最新动态，用科技向情怀致敬的工业巨人。我曾经觉得小米应该定位为像飞利浦一样能够涉足工业、互联网、电子、生活家电等方面，并且有能力自底向上研发的全方位企业。然而小米显然更希望成为一家互联网公司，赚风口上的快钱，虽然他们有“小米生态链”，贴牌了各种各样的小电器，期望着能在这个浮躁的时代找到更多生存的可能性。

NASDAQ:AMD 基本面分析2019

Posted on by chiccs

2016：https://lxsay.com/archives/249

2017：https://lxsay.com/archives/697

声明：本文内容仅供参考。因消息来源有限，可能存在错误。因为阅读本文后进行相关投资引起的损益，本人不负任何责任。

在过去的一年，AMD 发布了全新的 Ryzen、EPYC、ThreadRipper 系列处理器，以及 Radeon 系列显卡，成功实现了市场关注度和业绩的双丰收。用流行的话说就是“农企翻身了！”。

现在 AMD 的股价大概在 20~24 美元左右每股。说实话，两年前写下这些文章的时候，正是 AMD 的历史最低谷：Ryzen 将出未出，市场充满怀疑，股价震荡，每个月都能看到机构操盘收割散户的悲惨场面。Intel 和 NVIDIA 为所欲为，没有人相信奇迹。即使我有坚强的意志，看到过山车一般的行情，也不免怀疑自己的预测只是一厢情愿。所幸，最后我们都挺过来了。

分析：

利：1、通过正确的营销策略和渠道建设，大幅提升了市场占有率。营收可观。

2、专注 PC、高性能计算和服务器市场研发，产品线务实，进展稳健。

3、中国大陆游戏市场的解禁带来 PC 业务的大幅增长。

4、个人预测，对超极本、轻薄本、游戏笔记本业务的建设将在未来显现其极端重要性。

5、Intel 的 10nm 工艺遭遇困难

 

弊：1、显卡方面与英伟达的竞争仍然处于劣势。

2、Jim Keller 跳槽到 Intel。

3、人工智能市场进展缓慢。虽然有 ROCm 平台，但是响应者寥寥。事实上这方面需要强大的推广和渠道建设，并且有一定的自发性。AMD 没必要花大价钱和英伟达恶战，但应该建立自己的存在感。目前没看到务实有效的策略。其实AMD的显卡在 AI 方面的优势在于消费市场的显卡产品价格很低，而且显存很大。RX500 系列的显卡顶配版本一般都有 8G，这正好能达到家用计算机运行神经网络的最大需求。放弃追求适配所有流行框架的想法，转而只支持一款产品（比如 TensorFlow 或 PyTorch）就已经足够。比较讨巧的办法是开发出一个基于 AMD AI 平台 的、并且使用简单的桌面级消费类应用（图像、视频处理、游戏体验优化等等），然后以此为噱头大肆宣传。

4、2019 年前后被一部分人认为是经济周期理论中“经济周期”的最低点，这虽然无法改变世界的运转，但会显著降低不少人对市场的预期。

最后预测股价，短线在 15 美元 ~ 30 美元之间震荡。长线看到 30 美元每股。如果忽略经济周期的影响，长线看到 45 美元每股。

七碗面

Posted on by chiccs

临近周末，飞的打到杭州，住进西湖边的玉皇山。

山风呼啸，绿树环绕，我仿佛也成为自然里漂浮的空气，无所牵挂。心情好了很多。

很久以前，我对某人说，我要做片儿川给你吃。这次来杭州，有个很重要的任务就是品尝比较正宗的片儿川。

傍晚，从酒店出发，沿莲花峰路往玉皇山路方向走几百米，在丝绸博物馆的对面，有一家叫“七碗面”的面馆。

read more...

来得偏早，怯生生地问是否营业。得到肯定回答以后要了碗片儿川加腰花。阿姨转身进厨房开工，火力凶猛，灶头传来呼呼的风声。

瘦肉带勾芡，不柴。腰花最见功夫，炒得软嫩。汤底应是骨汤，笋片和雪菜搭配提了一点味道。面用的是蛋面，扁平，有一点硬。总的来说味道还可以，调味应该是往厚重的方向，但不够出彩，比较寡淡，可能是季节的原因，原材料不好。

吃完不一会儿，三三两两来了许多人，买单离开。

之后来到苏州，先到苏州博物馆边上的裕兴记，来一碗鳝糊面。鳝丝炒得有点老，韧性不足。只能将就了。

隔天再到陆长兴、同得兴。红汤、白汤大肉各来一碗！

离开那天早上。到朱洪元，要了一个蟹黄汤包，一碗奥肉面。

白汤的葱蒜味较重，如果放清真牛肉进去，我丝毫不会怀疑这就是遍布厦门大街小巷的“西北拉面”出品的“当归牛肉汤”。个人偏好红汤，味道较为温和。

TREC CAR 2018 随想

Posted on by chiccs

结果如何？直接看图吧。

今年春节的时候就想开发一个比去年更好的方法。一直被阻拦，只能断断续续地做实验。在 cikm 交稿之后，离 trec 的 deadline 只剩一两周的时候匆忙继续。发现了 Wikipedia article information 可以增强性能。总算有东西可以提交。

这个 task 有几个比较奇特的地方：

一是输入输出格式比较复杂，要自己用 trec-car-tools 从 cbor 里面读取每个 query path。这两年还有区分 query 的类型，比如 outlines（文章标题）, hierarchical（最具体的章节路径）。输出的时候要加上 “enwiki:” 或者 “tqa”这样的前缀。 说实话不能理解为什么要这么折腾。

二是这个任务的 evaluation 其实是有偏差的 (biased)。 评估方式分三种 Automatic, manual 和 lenient。Automatic 就是用维基百科的章节路径当作 query，然后章节里面包含的段落当作 ground truth。 manual 和 lenient 是按照 trec 标准的人工评测。 个人发现 SDM 类的模型经过充分的调参以后可以在 automatic 上取得 state-of-the-art 的结果，但是 manual 和 lenient 的评测结果和其他方法比就还有差距。 这其实反映了统计语言模型和 neural ranking model 对 concept salience 的假设是不一样的。

三是我这次用 Wikipedia article 的信息作为一个特征输入，由于程序的一个 bug，这个部分全部输出为0，结果竟然还比没有集成这个特征的原始模型提升了至少 15%。这起码说明能找到对应 Wikipedia article 的段落更有可能成为答案。我感觉 Laura 可能已经发现了这个问题，后续的数据集应该会变得更加 Wikipedia-free。

反正结果就是这样，这次其他的队伍用了很多成熟的 learning to rank 的方法，再加上一些 hand-crafted feature 和 query expansion mechnism（比如 RM3。。。）。取得好的结果是意料之中。恭喜。

我十月份申请的美签居然还在 administrative processing!  最后没去参加 trec。只好给 Laura 发邮件解释原因，给 hilton 发邮件取消房间，交 no-show charge，取消机票。我很讨厌处理这种琐事，这次耗尽了所有精力。 us visa office seems to believe that the higher education a Chinese get, the more dangerous is he or she to the United States. This is truly ridiculous and racist. 另外美国香港领事馆是我见过的服务态度最恶劣的领事馆，只能说人在做天在看。非常失望，这辈子都不考虑去美国。

总的来说今年的这件事算是彻底的失败了。但这不是我的失败，也不是我的耻辱。我只是在有限的时间里做了自己能做的所有事情。有些阻碍不是我能跨越的，有些装睡的人不是我能叫醒的。如果一百年以后的哪天我死了，我的墓碑上也许会有一句话：此人此生光明磊落。