2024-03-21 insights

LeCun 的观察

早上继续回顾 LeCun 和 Lex 的对话。LeCun 是一个坚定的 autoregressive model 唱衰者，认为这样的模型没有足够的智力。今天听到的最有 insight 的观察来自于算力 — LLM 对于任何问题都提供相同的算力，这是一种没有 planning 的表现。因为面对困难的问题或者简单的问题，人类会根据难易成都，倾注不同程度的脑力来做回答。

但对于 autoregressive 的模型，它回答任何问题每一个字消耗的算力都是一样的，这揭示的是，现有 LLM 的智能，是一种更 reflective，primitive 的智能，并没有深度理解问题的能力。

那为什么现在的 LLM 看起来回答问题这么厉害？对这个问题我的观察是，因为 LLM 是在大规模的文本上做训练，所以它非常容易看起来理解了问题，给人们一种它理解了的错觉。但人类意识上的理解，往往有着更多隐藏的信息，那些人们甚至很难用语言来描述的信息。这个问题我之后可能会慢慢讨论。

验证这个观点的一个观察则是 LeCun 提到的现在在 LLM 应用中的长尾效应 (Longtail effect)，即在测试和研究中看起来很聪明的 LLM，它可能已经在 90% 的，人们经常问的问题上做好了微调，可以提供合适的回答。但就是会有人问 10% 那些在训练中想不到的问题，而这个小小的尾巴其实非常长，这种 out of distribution 创造了很多 LLM 应用中面对的困难。

当然这个问题我觉得并不会存在太久，很多人都在 reasoning 和 planning 的方向做研究，相信几年之内这个方向就会有长足的进步。

充值和提问

马前卒在被封了几个月之后开始找新路子了，开了他的知识星球。我一直觉得国内的自媒体和新媒体缺乏订阅制的土壤，没有像纽约时报之类体稳定的从读者获得经济来源的方法，依靠的是间接的接广告的方式来维持现金流，所以更加受制于人。更不要说现在的文化管理环境了。

所以马前卒开知识星球这样的订阅制私域，我还是第一时间支持了。当然充值也不是纯粹的花钱，也获得的每个月提问的机会。分享一下马前卒对于德国经济的评价。

恰好十年前，有一位朋友游历欧洲，给我讲了讲他的见闻 … 德国有一批繁荣的小城市，繁荣的前提是在汽车产业链里面占据一个关键环节。这些小城市的生活气氛，像是 80 年代中国国企的生活区，安乐祥和，年轻人如果考不上像样的大学，可以期待学习祖辈的手艺，以“类似”接班的方式，在本地当技术工人。

我当时以自己的生活经历回答，说凡事像老国企生活区的地方，好日子就只剩下一代人了。因为世界上努力的年轻人太多了，都想拿别人的岁月静好，当自己攀爬产业阶梯的垫脚石。如果像八十年代国企生活区，说明他们距离大下岗也就 15 年左右的时间。

和我的判断也很类似。在德国未来这件事情上，我觉得他并不能免于和中国这样的后发国家的竞争。如果岁月静好太久，恐怕是没有什么前途的。完整的回答还有其他部分，但是我觉得有点扯淡，而且不想手打太多他的回答，感兴趣的朋友自己去加入他的知识星球吧。

杂

• 办公室外，光秃秃了一整个冬天的树开始冒绿芽了。凑近一看却不是绿芽，而是黄绿色的小花，花间还有蜜蜂飞来飞去，看起来十分喜人。
• 来自环球科学 (Scientific American 的中国运营) 的 新闻汇总 ，马斯克脑机接口的受试者说玩《文明 6》玩到凌晨 6 点，最大缺点是需要充电。这多少是有点搞笑了。不过 Brainlink 还不能操控身体做复杂运动，那至少满足一下游戏瘾也是正当需求嘛，换我我也想。
• 另外同一篇汇总里面提到用自来水洗鼻子可能感染棘阿米巴（Acanthamoeba），存活率不到百分之七。虽然这个事情是在美国发生的，但也给我敲了警钟，确实有点吓人，明天就去买新的滤水壶滤芯。

另外有一位小猪对我在 daily insight 中没有提她非常不满，要不跟我天下第一好。这可不行。但我还是觉得在 daily insight 中谈及隐私是不合适的，所以只是在这里后注以下～以表示我不是心里没有她。