2024-03-21 insights
LeCun 的观察
早上继续回顾 LeCun 和 Lex 的对话。LeCun 是一个坚定的 autoregressive model 唱衰者,认为这样的模型没有足够的智力。今天听到的最有 insight 的观察来自于算力 — LLM 对于任何问题都提供相同的算力,这是一种没有 planning 的表现。因为面对困难的问题或者简单的问题,人类会根据难易成都,倾注不同程度的脑力来做回答。
但对于 autoregressive 的模型,它回答任何问题每一个字消耗的算力都是一样的,这揭示的是,现有 LLM 的智能,是一种更 reflective,primitive 的智能,并没有深度理解问题的能力。
那为什么现在的 LLM 看起来回答问题这么厉害?对这个问题我的观察是,因为 LLM 是在大规模的文本上做训练,所以它非常容易看起来理解了问题,给人们一种它理解了的错觉。但人类意识上的理解,往往有着更多隐藏的信息,那些人们甚至很难用语言来描述的信息。这个问题我之后可能会慢慢讨论。
验证这个观点的一个观察则是 LeCun 提到的现在在 LLM 应用中的长尾效应 (Longtail effect),即在测试和研究中看起来很聪明的 LLM,它可能已经在 90% 的,人们经常问的问题上做好了微调,可以提供合适的回答。但就是会有人问 10% 那些在训练中想不到的问题,而这个小小的尾巴其实非常长,这种 out of distribution 创造了很多 LLM 应用中面对的困难。
当然这个问题我觉得并不会存在太久,很多人都在 reasoning 和 planning 的方向做研究,相信几年之内这个方向就会有长足的进步。
充值和提问
马前卒在被封了几个月之后开始找新路子了,开了他的知识星球。我一直觉得国内的自媒体和新媒体缺乏订阅制的土壤,没有像纽约时报之类体稳定的从读者获得经济来源的方法,依靠的是间接的接广告的方式来维持现金流,所以更加受制于人。更不要说现在的文化管理环境了。
所以马前卒开知识星球这样的订阅制私域,我还是第一时间支持了。当然充值也不是纯粹的花钱,也获得的每个月提问的机会。分享一下马前卒对于德国经济的评价。
恰好十年前,有一位朋友游历欧洲,给我讲了讲他的见闻 … 德国有一批繁荣的小城市,繁荣的前提是在汽车产业链里面占据一个关键环节。这些小城市的生活气氛,像是 80 年代中国国企的生活区,安乐祥和,年轻人如果考不上像样的大学,可以期待学习祖辈的手艺,以“类似”接班的方式,在本地当技术工人。
我当时以自己的生活经历回答,说凡事像老国企生活区的地方,好日子就只剩下一代人了。因为世界上努力的年轻人太多了,都想拿别人的岁月静好,当自己攀爬产业阶梯的垫脚石。如果像八十年代国企生活区,说明他们距离大下岗也就 15 年左右的时间。
和我的判断也很类似。在德国未来这件事情上,我觉得他并不能免于和中国这样的后发国家的竞争。如果岁月静好太久,恐怕是没有什么前途的。完整的回答还有其他部分,但是我觉得有点扯淡,而且不想手打太多他的回答,感兴趣的朋友自己去加入他的知识星球吧。
杂
- 办公室外,光秃秃了一整个冬天的树开始冒绿芽了。凑近一看却不是绿芽,而是黄绿色的小花,花间还有蜜蜂飞来飞去,看起来十分喜人。
- 来自环球科学 (Scientific American 的中国运营) 的 新闻汇总 ,马斯克脑机接口的受试者说玩《文明 6》玩到凌晨 6 点,最大缺点是需要充电。这多少是有点搞笑了。不过 Brainlink 还不能操控身体做复杂运动,那至少满足一下游戏瘾也是正当需求嘛,换我我也想。
- 另外同一篇汇总里面提到用自来水洗鼻子可能感染棘阿米巴(Acanthamoeba),存活率不到百分之七。虽然这个事情是在美国发生的,但也给我敲了警钟,确实有点吓人,明天就去买新的滤水壶滤芯。
另外有一位小猪对我在 daily insight 中没有提她非常不满,要不跟我天下第一好。这可不行。但我还是觉得在 daily insight 中谈及隐私是不合适的,所以只是在这里后注以下~以表示我不是心里没有她。
- Title: 2024-03-21 insights
- Author: Lumen Yang
- Created at : 2024-03-21 13:44:52
- Updated at : 2024-03-22 21:59:41
- Link: https://www.lumeny.io/2024/03/21/2024-03-21 insights/
- License: This work is licensed under CC BY-NC-SA 4.0.