
92 浏览
理解大模型,大多数人从数学开始。但数学只解释了它怎么运作,解释不了它为什么有效。
真正的第一性原理,藏在一个更老的地方。维特根斯坦晚年说了一句话:"一个词的意义,就是它在语言中的使用。"然后工程师们,把这句话变成了代码。
🔹 意义即使用 = Embedding
词向量从不给词下定义,只问:这个词出现在什么语境里?
king - man + woman = queen
不是逻辑,是使用模式的几何化
🔹 语言游戏 = Prompt Engineering
模型识别的不是"语言",是你在玩哪种游戏——写代码还是安慰人
System prompt是游戏边界
Few-shot是示范规则
🔹 家族相似性 = 向量空间
"悲伤""忧郁""哀愁"
🔹 私人语言不可能 = RLHF
"以为自己在遵守规则,不等于遵守规则"
语言必须接受公共纠正,这就是RLHF在做的事
维特根斯坦想解决的问题,恰好是大模型必须解决的问题:意义如何从使用中产生?理解如何在没有定义的情况下存在?
所以如果想真正理解大模型,去读《哲学研究》,也许比任何技术博客都更接近本质。
Copyright © 2026 RADHOST PTE. LTD. (UEN: 202450723N). All Rights Reserved.