大模型的第一性原理应该是维特根斯坦

理解大模型，大多数人从数学开始。但数学只解释了它怎么运作，解释不了它为什么有效。

真正的第一性原理，藏在一个更老的地方。维特根斯坦晚年说了一句话："一个词的意义，就是它在语言中的使用。"然后工程师们，把这句话变成了代码。

🔹 意义即使用 = Embedding

词向量从不给词下定义，只问：这个词出现在什么语境里？

king - man + woman = queen

不是逻辑，是使用模式的几何化

🔹 语言游戏 = Prompt Engineering

模型识别的不是"语言"，是你在玩哪种游戏——写代码还是安慰人

System prompt是游戏边界

Few-shot是示范规则

🔹 家族相似性 = 向量空间

"悲伤""忧郁""哀愁"

在向量空间里彼此靠近，没有清晰边界，没有共同本质，只有相似度的梯度

🔹 私人语言不可能 = RLHF

"以为自己在遵守规则，不等于遵守规则"

语言必须接受公共纠正，这就是RLHF在做的事