被算法奴役的社会
这两年有不少讨论担心未来人类会被 ASI（Artificial Superintelligence，超级人工智能）奴役。我自己是不怎么担心的，一方面是我认为仅靠当下的神经网络 - Transformer 架构未不能通向 AGI（通用人工智能），就像当年掌握了先进生产力、会打制石器的尼安德特人与山顶洞人，并没能成为今天智人的祖先。真正出现 ASI，很可能还需要不止一轮的科学范式突破。更重要的是，“被算法奴役”并非可能的未来时，而是正在进行时。
这几年，外卖员与网约车司机被“困在算法里”的新闻并不鲜见。把视角从这些垂直场景拉远：几乎所有大组织的白领早已深度嵌入 OA/ERP/CRM 等信息系统。任务从系统里领，结果向系统里交；流程被固化为表单与按钮之后，个体对节奏与产出的可控性显著下降。更准确地说，在手机成为我们不可分离的“体外器官”的今天，很多人已经在为计算机及其背后的指标体系打工。
抽象来看，“数字化转型”就是把业务流程持续电子化、线上化。当一条价值链的大部分环节被数字化后，仍需要人的，多是与物理世界直接发生状态变化的环节——把外卖送到门口、把乘客从 A 点送到 B 点。但很显然，在这两个例子里，外卖小哥和网约车司机是完全同质化的商品commodity，具有完美的可替代性和随之而来的低议价能力。价值链的主要增值环节，不再是这些物理世界里的状态变化，而是转移到了“在屏幕里的算法”：分发、定价、风控、调度与结算。
因此，社会在相当程度上已被算法所驱动（乃至奴役），未来其程度会逐渐加深，而邪恶ASI只是这条光谱的终点。
跳大神的萨满
前天和几个朋友聊天，有位在实践LLM增强网络安全的朋友说到他做 Prompt / Context 工程的痛点：System Prompt 改两个字，输出就可能大幅飘移；反馈既不线性，也难以稳定迭代，忙活几天还不如最初版本。这让我想起几个月前 ChatGPT-4o 新版本的“谄媚”问题：当给 LLM的训练目标不够完整（事实上做不到语义上的完整），模型就会找到满足字面要求但偏离本意的捷径。
这背后是度量的悖论：你度量什么，就会得到什么。 无论是 RLVF（Reinforcement Learning from Verifiable Feedback，可验证反馈强化学习），还是在新模型上“刷测评分”的 post-training，只要优化目标被过度简化，就很容易把指标做得“超好看”，而真实使用体验却变差——典型的过拟合。
我当时脑海里冒出一个形象：指令工程师像是跳大神的萨满，祈求神祇按人的意图行事。但这位神既不是冷静可计算的理性存在，也不是全知全能的造物主，而更像西游记、封神榜里的大仙，或是希腊、北欧神话里那些充满人性、时常任性的感性神。