三层隐私架构实现个性化健康建议
Vitalik 之前折腾过不少有意思的项目,最近他又在个人实验里整了个新活:用本地小模型配合远程大模型,在不泄露个人隐私的前提下拿到个性化健康建议。他把整个实验过程和架构设计发到了推特上,引发了不少技术爱好者的讨论。
这个系统的核心矛盾很常见:本地模型能力有限,跑不动太大的参数,想用更强的远程模型又得把数据传过去。Vitalik 的做法是让本地模型当「守门员」,远程模型只当工具调用,数据不离开本地,思考能力却能借助远程模型往上拔一截。
三层隐私保护架构是怎么搭的?
整个系统分成了三层,每层各司其职:
身份层:本地模型代替用户构建请求
第一层是身份层,也是整个架构的入口。系统用 Qwen 3.8B 这类本地小模型来代替用户构建查询请求。这样做的好处是,远程模型根本看不到用户的写作风格、表达习惯这些可能暴露身份的信息。请求是以本地模型的「口吻」发出去的,用户本人完全不露脸。
意图层:本地模型编排远程工具
第二层是意图层,负责搞清楚用户到底想要什么。实验里用的是 Qwen 3.8 Flash Next,在本地跑,负责整体编排。它来决定:哪些问题需要调用远程模型?调用哪些工具?拿到结果以后怎么处理?整个调度过程都在本地完成,远程模型只是被动响应工具调用请求。
工具层:远程模型只提供高层次思考
第三层才是远程大模型发挥作用的地方。它不接触任何原始数据,只负责回答本地模型提出的具体问题。比如本地模型问「根据这个人的身高体重和运动频率,推荐一个饮食方案」,远程模型就给出一个通用的方案思路,不记录也不保存任何个人信息。
实际跑起来效果怎么样?
系统成功跑通了,Vitalik 也拿到了初步的健康建议。不过他本人也坦承了几个明显的短板:
一是 Tor 延迟高。为了保护隐私用了 Tor 代理,但每请求的去关联优化做得不够好,而且延迟明显影响了使用体验。
二是本地模型速度上不去。目前只能跑到 20-30 TPS(每秒处理词数),但 Vitalik 认为真正好用的体验需要 100+ TPS,这中间的差距还很大。
三是隐私保护越严格,远程帮助越有限。这两者之间存在天然的张力——数据保护得越死,远程模型能利用的信息越少,给出的建议也就越泛化、越不个性化。
这套思路能用在哪些场景?
虽然 Vitalik 做的是健康建议实验,但这套架构的思路完全可以迁移到其他领域。比如:
财务分析。用户不想把银行流水、交易记录传到云端,但又想得到专业的理财建议。可以用本地模型处理敏感数据,只把脱敏后的分析需求发给远程模型。
医疗问诊。病人病历是高度敏感的信息,本地模型负责理解病情、构建查询,远程专科模型提供诊断思路,整个过程病历数据不出本地。
法律咨询。类似的逻辑,敏感的个人信息在本地处理,远程模型只提供通用的法律框架和思路。
结语:隐私和能力的平衡点在这里
Vitalik 的实验证明,用本地模型当「守门员」配合远程大模型工具调用,理论上是可以在保护隐私的同时获取高能力输出的。不过现阶段延迟、速度、个性化程度都还有明显瓶颈,真正的实用化还需要等本地模型性能和隐私协议进一步成熟。
本文基于公开媒体报道整理,仅作信息参考,不构成任何投资依据,内容以原文为准。