THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持，以持续不断的技术创新，满足未来各行业人工智能模型大规模应用的隐私保护需求。
——正文引自公众号：未来区块链与隐私计算高精尖中心
近日，未来区块链与隐私计算高精尖创新中心研究团队的论文《THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption》成功入选自然语言处理领域国际顶级学术会议ACL 2022 Findings。THE-X是面向预训练大模型的同态加密解决方案，首次使得Transformer结构能够进行密文推断，对于大模型的发展和大规模应用具有重要意义。
ACL 2022由国际计算语言学学会主办，是自然语言处理与计算语言学领域最高级别的学术会议，也是中国计算机学会(CCF) 推荐目录中的A类会议，每年吸引全球大量学者投稿和参会。今年ACL首次引入滚动审稿（Rolling Review）机制，只有20%左右的论文被接收。在该论文中，来自中心“神经网络的同态加密算子设计及密态推断”任务的研究团队提出了使用同态加密解决Transformer模型在云端推断时隐私保护问题的创新算法，取得了Lattice理论下的隐私安全。
随着越来越多基于Transformer构建的预训练模型采取云端部署的架构，而诸如用户的搜索历史，医疗记录，银行账单等敏感信息在经由预训练模型进行处理之前，必须转成明文格式，导致隐私泄露的风险大大增加。同态加密允许模型直接在密文数据上进行计算，是近年来数据隐私问题的重要解决方案。然而，目前的同态加密只支持简单的加法和乘法计算，无法支持Transformer结构的复杂计算。
面对这一棘手问题，研究团队提出了一种算子估计的工作流THE-X，能够将训练好的Transformer模型转换成同态加密支持的算子，从而使得预训练模型能够直接在密文上开启推断。论文主要针对Transformer结构中的复杂算子，如GELU、Softmax、LayerNorm等。在GLUE和SQUAD等8个数据集上的实验结果表明，THE-X可以为各种不同的下游任务开启密文计算能力，并且不显著降低模型的效果。
图1使用THE-X进行云端大模型推断
图2THE-X在多种不同任务上的结果
作为中心“神经网络的同态加密算子设计及密态推断”任务的重要研究内容之一，THE-X的核心算法将进一步拓展“长安链”隐私计算对于云服务场景下大模型推断的支持，以持续不断的技术创新，满足未来各行业人工智能模型大规模应用的隐私保护需求。
RECOMMEND
推荐阅读
长安链ChainMaker 交易池交易防重优化
长安链交易防重之布谷鸟过滤器
BigFilter全局交易防重组件的介绍与应用
Tips
更多长安链开源项目QA，可登录开源社区、技术文档库查看。
下载源码
https://git.chainmaker.org.cn/chainmaker/chainmaker-go
查阅文档
https://docs.chainmaker.org.cn/
长安链ChainMaker案例征集
http://www.wenjuan.com/s/UZBZJvhFGte/
“长安链ChainMaker”是国内首个自主可控区块链软硬件技术体系，由微芯研究院联合头部企业和高校共同研发，具有全自主、高性能、强隐私、广协作的突出特点。长安链面向大规模节点组网、高交易处理性能、强数据安全隐私等下一代区块链技术需求，融合区块链专用加速芯片硬件和可装配底层软件平台，为构建高性能、高可信、高安全的数字基础设施提供新的解决方案，为长安链生态联盟提供强有力的区块链技术支撑。取名“长安链”，喻意“长治久安、再创辉煌、链接世界“。