意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

隐私 时间:2018-06-20 浏览:
雷锋网 AI 科技评论按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了隐私问题是模型设计中有

雷锋网 AI 科技评论按:Nicolas Papernot 在 2017、2018 连续两年的 ICLR 上都发表了关于差分隐私方法 PATE 的论文。如今大家都意识到了隐私问题是模型设计中有必要考虑的因素,设计模型时也愿意考虑 PATE 这样的方法。不过在 cleverhans 博客近期的一篇博客中,Nicolas Papernot、Ian Goodfellow 两人揭示了一项意想不到的发现:对隐私问题改善其实可以带来表现更好机器习模型,两者并不冲突,而是盟友。

雷锋网 AI 科技评论把这篇博客内容编译如下。

意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

机器习的许多应用中(例如医疗诊断),我们希望机器学习算法不要把训练数据集中的敏感信息记忆下来,比如患者个人的特殊医疗病史。差分隐私是衡量算法提供的隐私保证的框架。通过差分隐私的方法,我们可以设计能够在隐私数据上负责任地训练模型的机器学习算法。机器学习上差分隐私的工作(包括 MartínAbadi,lfarErlingsson,Ilya Mironov,Ananth Raghunathan,Shuang Song和Kunal Talwar)使机器学习研究人员能够更方便的为隐私研究做出贡献——即使他们对差分隐私中的数学原理不那么精通。在这篇博文中,我们会告诉你如何去做。

重点是一个称为 Private Aggregation of Teacher Ensemble(PATE)的算法集。除了它的名字发音像「法国肉酱」之外,PATE 框架的一个关键是,任何知道如何训练有监督机器学习模型(例如神经网络)的人现在都可以为机器学习的差分隐私研究做出贡献。PATE 框架通过仔细协调几种不同机器学习模型的行为来实现隐私学习。只要您遵循 PATE 框架指定的程序,最终得到的总模型将具有可衡量的隐私保证。其中每个单独的机器学习模型都使用普通的监督式学习方式训练,我们的许多读者可能已经从 ImageNet 的分类任务或许多其他更传统的机器学习任务中对监督学习有过了解。

如果有人可以为 PATE 使用的单个模型设计更好的架构或更好的训练算法,那么他们也可以改进监督学习的过程本身(即非隐私分类)。事实上,差分隐私可以被认为是一个正规化,能够解决从业者经常遇到的一些问题——即使在不要求隐私保证的时候也是如此。这包括过拟合问题。在这篇文章中,我们阐述了隐私和学习之间愉快的协同作用。特别是,我们介绍了 PATE 最近的一个扩展,它改进了如何协调不同的机器学习模型,以同时提高由 PATE 框架产生的模型的准确性和隐私性。这表明了差分隐私目标与对学习模型的追求是如何一致的。

为什么需要隐私机器学习算法?

机器学习算法是对于大量数据进行研究并更新模型参数来编码数据中的关系。理想情况下,我们希望这些机器学习模型的参数能够编码广泛有效的规律(「吸烟患者更可能患有心脏疾病」),而不是关于特定训练示例的事实信息(「Jane Smith 患有心脏病」)。不幸的是,机器学习算法默认不忽略这些细节。如果我们想用机器学习来解决一个重要的任务,比如制作一个癌症诊断模型,那么当我们发布这个机器学习模型时(例如,为全世界的医生制作一个开源癌症诊断模型),我们也可能会无意中透露有关训练集的信息。恶意攻击者可能能够检查已发布的模型并获得 Jane Smith 的隐私信息。这就是为什么需要差分隐私算法。

如何定义和保证隐私?

科学家们提出了许多方法来在分析数据时提供隐私保护。例如,在分析数据之前匿名化数据非常流行,通过删除隐私细节或用随机数值替换数据。常见的匿名细节包括电话号码和邮政编码。然而,匿名数据并不总是足够的,它提供的隐私保护强度会随着攻击者获取到的数据集中的人信息的数量增加而迅速降低。这里有一个很著名的例子,参与了 Netflix Prize 比赛的研究者虽然会拿到匿名的电影评价数据集,但是如果其中的人同时也在网络电影数据库(IMDb)中公开分享了他们的电影评级,研究人员就能够重新找回一部分人的身份。比如如果 Jane Smith 在 Netflix Prize 数据集中对电影 A、B 和 C 的评价和在公开在 IMDb 上的评价是一样的,那么研究人员可以将两个数据集之间来自 Jane 的数据都链接起来。这将使他们有能力恢复在 Netflix Prize 中但不包括在 IMDb 中的电影评级。这个例子表明了定义和保证隐私是多么的困难,因为很难估计攻击者对于一个人的有用知识范围。

差分隐私是由 Cynthia Dwork,Frank McSherry,Kobbi Nissim和Adam Smith 发明的一种评估框架,用于评估保护隐私机制所提供的隐私保障,它解决了如「k-匿名」(k-anonymity)等之前方法的局限性。基本思想是设计一个机制让部分行为随机化,从而保证隐私。在我们的例子中,所考虑的机制始终是一种学习算法,但差分隐私框架可以用于研究任何算法。

将随机性引入学习算法使得研究人员在直观上很难判断由学习参数定义的模型的哪些行为方面来自于随机性,哪些来自于训练数据。如果没有随机性,我们可以提出如下问题:「当我们在这个特定数据集上训练时,学习算法选择了什么参数?」当学习算法中有随机性的时候,我们就会问这样的问题:「当我们在这个特定的数据集上进行训练时,学习算法在这组可能的参数中选择了一组参数的概率有多大?」

我们使用的这个差分隐私的版本的特点是,如果我们更改训练集中的单个训练样例,学习任何特定参数集的概率要保持大致相同。更改训练样例可能意味着添加或删除训练样例,或更改一个训练样例中的值。这种设计背后的本质想法是,如果单个患者(Jane Smith)不影响学习的成果,那么该患者的病历就不会被记住,并且尊重她的隐私。在这篇文章的其余部分,我们通常把这个概率称为隐私预算(privacy budget)。较小的隐私预算就对应了更强的隐私保证。

意想不到的盟友:改善隐私问题可以带来表现更好的机器学习模型

在这副示意图中,当攻击者不能区分基于三个用户中的两个用户数据采用随机算法产生的结果,和相同算法根据全部三个用户产生的结果时,我们就实现了差分隐私。

PATE 背后的思考

我们的 PATE 方法为机器学习提供差分隐私的基本思路是,如果两个不同的分类器在两个没有共同的训练样例的数据集上训练,二者对一个新的输入分类结果达成一致,于是所得结论不会揭示任何有关单个训练样例的信息。这个结论可能是在没有某一个特定的训练样例的情况下进行的,因为用这个例子训练的模型和没有这个例子训练的模型都得出了相同的结论。