摘要: 随着社交网络中信息发布数量的急剧增长，隐私问题已受到公众越来越多的关注。尽管差分隐私的出现为隐私保护提供了很好的理论基础，隐私保护和数据可用性之间的平衡仍需进一步提升。然而，大多数现有工作没有量化考虑攻击者行为对数据可用性造成的影响。本文首先提出了基于距离的个性化差分隐私保护方法。其次，我们分析了用户和攻击者在不知道对方策略情况下可获得的最大数据可用性。根据静态贝叶斯博弈，我们在差分隐私场景下定义了收益函数，并使用改进的增强学习算法求得纳什均衡解。所提方法可以快速的达到收敛，同时可以最大化用户的数据可用性。通过真实数据集上的实验证明了所提方法的有效性和灵活性。目的：设计一种个性化差分隐私保护方法，并分析刻画攻击者行为对数据可用性的影响，基于博弈论建立模型，实现数据可用性的最大化。创新点：1 提出了一种基于社交距离的个性化差分隐私保护方法。所提方法需要较少的隐私预算，同时可以获得更高的数据可用性；2 在差分隐私场景下，通过静态贝叶斯博弈描述用户和攻击者之间的对抗行为，在量化双方行为模式的基础上，通过获取贝叶斯纳什均衡进一步提升了保护数据的可用性；3 使用改进的Q-learning算法快速获取贝叶斯纳什均衡。所提方法通过减少数据的基数简化了迭代过程，从而使求解过程快速收敛；4 在真实数据集上从多个角度对所提模型进行评估，实验结果验证了所提方法的有效性。方法：首先设计了一种基于距离的个性化差分隐私保护方法。其次，我们从博弈的角度分析刻画了用户和攻击者在隐私保护场景下的对抗行为。进一步根据静态贝叶斯博弈定义出所研究场景下的收益函数，最后使用改进的增强学习算法求得最优解。结论：所提方法实现了个性化差分隐私保护的要求。与传统方法相比，所提方法可以获得更高的数据可用性。同时在算法效率上也得到了进一步提升。深度卷积神经网络（DCNN）已经在计算机视觉、自然语言处理和复杂系统分析等领域取得了出色的表现。随着更深的层数带来的性能提升，DCNN也会带来更高的计算复杂度和更大的存储需求，因此在资源有限的嵌入式系统（如移动设备或物联网设备）上部署DCNN非常困难。网络的量化能够有效地减少DCNN所需的存储空间。然而，随着量化比特数的降低，DCNN的性能通常迅速下降。在本文中，我们提出了一种空间高效的量化方案，它使用8位或更少的比特数来表示原始32位的权重。我们引入了奇异值分解（SVD）方法来减少全连接层的参数以进一步压缩。另外，我们提出了一种基于动态边界的权值裁切方法，以提高模型在使用更低精度时的性能。实验结果表示我们的方法对于模型可以实现最高14倍的压缩，同时保留与全精度模型几乎相同的准确率。当使用更低的精度时，所提出的权值裁切方法可以显著提升DCNN的性能。目的：提出一种空间高效的针对深度卷积神经网络（DCNN）的量化压缩方案，使得量化后的网络可以使用8比特甚至更低的精度来表示参数。同时，提出一种对于权重的预处理方法，使得模型能够在使用更低精度时尽可能地保留性能，从而使模型可以通过更容易的微调或再训练过程恢复至较高的准确率。创新点：1）我们提出了一种针对深度卷积神经网络（DCNN）的权值的量化方法。在不需要任何微调或再训练的情况下，提出的量化方法可以减少存储DCNN模型的参数所需要的比特数，同时保留着和全精度模型几乎相同的准确率。2）我们证明了将提出的量化方法与其他用来压缩DCNN的方法结合的可行性。我们将奇异值分解（SVD）引入到了提出的框架中，以同时模型的参数数量和所需的比特数。整合后的框架进一步压缩了网络的存储空间，尤其是针对一些包含多层全连接层的网络，如VGGNets。3）针对于量化DCNN时需要更低精度的情况，我们提出了一种基于动态边界的权值裁切方法。提出的方法在使用低于8比特的精度的定点数表示DCNN的权值的情况下显著提升了DCNN的准确率。量化后的低精度网络可以保留较高的性能并能够较容易的通过微调来恢复性能而不需要迭代地重复量化、微调过程。方法：本文提出的框架包含两个部分：权值量化和参数压缩。DCNN的卷积层和全连接层的参数大多服从近似正态分布，基于这个经验性的结论，我们提出了一种线性的量化方法，主要包括三个步骤：1） 放缩因子的计算：线性的量化方法通过线性映射将32位的权重映射为低精度的定点数，通过每一层权重中最大的绝对值和所需的精度，可以计算得到线性放缩因子。该放缩因子可以将该层的权重映射至近似的低精度值空间中。2）权重的值空间裁切：为了防止放缩后的权重超出低精度的值空间，对原值空间两端的稀疏值进行裁切。3）权重的量化：将经过放缩因子放缩后的权值通过最近舍入的方法近似为低精度的定点数，完成量化。为进一步压缩模型的存储空间，我们在提出的框架中引入了SVD方法，旨在验证提出的量化方法与其他压缩方法相结合的可行性。引入的SVD方法将全连接层的权重矩阵分解为3个较小的矩阵，显著降低了存储需求。本文进一步探索了将DCNN压缩值低于8比特的更低精度的可行性。模型在压缩至更低的精度时，准确率极具地下降。我们进一步提出了一种基于动态边界的权值裁切方法。权值裁切方法通过最小化裁切前后权重分布的KL散度来确定每一层的最优裁切边界。针对每一层的参数分布，首先切分为细粒度的窗口，对于两端窗口中每一个候选的裁切边界，通过1）参考分布生成，2）候选分布计算两个步骤，并最终通过计算KL散度选择最优的裁切边界。权重裁切的方法可以帮助模型在量化后显著地提升性能，并可以通过简单的微调过程恢复模型的准确率。结论：在本文中，我们提出了一种空间高效的量化方法（SEQ），并将模型压缩方法引入到提出的框架中，以减少深度卷积神经网络（DCNN）巨大的存储需求。SEQ能够在达到和全精度DCNN相近的表现的同时获得高的压缩比，并不需要任何的微调或再训练过程。另外，我们提出了一种动态的权重裁切方法，以显著地提升模型在更低精度的量化后的性能。权重裁切方法帮助模型在量化后保持较高的准确率并能够简单的微调过程来恢复性能。SEQ可以通过数秒的量化过程达到对DCNN最高14倍的压缩，并在此过程中不需要微调或再训练过程。SEQ的空间高效的特性能够帮助DCNN在嵌入式硬件或资源首先的设备上得到有效的部署。