【学术活动】美国国家科学院院士、斯坦福大学王永雄教授学术报告

学术活动、新闻动态、最热新闻
发布时间:2018年04月18日

2018年4月16日,【统计学论坛·特邀报告】在清华大学主楼接待厅成功举办。报告的主讲人是美国国家科学院院士、斯坦福大学统计系王永雄教授。作为清华大学107周年校庆的系列活动之一,王永雄教授的特邀报告从信息发布伊始即受到校内师生的广泛关注,活动现场更是气氛热烈,座无虚席。

报告现场

本次报告的主办单位为清华大学工业工程系统计学研究中心,并由统计学研究中心副主任邓柯副教授担任主持人。报告的题目是Mini-batching in Markov Chain Monte Carlo Inference。

王永雄 教授

王教授首先介绍问题背景。即在抽样问题中,如果目标分布不能很容易地直接抽样,用Markov Chain Monte Carlo (以下简称MCMC) 方法可以有效地解决这个问题。构造一条马氏链,使得它的极限分布是目标分布,迭代多次之后可以近似地得到目标分布的样本。Metropolis-Hastings (MH) 算法是 MCMC 方法中最常用的算法之一。当我们要抽参数的后验分布时,M-H 算法计算 M-H ratio 的时候需要用到全部数据。但是当数据量很大时,这个方法就不会有很高的效率。如果用 mini-batch 的方法,每次只需要计算少量数据的信息,可以有效地提高效率。由此引入了报告主要研究的问题 mini-batch tempered MCMC。

实现这个方法运用了统计学里经典的参数扩张 (parameter augmentation) 的办法。通过构造一个比参数空间更高维的分布,并在这个分布上运用mini-batch M-H 算法,抽到的样本取边缘分布,即可得到我们想要的参数的样本。通过数学方法可以证明,得到样本的极限分布是参数后验分布的一个回火版本 (tempered version)。随机模拟和实际数据两个例子表明,MINi-batch Tempered MCMC (MINT) 算法能得到和 Tempered MCMC 方法类似的样本数据,但是计算和用时方面有显著地提高。

 

第二个问题是由于 MINT 算法抽样得到的样本并不是真的后验分布,只是后验分布升温后的一个版本。如果我们想要得到真实的后验分布的样本,王教授介绍了 equi-energy (EE) sampler的办法(Kou, Zhou and Wong, 2006)。原来的EE方法可以有效地解决分布多峰(multi-mode)的问题,但是对后验分布抽样时,MCMC方法每一步还是需要所有数据的信息。把 MINT 和 EE 方法结合起来,可以得到 MINi-batch Tempered Equi-Energy (MINTEE) 算法。MINT可以有效地从高温分布中抽样;EE方法要求从最高的温度开始,在每个温度中都抽相应的马氏链,并不断更新EE set,最低温分布就是目标分布,可以得到想要的样本。同样地,MINTEE 方法在实际应用中有很高地效率,计算复杂度也比EE方法小。

 

第三部分王教授介绍了 cone move 的方法。在机器学习里面流行的Langevin Dynamics方法,每次马氏链更新的时候,proposal distribution 的期望会沿着梯度方向,而这种方法会使 proposal distribution 的反向概率 (reverse probability) 很小,从而导致 M-H ratio 也非常小,马氏链很难转移出去,抽样效率低。王教授介绍的方法是提出一个新的proposal distribution,空间上像是把两个圆锥反向按顶点接在一起,它在正负梯度上有着相同的概率,这样每次马氏链的转移是可逆的(reversible),效率会更高一些。

 

最后的提问环节,老师和同学们讨论了和 MINT 方法相关的问题:能否把 MINT 方法运用在 Gibbs 抽样的框架之下?MINTEE 方法中,不同温度下的马氏链可不可以在不同温度之间进行转移等等。王教授回答到,在Gibbs抽样中运用mini-batch方法是十分有趣也十分有挑战的问题,期望看到更多的相关的进展。对于后一个问题,在parallel tempering方法中,多条马氏链可以在不同温度之间交换,而在EE sampler方法里,高温的马氏链可以帮助指导或影响低温的马氏链,低温对高温是不会有影响的。

 

世界范围内统计学科顶尖院士的特邀报告是统计学论坛的传统活动,每一学年均如期举办,它为清华的师生提供了一个和学术大咖近距离沟通交流的机会,获得一致好评与称赞。

现场合影