6Comparing.md

模型比较

目录

[TOC]

基于预测性能的模型比较

对于任何应用问题建立模型通常有许多选择。我们通常的方法是从一个简单的模型开始，它只使用一些可用的信息------例如，在回归中没有使用一些可能的预测因素，将一个正常模型拟合到离散数据中，或忽略不等方差的证据，并拟合一个简单的等方差模型。一旦我们成功地拟合了一个简单的模型，我们就可以检查它对数据的拟合，然后对其进行扩展。

在比较模型时，有两种典型的场景。首先，当一个模型被扩展时，很自然地将较小的模型与较大的模型进行比较，并评估通过扩展模型获得了什么（或者，相反，如果一个模型被简化，以评估丢失的是什么）。这可以推广到比较一组嵌套模型和判断拟合数据需要多少复杂性的问题中。

在比较嵌套模型时，较大的模型通常具有更有意义和更好地拟合数据的优点，但缺点是更难以理解和计算。模型比较的关键问题通常是：（1)的拟合改进是否大到足以证明拟合的额外困难，而(2）的附加参数的先验分布是合理的？

模型比较的第二种场景是在两个或多个非嵌套模型之间------两个模型都不能推广另一个模型。人们可以比较使用不同的预测器集来拟合相同数据的回归，例如，使用基于过去投票结果或人口统计数据的信息来建模政治行为。在这些设置下，我们通常不对选择一个模型感兴趣------最好是在实质性和预测方面，构建一个更大的模型，包括特殊情况，包括两组预测器和更大的回归潜在交互，可能需要一个信息丰富的先验分布来控制所有额外参数的估计。然而，比较不同模型的拟合度是很有用的，看看任何一组预测器在单独考虑时是如何执行的。

无论如何，当以这种方式评估模型时，调整过拟合是很重要的，特别是在比较其复杂性变化很大的模型时。

样例：八所学校的模型的预期预测精度

教育测试服务中心进行了一项研究，以分析特殊辅导项目对考试成绩的影响。分别进行了随机实验来估计其影响八所高中的SAT-V（学术能力测试语言）的辅导课程。每项研究的结果变量是特殊的SAT-V评分（一种标准化由教育考试服务机构管理的多项选择题），用于帮助大学做出录取决定；分数可以在200到800之间，平均值为500，标准差为100。SAT考试针对旨在专门提高考试成绩的短期努力；相反，它们的设计是为了反映多年教育中获得的知识和能力。然而，这项研究中的8所学校都认为其短期训练项目在提高SAT教育水平方面是成功的产物。此外，之前没有理由相信这八个项目中的任何一个比其他任何项目都更有效，或者有些项目实际上比任何其他项目都更相似。

在八所学校教育项目的平行实验中，提出了三种推理模式：

·不混合：对8所学校的单独估计，反映了实验是独立进行的，所以每个学校的观察值是对其自身治疗效果的无偏估计。这个模型有八个参数：对每个学校的估计。

·完全混合：将所有学校的数据平均成一个数字，反映了这八所学校实际上非常相似（八种不同的处理方法)，也反映了八个估计之间的差异(表6.1中数字的左列)并没有比考虑到标准误差(表中最右的一列）单独预期的要大。此模型只有一个、共享的参数。

$\quad$ $\quad$ School	Estimated teatment effect,$y_j$	tandard error of effect estimate,$\sigma_j$
---	---	---
A	28	15
B	8	10
C	-3	16
D	7	11
E	-1	9
F	1	11
G	18	10
H	12	18

表6.1 基于对这8个实验的单独分析估计，在8个随机实验中观察到特殊制剂对SAT-V评分的影响。

·层次模型：贝叶斯Meta分析，将八个估计部分汇集到一个共同的平均值。该模型有8个参数，但它们受到层次分布的约束，并且不是独立估计的；因此，参数的有效数量应该小于8个。

		No poling (/tau=∞)	complete poling (/tau=0)	Hierarchical model (/tau \quad estimated)
AIC	$-2lpd=-2logp(y	\widehat{\theta}{mle})$ $k$ $AIC=-2\widehat{elpd}{AIC}$	54.6 8.0 70.6	59.4 1.0 61.4
DIC	$-2lpd=-2logp(y	\widehat{\theta}{Bayes})$ $p{DIC}$ $DIC=-2\widehat{elpd}_{DIC}$	54.6 8.0 70.6	59.4 1.0 61.4
WAIC	$-2lppd=-2 \sum_{i}{}{logp_{post}(y_i)}$ $p_{WAIC1}$ $p_{WAIC2}$ $WAIC=-2\widehat{elppd}_{WAIC2}$	60.2 2.5 4.0 68.2	59.8 0.6 0.7 61.2	59.2 1.0 1.3 61.8
LOO-CV	$-2lppd$ $p_{loo-cv}$ $-2lppd_{loo-cv}$		59.8 0.5 60.8	59.2 1.8 62.8

表6.2偏差（-2倍对数预测密度）和使用AIC、DIC、WAIC拟合修正（使用校正后的$p_{WAIC2}$），并对表6.1中数据拟合的三个模型进行留一法交叉验证。AIC/DIC/WAIC值越低，意味着预测精度就越高。

表中的空白单元格对应于未定义的度量：AIC是相对于最大似然估计定义的，因此不适合分层模型；交叉验证需要对保留的情况进行预测，这在不混合模型下是不可能的。

不混合数据的原始拟合效果最好，但在对拟合参数进行校正后，完全混合模型在不同指标下的估计预期预测误差最低。一般来说，我们期望层次模型获胜，但在这种特殊情况下，设置τ=0（即完全混合模型）恰好给出了最好的平均预测性能。

表6.2说明了使用预测对数密度和信息标准来比较三种模型------不混合、完全混合和与SAT教练数据的分层拟合。我们只有小组层面的数据，所以我们必须基于8所学校来定义我们的数据点和交叉验证，而不是个别学生。

我们将沿着表6.2的几行来了解这三个模型的不同信息标准是如何工作的，然后我们将讨论如何使用这些度量来比较模型。

**AIC.**对数预测密度更高，即对数预测密度更拟合不混合模型。这是有道理的：如果没有混合，最大似然估计是正确的数据，而在完全混合中，只有一个数字适合所有8所学校。然而，在调整了拟合参数（8个完全不混合，1个完全混合）后，模型的排名发生了变化，预计对数预测密度估计为完全混合的最佳密度(即AIC最低)。表的最后一列对于AIC是空白的，因为这个过程是基于最大似然估计来定义的，而这对于层次模型是没有意义的。

***DIC.***对于具有平面先验的没有混合和完全混合模型，DIC给出了与AIC相同的结果（除了可能的模拟可变性，我们在这里通过使用大量的后验模拟绘制基本上消除了它）。DIC分层模型给东西之间：直接适合数据(lpd)比完全混合但不如（过拟合）不混合，和有效的参数为2.8，更接近1比8，这是有意义的，因为估计的学校影响汇集几乎一直回到他们的共同均值。加入拟合的校正，完全混合的胜利，这是有意义的，因为在这种情况下，数据与组间方差一致为零。

***WAIC.***这个完全贝叶斯度给出的结果类似于DIC。每个模型对观测数据的拟合略差(即lppd的数字比对应的观测值的负值略高)，考虑到与基于点估计的预测密度具有较宽的分布，因此在模式下具有较低的密度值。然而，有效参数数的修正较低(对于不混合和分层模型，$p_{WAIC}$大约是$p_{DIC}$的一半)，当每个参数只有一个数据点时，WAIC的理论行为一致，而对于完全混合，$p_{WAIC}$仅略小于1（大致与我们期望的样本量一致）。对于这里的所有三个模型，$p_{WAIC}$都远小于$p_{DIC}$，这种差异是由于WAIC中的lppd已经解释了参数估计产生的大部分不确定性。

***交叉验证。***对于这个例子，不可能交叉验证不混合模型，因为它需要不可能的任务，从其他7个直升机学校的预测。这说明了信息标准的一个主要区别，信息标准假设这些学校有新的预测，因此也在不混合模型中工作。对于完全混合和分层模型，我们可以直接执行留一交叉验证。在该模型中，交叉验证的局部预测仅基于来自其他学校的信息，而WAIC中的局部预测则基于本地观察和来自其他学校的信息。在这两种情况下，预测都是针对未知的未来数据，但使用的信息量是不同的，因此当层次先验变得更加模糊时，预测性能估计的差异更大（当层次先验变得无信息时，差异趋于无穷大，从而产生不混合模型）。

***比较这三种模型。***对于这个特定的数据集，完全混合赢得了预期的样本外预测竞争。通常最好估计层次方差，但在这种情况下，$\tau=0$是数据的最佳拟合，这反映在表6.2的中心列，其中预期的对数预测密度高于不混合或完全混合。

也就是说，我们仍然更喜欢这里的层次模型，因为我们不相信$\tau$准确的是零。例如，学校A的估计效应为28（标准误差为15），学校C的估计效应为3(标准误差为16）。这种差异在统计上并不显著，事实上，数据与学校之间的影响差异是一致的；尽管如此，我们会感到不舒服，例如，声明后验概率是0.5，学校C的影响大于学校A的影响，因为数据显示学校A看起来更好。然而，考虑到τ非常大的值在实质上不可信，也导致该模型下的一些预测不可信性，最好在该模型上使用更有信息性的不确定性。

一般来说，预测精度测量与后验预测检测并行也很有用，以查看数据中是否存在每个模型没有捕获的重要模式。与预测检查一样，分层模型可以以不同的方式计算日志分数，这取决于参数$\theta$和复制$y^{rep}$是否对应于现有组的新数据（如上例中的计算）或新d 组（上述示例中$N(\mu,\tau^2)$分布的其他学校的估计和复制）。

评估预测误差的比较

当比较模型的预测精度时，就出现了两个问题，这可能被称为统计意义和实际意义。缺乏统计显著性是由于比较样本外预测精度估计的不确定性，并最终与个体预测误差的变化相关，这些误差表现在任何有限数据集的平均值中。一些渐近理论表明，任何平均预测误差估计的抽样方差都为1阶，因此，粗略地说，小于1的差异通常可以归因于偶然。但是这个渐近的结果并不一定适用于非嵌套模型。通过使用参数或非参数方法分析期望对数预测密度$\widehat{elppd_i}$的变化，可以得到相关抽样不确定性的实际估计。

有时，可以使用主题专家非常熟悉的应用程序特定的评分函数，以至于他们可以解释差异的实际意义。例如，流行病学家习惯于观察分类和生存模型下受试者工作特征曲线(AUC)下面积的差异。在没有这种传统测量方法的情况下，当比较两个模型时，如何解释对数预测概率的差异并不总是清楚的大小。两者的差异重要吗？10？100？理解这些差异的一种方法是基于更简单的模型进行校准。例如，考虑调查美国选举中n个选民的两个模型，一个模型是完全空的(预测每个选民支持任何一方的$p=0.5$)，另一个模型正确地分配了0.4和0.6的概率（一种或另一种）给选民。排除拟合所涉及的不确定性，第一个模型的期望对数预测概率为$log(0.5)=-0.673$，第二个模型的期望对数预测概率为$0.6+log(0.6)+0.4log(0.4)=-0.63$。拟合较好模型对对数预测概率的预期提高为$0.02n$。因此，对于n=1000，这提高了20，但对于$n=10$，预测改进只有2。这似乎与直觉相一致：在一个大样本中，从$50/50$到$60/40$是一个明显的胜利，但在一个较小的预测数据集中，很难在噪声中看到建模效益。

在我们对公众舆论和流行病学的研究中，我们看到一些案例表明，一个更大更好的模型（给出更合理的预测）在预测比较中并没有占主导地位。这可能发生是因为改进在绝对规模上很小（例如，将特定类别人口的预测平均响应从55%变化到60%)，并且集中在人口的少数子集(那些有足够的数据，以便一个更复杂的模型产生明显不同的预测）。平均样本外预测误差可以是一个有用的度量，但它并不能描述模型拟合的整个事件。

由模型选择引起的偏差

交叉验证和信息标准对使用数据进行了两次校正（在构建后验和模型评估中），并获得了对给定模型的预测性能的渐近无偏估计。然而，当使用这些方法来选择模型选择时，由于选择过程，所选模型的预测性能估计会有偏差。

如果比较模型的数量很小，偏差很小，但如果候选模型的数量非常大(例如，如果模型的数量随着观测数$n$的增长而呈指数级增长，或预测因子$p$的数量在协变量选择中远远大于$logn$)模型选择过程可以强烈过拟合数据。可以估计选择诱导的偏差并获得无偏估计，例如通过使用另一个水平的交叉验证。然而，这并不阻止模型选择过程可能对观察结果进行过拟合，从而选择具有次优预测性能的模型。这也是我们将交叉验证和信息标准视为一种理解拟合模型的方法，而不是在其中进行选择的原因之一。

挑战

目前预测模型拟合测量的现状仍然不令人满意。公式如AIC，DIC，WAIC在各种示例中失败：AIC在具有强先验信息的设置下不能工作，当后验分布不能很好地总结时，DIC给出无意义的结果，WAIC依赖于一个数据分区会对空间或网络数据等模型结构化造成困难。交叉验证很有吸引力，但在计算上可能很昂贵，而且在依赖数据设置中也不总是很好地定义。

由于这些原因，贝叶斯统计学家并不总是在应用工作中使用预测误差比较，但我们认识到，有时比较高度不同的模型是有用的，为此目的，预测比较是有意义的。此外，有效参数数的度量是理解统计程序的有吸引力的工具，特别是当考虑诸如样条曲线和高斯过程等模型时，它们具有复杂的依赖结构，因此没有明显的公式来总结模型的复杂性。

因此，我们看到这里描述的方法的价值，尽管它们的缺陷。目前我们的首选是交叉验证，WAIC是一种快速和计算方便的替代方案。WAIC是全贝叶斯的（使用后验分布而不是点估计），在我们这里考虑的例子中给出了合理的结果，并且与交叉验证有更明确的联系，可以从基于点预测密度的公式中可以看出。

使用贝叶斯因子的模型比较

到目前为止，本章我们讨论了基于预期预测精度的模型评价和比较。另一种比较模型的方法是通过贝叶斯分析，每个模型都给定一个先验概率，乘以边际似然（给定模型的数据概率），得到一个与模型后验概率成正比的数量。这种完全贝叶斯方法有一些吸引力，但我们通常不推荐它，因为在实践中，边际可能性对模型的各个方面高度敏感，这些方面通常是任意分配的，无法从数据中测试。在这里，我们提出了一般的想法并用两个例子来说明，一个例子将先验和后验概率分配给离散模型是有意义的，另一个例子没有。

在提出一组离散竞争模型的问题中，有时使用术语贝叶斯因子来表示一个模型下的边际概率密度与第二个模型下的边缘密度的比值。如果我们将两个相互竞争的模型标记为$H_1$和$H_2$，那么它们的后验概率之比为

$$ \frac{p(H_2|y)}{p(H_1|y)}=\frac{p(H_1)}{p(H_2)}\times Bayes\quad factor(H_2;H_1), $$ 在 $$ Bayes \quad factor(H_2;H_1)=\frac{p(y|H_2)}{p(y|H_1)}=\frac{\int{p(\theta_2|H_2)p(y|\theta_2,H_2)}d\theta_2}{\int{p(\theta_1|H_1)p(y|\theta_1,H_1)}d\theta_1}\tag{7.16} $$

在许多情况下，竞争模型有一组共同的参数，但这是不必要的；因此，模型$H_i$中的参数的符号$θ_i$。正如表达式（7.16）中明确提到的，只有当每个模型下$y$的边际密度适当时，才能定义贝叶斯因子。

当使用贝叶斯因子或使用其后验概率的离散集上的平均值$p(H_i|y)$的目标是选择一个单一模型$H_i$。正如我们在本书中的例子中所展示的，我们通常更倾向于用一个扩展的连续族来替换一个离散的模型集。本章结尾的书目说明提供了更广泛的贝叶斯因素处理的指针。

当底层模型确实是完全离散的时，贝叶斯因子可以很好地工作，并且认为其中一个或另一个模型作为对数据的良好描述是有意义的。我们用一个来自遗传学的例子来说明。

样例 一个对贝叶斯因子有帮助的离散例子

人类男性有一条X染色体和一条Y染色体，而女性有两条x染色体，每条染色体都遗传自一个父母。血友病是一种表现为X染色体的隐性遗传病，这意味着在X染色体上继承了导致疾病的基因的男性受到影响，而只在两条X染色体中的一个上携带该基因的女性则不受影响。这种疾病通常对遗传了这两个基因的女性是致病的，而且这是非常罕见的，因为该基因在人群中发生的频率很低。

该遗传学示例的贝叶斯推理可以使用贝叶斯因子有效地表达，两个相互竞争的"模型"是$H_1$：女性受影响，$H_2$：女性不受影响，即第1.4节符号中的$\theta=1$和$\theta=0$。先前的概率是$p(H_2)/p(H_1)=1$，女性有两个未受影响的儿子的贝叶斯因子是$p(y|H_2)/p(y|H_1)=1.0/0.25$。因此，后验概率为$p(H_2|y)/p(H_1|y)=4$。通过乘优势比进行计算，可以使证据的积累更加清楚。

这个示例有两个特性，允许贝叶斯因子有帮助。首先，每一个离散的替代方案都有科学意义，而且在两者之间没有明显的科学模型。其次，每个模型下数据的边际分布$p(y|H_i)$是适当的。

贝叶斯因子对于本质上是连续的模型并不太好。例如，如果$\theta$是某个连续参数，如处理效果，我们不喜欢为事件$\theta=0$分配正概率的模型。类似地，如果研究人员对各种离散回归模型（变量选择的问题）之间的比较或选择表示了兴趣，我们更愿意包括所有的候选变量，如果需要的话，使用先验分布将系数部分混合为零。为了说明连续模型的贝叶斯因子问题，我们使用了8所学校问题的不混合和完全混合模型的例子。

样例 贝叶斯因素是分散注意力的一个连续的例子

我们现在考虑一个情况，其中离散模型比较和贝叶斯因子分散了人们对科学推理的注意力。假设我们使用贝叶斯因子分析了8所学校训练的平行实验中的数据，对先前提出的标准模型进行离散收集，不混合($H_1$)和完全混合($H_2$)： $$ H_1:p(y|\theta_1,\cdots,\theta_J)=\prod_{j=1}^{J}{N(y_j|\theta_j,\sigma_j^2),p(\theta_1,\cdots,\theta_J)\propto1} $$

$$ H_2:p(y|\theta_1,\cdots,\theta_J)=\prod_{j=1}^{J}{N(y_j|\theta_j,\sigma_j^2),\theta_1=\cdots=\theta_J=\theta,p(\theta)\propto1} $$

（回想一下，在本例中假设标准偏差$\sigma_j$是已知的。）

如果我们使用贝叶斯因子在这些模型中选择或平均，我们会立即面临贝叶斯因子$p(y|H_1)/p(y|H_2)$没有定义；由于先验分布不当，密度函数的比值为$0/0$。因此，如果我们想继续为这两个离散模型分配后验概率的方法，我们必须考虑（1)适当的先验分布，或(2）不适当的先验分布，这是仔细构造作为适当分布的极限。无论哪一种情况，我们都将看到结果不令人满意。更明确地说，假设我们对于一些大的A，用独立的正态先验分布$N(0,A^2)$的平坦先验分布代替$H_1$和$H_2$中的平坦先验分布。在学校$j$中，所产生的效应的后验分布是

$$ p(\theta_j|y)=(1-\lambda)p(\theta_j|y,H_1)+\lambda p(\theta_j|y,H_2) $$ 其中两个条件后验分布分别在$y_i$和$\bar{y}$附近为正态中心，λ与贝叶斯因子的先验概率成正比，贝叶斯因子$p(H_2|y)/p(H_1|y)$是数据和A的函数。该问题的贝叶斯因子对先验方差$A^2$高度敏感；随着A的增加(随着固定的数据和固定的先验概率，$p(H_2)/p(H_1)$)，后验分布越来越集中于，即完全混合模型。因此，贝叶斯因子不能合理地应用于具有非信息性先验密度的原始模型，即使它们被仔细地定义为适当的先验分布的极限。

然而，这个例子的贝叶斯因子的另一个问题是通过考虑它在适应模型的学校数量增加时的行为来揭示的。在$H_1$和$H_2$的混合物下，$\theta_j$的后验分布对问题的维度很敏感，例如，如果将该模型应用于80所学校的类似数据，将会得到很多不同的推论（见练习7.4）。后验分布对科学上偶然的先验分布和问题结构的各个方面高度敏感，这一点没有科学意义。

因此，如果我们使用贝叶斯因子来解决这个问题，我们会发现在模型检查阶段有一个问题（后验分布和实质性知识之间的差异），我们将转向建立一个更平滑、连续的模型家族来弥合这两个极端之间的差距。一个合理的连续模型族是$y_j\sim N(\theta_j,\sigma_j^2),\theta_j\sim ~N(\mu,\tau^2)$，在$\mu$上具有平坦的先验分布，$\tau$的范围为$[0,\infty)$；这是我们在八所学校平行实验中使用的模型。一旦连续扩展模型被拟合，就没有理由给$\tau=0$和$\tau=\infty$值分配离散的正概率，因为这两个值都没有科学意义。

参考文献：

C - Gelman, Andrew Gelman，John B. Carlin，Hal S. Stern ，David B. Dunson，Aki Vehtari，Donald B. Rubin，Bayesian Data Analysis, Third Edition，178-184