统计类工作technical interview 刷题系列 - Mixed model

十分感谢 wwrechard 同学帮忙复习Bayesian！

About REML and ML:
The biggest difference between the two lies in generalized linear mixed model estimate.  

ML: The estimate that maximizes the log-likelihood function. For example, to estimate the fixed and random effect in a linear mixed model, we pud down the log-likelihood function which involves the fixed effects and variance components, and then find the maximum.  
MLE is asymptotically unbiased.  But in a mixed effect model, the estimate for variance components is biased.

REML: Targeting at getting an unbiased estimate for the variance components in the mixed model.  The algorithm would fit the fixed part of th e model first and then use the residuals to fit the log-likelihood on the variance components.  

In R and SAS, we always have both options.  The default in SAS proc glmmix, the default is REML.

还有，LZ，你的求MLE的算法部分，EM和Newton method，后面的解释怎么是两个方法掺杂着来的呢。。。？

觉即不随 发表于 2014-1-11 15:28
还有，LZ，你的求MLE的算法部分，EM和Newton method，后面的解释怎么是两个方法掺杂着来的呢。。。？

感谢讨论！
应该是怎样的呢？这块我的确理解的很差。

EM algorithm: The algorithm relies on complete data computation.  A latent data model is assumed.
E step: Given the observations, we can calculate the expectation of the latent data.  Thus gives us a function of the parameters, given the observations.
M step: maximize the function we got from E step.
Repeating the two steps, until the targeting log likelihood barely changes, or the parameters barely changes.

EM algorithm is guaranteed to ascend over iterations.


Newton's method:
1) Approximate the target function with a second order Taylor expansion at the current iteration point.  This will involve the score function, and an observed Fisher information matrix (negative of observed Hessian matrix).
2) Take first order derivative with this approximation.
3) Equate the first order derivative with 0, and solve for the update of the parameters.  

Newton method is sometimes un-stable, i.e. it does not guarantee the ascend of the targeting function.  The reason is that in the 3rd step, the inversion of the observed Hessian matrix is required.  But in cases that the targeting function is not convex, the observed Fisher information matrix might not be positive definite, which causes numerical problem when taking inverse.

艾玛。。。写这么长。。。lz，我很啰嗦。。。

lz别嫌弃，因为我在国内没学过统计，所以涉及到专业问题还是用英文说快一点，也准确点~

太感激了！！！我觉得最需要的就是这方面的信息，而前辈们的经验让后辈受益匪浅！！

不太同意关于牛顿法的drawback那个部分的描述。【如果涉及到convex的话，EM保证每步都增大的条件也是目标log likehood必须是convex的，因为证明那一步需要Jensen's inequality。另外，<--讲错了。。。】EM推广来说是一种特殊的MM算法，而Newton法在很多情况下也能划归到MM算法（局部二次近似，且二次函数小于原函数），convex是保证MM算法收敛必须的条件。另外，据我自己的经验来说，牛顿法收敛是很快的（不单单是统计问题），因为是二次收敛的速度，代价是存储太大。关于Hessian matrix不正定的问题，一般数值上有很多解决办法，对应到统计里面比如ridge regression就是一种。

以前没太关注过mixed model的问题，这次乘机去看了Laird 1982和Jennrich 1986的paper。Laird 1982讨论的是repeated measure model 如何用 EM找MLE，方法很简单，M这一步就是condition on residual以及random effects (对应的sufficient statistics)来求coefficient以及covariance的极值点。而E step就是根据这些极值点带回去求得residual和random effects，再算出需要的sufficient statistics的期望。Jennrich 1986的paper，讨论了更广泛的model，response的covariance matrix有各种特殊的形式，甚至可以是unstructured （注意无论是random effects model, missing data, 还是factor model都可以求出y的marginal distribution，看其covariance matrix都一般有特殊形式）。Jennrich考虑的是对于y marginal distribution如何用牛顿法来最大化，过程就是14楼 觉即不随 童鞋描述的牛顿法。注意Hessian matrix和fisher scoring的区别是后者用了前者的期望。

EM的优点是，如果可以巧妙的地构造一个latent variable，使得我们已有的variable 与latent variable 放在一起就可以构成一个much simpler的情况。从而简化或者转化一个估计的问题。
如果构造的latent variable没能够得到更简单的问题，那EM的优点就不明显了。
Newton method有很多变型，modified newton，quasi-newton之类的方法或者来解决 indefinite hessian或者limited memory的问题。
如果model是exponential family的，那么fisher scoring和直接用hessian matrix的牛顿法是等价的。

谢K大妈的干货。
其实因为mixed effect model的model assumption中random effect是有distribution的所以很自然就可以plug in到Bayesian中，因为这等于给定了random effect的prior。之后如果想研究random effect只需要研究它的posterior就可以了。

哥大的教授Gelman写的：
Data Analysis Using Regression and Multilevel/Hierarchical Models

这本书介绍的很详细