% $Header: /cvsroot/latex-beamer/latex-beamer/examples/beamerexample4.tex,v 1.4 2004/10/07 20:53:07 tantau Exp $

\documentclass[envcountsect,cjk]{beamer}
%\setbeamertemplate{theorems}[numbered]
% Copyright 2003 by Till Tantau <tantau@users.sourceforge.net>.
%
% This program can be redistributed and/or modified under the terms
% of the LaTeX Project Public License Distributed from CTAN
% archives in directory macros/latex/base/lppl.txt.
%
% Many thanks to Huang Yushuo for helping me with this file
% (I don't speak Chinese...)
%\setbeamercovered{dynamic}
\setbeamercovered{transparent}
%\usepackage{times}
%\usepackage{mathtime}
\usepackage{graphicx}
\usepackage{Picins}
\usepackage{indentfirst}
\usepackage{amsmath,amssymb,amsfonts,amsthm}
\usepackage{multirow}
\usepackage{textcomp}

\usepackage{mathrsfs}
\usepackage{latexsym}
\usepackage{makeidx}% 制作索引
\usepackage{accents}
\usepackage{slashbox}
\usepackage{picinpar}
%\makeindex
\usepackage{undertilde}
\usepackage{bm}

%\TagsOnRight
%\usepackage{textcomp}
\setlength{\abovedisplayskip}{2pt plus1pt minus1pt}     %公式前的距离
\setlength{\belowdisplayskip}{2pt plus1pt minus1pt}     %公式后面的距离
\setlength{\arraycolsep}{2pt}   %在一个array中列之间的空白长度, 因为原来的太宽了
\allowdisplaybreaks[4]  % \eqnarray如果很长, 影响分栏、换行和分页
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\renewcommand{\theequation}{\thesection.\arabic{equation}}
\newtheorem{remark}{Remark}
\makeatletter\@addtoreset{equation}{section}\makeatother
%\makeatletter\@addtoreset{section}{part}\makeatother
\newcommand{\D}{\scriptscriptstyle}
\setlength{\parindent}{20pt}                %Paragraph indent amounts.
\setlength{\parskip}{3pt plus1pt minus2pt}  %Vertical distance between par
\setlength{\baselineskip}{20pt plus2pt minus1pt}%Distance between lines in a par.
%\usepackage{graphicx}
\makeatletter
\def\widebar{\accentset{{\cc@style\underline{\mskip10mu}}}}
\def\Widebar{\accentset{{\cc@style\underline{\mskip8mu}}}}
\makeatother
\def\dl{\displaystyle}

\usepackage{CJK}


%\usetheme{Warsaw}
%\usetheme{Hannover}
%\usetheme{Darmstadt}
\usetheme{JuanLesPins}
\AtBeginSection[]{\frame{\tableofcontents[current]}}
\AtBeginPart{\frame{\partpage}}
\begin{document}
  \begin{CJK*}{GBK}{rm}

\renewcommand{\raggedright}{\leftskip=0pt \rightskip=0pt plus 0cm}


 \title[贝叶斯分析]{\bf 贝~~~~叶~~~~斯~~~~分~~~~析}
    \author{姓名：韦来生~~~张伟平}
\date[\today]{中~~国~~科~~大~~出~~版~~社 \\ \vskip 1cm
     第一版, ~2013}

    \frame{\titlepage}



\begin{frame}
  \titlepage
\end{frame}

\begin{frame}{第8章 ~经验贝叶斯方法和分层贝叶斯模型简介}
\scriptsize \tableofcontents
\end{frame}

\section{8.1 ~引言及预备知识}
\subsection{8.1.1 ~经验贝叶斯方法及其定义}


\frame{\frametitle{\bf 引言}
\begin{itemize}

\item 我们知道贝叶斯方法的一个重要先决条件是要知道先验分布，
而在实际问题中这个条件常常是不满足的. \medskip\pause

\item 这是因为我们对先验知识的积累往往没有确切到足以形成先验分布的程度.
此时若对先验分布作出与实际情况不相符合的人为假定时，
所获得的贝叶斯解的性质就会很差.\medskip\pause

\item 经验贝叶斯~(EB) 方法就是针对这一问题提出来的，它的实质是利用历史样本对先验分布或其重要数字特征作出
估计，而且随着历史资料更多的积累，这种估计会越来越精确.\medskip\pause
\end{itemize}
}

\frame{\frametitle{ \bf 引言}

\begin{itemize}
\item EB 方法最早是由~Robbins~(1956,1964) 首先提出来的.
这一方法在性质上属于经典统计~(即频率学派) 方法与贝叶斯学派统计方法
的一种折中. \medskip\pause

\item 它一方面承认先验分布的存在，并以贝叶斯原理作为衡量统计方法优良性的准则，这一点属于贝叶斯学派的范畴；
另一方面，它不主张用所谓的``主观概率”方法确定先验分布，而主张用频率学派的观点对先验分布或其重要特征作出估计，
这方面它又接近于频率学派.\medskip\pause

\item 当代杰出的统计学家~Neymann 曾对~EB
方法给予高度评价，称它是战后统计决策理论研究的一大突破. 近几十年来的
事实表明~EB 方法没有达到如~Neymann 那样评价的高度. 但实践表明~EB
方法有一些重要的应用，受到统计学界的广泛关注，它不失为二次世界大战后数理统计学发展中的一项重要工作.
\end{itemize}
}


\frame{\frametitle{\bf EB~方法的定义}
\begin{itemize}

\item 设有样本~$X$ 的分布族为~$\{f(x|\theta),~\theta\in
\Theta\},$ 此处~$\Theta$ 为参数空间. 假定~$\pi(\theta)$
为定义在参数空间~$\Theta$ 上~$\theta$ 的先验分布,
其分布函数记为~$G(\theta)$.\medskip\pause

\item $(X,\theta)$ 的联合分布为~$g(x,\theta)=f(x|\theta)\pi(\theta).$
若先验分布~$\pi(\theta)$ 已知，则~$g(x,\theta)$ 也已知.
于是问题成为： 随机向量~$(X,\theta)$ 的联合分布已知，但
只观测到了~$X,$ 要推断~$\theta;$ 若先验分布~$\pi(\theta)$
未知，则联合分布~$g(x,\theta)$ 也未知. 这时，
从贝叶斯统计学的观点看由~$X$ 推断~$\theta$
的问题无法解决.\medskip\pause

\item 因此，Robbins 要求上述问题在过去一段时间中曾反复多次遇到过，积累了一些数据.

\end{itemize}
}

\frame{\frametitle{\bf EB~方法的定义}

\begin{itemize}

\item 设这个问题在过去一段时间中曾遇到过~n 次,
设第~i 次观测到~$X_i,~\theta$ 的真值为~$\theta_i,~i=1,\cdots,n.$
即~$(X_i,\theta_i),~i=1,\cdots,n$
是相互独立的随机向量对，其中~$\theta_1,\cdots,\theta_n$
是不可观测的，但假定它们具有共同的先验分布~$G(\theta);$
而~$X_1,\cdots,X_n$
是可以观测到的，假定它们是相互独立，具有共同的边缘分布\vspace{-2mm}
$$\quad
m(x)=\int_{\Theta}f(x|\theta)dG(\theta)=\int_{\Theta}f(x|\theta)\pi(\theta)d\theta.~~\quad(8.1.1)\vspace{-2mm}
$$\pause

\item 由于~$\pi(\theta)$ 未知，故~$m(x)$ 也未知，但是~$X_1,\cdots,X_n$ 作为从边缘分布~$m(x)$ 中抽取的
~i.i.d. 样本，其中包含了~$m(x)$ 的信息，可见~$m(x)$
与先验分布~$\pi(\theta)$ 有关，间接地~$X_1,\cdots,$ $X_n$
也包含~$\pi(\theta)$ 的信息.\medskip\pause

\item 这个信息可以用来构造适当的估计，使之尽可能接近真正的贝叶斯估计
~(即当~$\pi(\theta)$ 已知时的估计量). 这就是~Robbins 的思想.
定义如下：
\end{itemize}
}

\frame{\frametitle{\bf EB 方法的定义}
\begin{itemize}

\item {\bf 定义~8.1.1} ~设~$X_1,\cdots,X_n,(X,\theta)$ 相互独立，且~$X_1,\cdots,X_n,$ $X$
具有共同的边缘分布~$m(x).$ 在~(8.1.1) 中~$f(x|\theta)$ 已知,
$\pi(\theta)$ 未知，则 ~$\theta$
的任何一个形如~$\delta(X_1,\cdots,X_n;X)$
的估计，称为它的一个经验贝叶斯~(EB) 估计.\medskip\pause

\item 在上述定义中，$X$ 是由当前试验中获得的样本，因此称为“当前样本”，而~$X_1,\cdots,$
$X_n$ 称为“历史样本”.\medskip\pause

\item $\delta(X_1,\cdots,X_n;X)$ 这个形式表示，在估计~$\theta$
时，不仅利用了当前样本~$X$, 还利用了历史样本~$X_1,\cdots,X_n.$
使用历史样本的理由就是它们包含了~$\theta$
的先验分布的信息.\medskip\pause

\item 至于如何构造
~$\delta(X_1,\cdots,X_n;X)$ 则要根据具体问题的特点来处理.
上述定义是针对~$\theta$ 的估计问题而言的，对检验问题也有类似定义.
\end{itemize}
}

\subsection{8.1.2 ~EB 方法的分类及其大样本性质的定义}
\frame{\frametitle{\bf EB 方法的分类}

\begin{itemize}

\item 经验贝叶斯方法按~Morris~(1983) 可分为两大类：
一类是参数型经验贝叶斯~(记为~PEB)；
另一类是非参数型经验贝叶斯~(记为~NPEB).\medskip\pause

\item 在~PEB 方法中，通常假定先验分布的形式已知，但含有未知的超参数.
有关参数的贝叶斯估计量常常表为超参数和多余参数~(nuisance
parameter)~的函数.
利用历史样本对超参数和多余参数作出估计，从而获得~PEB
估计.\medskip\pause

\item 因此，PEB 估计也可以看作为贝叶斯两步估计.
对~PEB 估计通常研究其小样本性质，如在~MSE
准则下的优良性、稳健性和可容许性等.\medskip\pause

\end{itemize}
}

\frame{\frametitle{\bf 大样本性质的定义}
\begin{itemize}

\item 在~NPEB
方法中，通常假定先验分布的形式未知，但先验分布的某些矩存在.
在一定损失函数下，求得的贝叶斯估计量常常表为
概率密度函数及其偏导数或分布函数的泛函.
利用历史样本，采用非参数方法对概率密度函数及其偏导数或分布函数
作出估计，从而获得~NPEB~估计.\medskip\pause

\item 这类估计常研究其大样本性质, 如渐近最优性或收敛速度等.\medskip\pause

\item {\bf 定义~8.1.2} ~设损失函数为~$L(d,\theta),$ 在此损失下~$\theta$ 的贝叶斯
决策函数~$\delta_G(x)$ 的贝叶斯风险为\vspace{-1mm}
$$
R_G=E_{(X,\theta)}[L(\delta_G(X),\theta)],\vspace{-1mm}
$$
此处~$G=G(\theta)$ 为先验分布函数, 而~$E_{(X,\theta)}$
表示关于~$(X,\theta)$ 的联合分布求均值.
\end{itemize}
}

\frame{\frametitle{\bf 大样本性质的定义}

\begin{itemize}

\item {\bf 定义~8.1.3} ~设历史样本~$X_1,\cdots,X_n$ 和当前样本~$X$ 是~$i.i.d.$ 的，NPEB
决策函数为~$\delta_n(x)=\delta_n(X_1...X_n;x),$
其全面贝叶斯风险为\vspace{-2mm}
\begin{eqnarray*}
 R_n\!\!\!\!&&=E_{(X_1...X_n,(X,\theta))}[L(\delta_n(X_1,...X_n;X),\theta)]\\
 &&=E_{(X,\theta)}\Big\{E_{(X_1,...X_n)}\big[L\big(\delta_n(X_1,...X_n;X),\theta\big)\big|
X,\theta\big]\Big\},
\end{eqnarray*}\\\vspace{-2mm}
此处~$E_{(X_1...X_n,(X,\theta))}$ 表示关于~$(X_1...X_n,(X,\theta))$
的联合分布求均值.\medskip\pause

\item 若~$\lim\limits_{n\rightarrow\infty}R_n=R_G,$
则称~$\delta_n$ 是~$\theta$ 的渐近最优~(记为~a.o.) 的~NPEB
决策函数.\medskip\pause

\item 若~$R_n-R_G=O(n^{-q}),~q>0$，则称~$\delta_n$ 的收敛速度的阶为~$O(n^{-q}).$
\end{itemize}
}

\subsection{8.1.3 ~分层贝叶斯模型}
\frame{\frametitle{\bf 分层贝叶斯模型}
\begin{itemize}

\item 分层贝叶斯分析是经验贝叶斯方法的一种替代方法，在贝叶斯统计学中有广泛的应用.\medskip\pause

\item 此方法假定第一阶段先验分布中含有未知的超参数，在参数型经验贝叶斯~(PEB) 方法
中是用历史样本对超参数作出估计，而在分层贝叶斯分析方法中是代之以超参数有第二阶段先验.
通常选择最后一层先验为无信息先验，而第一层先验常选择为共轭先验.\medskip\pause

\item
以两阶段先验为例，设第一阶段先验为~$\pi_1(\theta|\lambda),$
其中~$\lambda\in\Lambda$ 为超参数，$\Lambda$ 为超参数空间.
在第二阶段先验中设超参数~$\lambda$
有确定的先验分布~$\pi_2(\lambda).$
若~$\bm\lambda=(\lambda_1,\lambda_2),$ 则~$\pi_2(\bm\lambda)$
表示为\vspace{-1mm}
$$
\pi_2(\bm\lambda)=\pi_{21}(\lambda_1|\lambda_2)\cdot\pi_{22}(\lambda_2).\vspace{-1mm}
$$
详细的介绍参看第~2.6 节的内容.
\end{itemize}
}


\subsection{8.1.4 ~概率密度函数的核估计方法及其大样本性质简介}

\frame{\frametitle{\bf 1. 经验分布函数的定义和性质}
\vspace{-2mm}

\begin{itemize}

\item  {\bf 定义~8.1.4} ~设~$X_{1},\cdots,X_{n}$ 为自总体~$F(x)$ 中抽取的~$\mbox{i.i.d.}$ 样本,
将其按大小排列为~$X_{(1)}\le X_{(2)}\le\cdots\le X_{(n)},$
对任意实数~$x,$ 称函数\vspace{-2mm}
$$
F_{n}(x)=\left\{ \begin{array}{cl} 0, & x\le X_{(1)}, \\
k/n, & X_{(k)}<x\le X_{(k+1)}, ~k=1,2,\cdots,n-1, \\
1, & X_{(n)}<x
\end{array} \right.\vspace{-2mm}
$$
为经验分布函数.\smallskip\pause

\item 记示性函数\vspace{-2mm}
$$I_{A}(x)=\bigg\{
\begin{array}{ll}
1, & \text{当~$x\in A$},\\ 0, & \text{其他},
\end{array}\vspace{-1mm}
$$
则经验分布函数~$F_{n}(x)$ 也可定义为\vspace{-2mm}
$$
F_{n}(x)= \frac
{1}{n}\sum\limits_{i=1}^{n}I_{[X_{i}<x]}.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf 经验分布函数的性质}

\begin{itemize}

\item 易见经验分布函数是单调、非降、左连续函数,
具有分布函数的基本性质. 它是在~$x=X_{(k)},~k=1,2, \cdots,n$
处有间断，且在每个 间断点跳跃的幅度为~$1/n$
的阶梯函数.\medskip\pause

\item 若记~$Y_{i}=I_{[X_{i}<x]},~i=1,2,\cdots,n,$ 则有
~$P(Y_i=1)=F(x),$ $P(Y_i=0)=1-F(x),$
且~$Y_{1},Y_{2},\cdots,Y_{n},~\!\mbox{i.i.d.}~\!\sim B(1,F(x)),$
故~$nF_{n}(x)=\sum\limits_{i=1}^{n}Y_{i}\sim B(n,F(x)),$
因此有\vspace{-3mm}
$$P\bigg(F_{n}(x)=\frac{k}{n}\bigg)=P\bigg(\sum\limits_{i=1}^{n}Y_{i}=k\bigg)={n
\choose k}[F(x)]^k[1-F(x)]^{n-k}.$$

\end{itemize}
}

\frame{\frametitle{\bf 经验分布函数的大样本性质}

利用二项分布的性质可知~$F_{n}(x)$ 具有下列大样本性质:
\begin{itemize}

\item 渐近正态性：由中心极限定理, 则当~$n\rightarrow \infty$ 时有\vspace{-1mm}
$$\displaystyle \frac {\sqrt{n}(F_{n}(x)-F(x))}{\sqrt{F(x)(1-F(x))}}\xrightarrow
{\ \ \mathscr{L}\ \ }N(0,1).\vspace{-3mm}
$$\pause

\item 强收敛性：由~Borel 强大数定律, 则在~$n\rightarrow \infty$ 时有\vspace{-1mm}
$$P(\lim_{n\rightarrow\infty}F_{n}(x)=F(x))=1\vspace{-5mm}
$$\pause

\item 格里汶科定理: ~设~$F_{n}(x)$ 为分布函数~$F(x)$ 的经验分布函数，
记~$D_{n}=\sup\limits_{-\infty<x<\infty}|F_{n}(x)-F(x)|,$
则有\vspace{-3mm}
$$P(\lim_{n\rightarrow\infty}D_{n}=0)=1.$$
\end{itemize}
}

\frame{\frametitle{\bf 2.
~概率密度函数及其导数的核估计}
\vspace{-2mm}

\begin{itemize}

\item 首先介绍密度函数的一种“自然”估计, 然后将其与密度函数核估计
建立联系, 以便读者更好地理解核估计方法的思想.\medskip\pause

\item 设随机变量~$X$ 的分布函数和密度函数分别为~$F(x)$ 和~$f(x).$
若~$f(x)$ 连续，则\vspace{-2mm}
$$f(x)=\lim_{h\rightarrow 0}\frac{F(x+h)-F(x-h)}{2h}.\vspace{-3mm}
$$\pause

\item 当~$h=h_n$ 充分小时近似有\vspace{-1mm}
$$f(x)\thickapprox \frac{F(x+h)-F(x-h)}{2h},\vspace{-4mm}
$$\medskip\pause

\item 将其中~$F(\cdot)$ 用经验分布函数~$F_n(\cdot)$ 代替就得到\vspace{-1mm}
$$
f_n(x)=\frac{F_n(x+h_n)-F_n(x-h_n)}{2h_n},\vspace{-1mm}
$$
则~$f_n(x)$ 就称为~f(x) 的一个“自然”估计.
\end{itemize}
}


\frame{\frametitle{\bf 核估计与其“自然”估计的关系}
\begin{itemize}

\item 令\vspace{-2mm}
\begin{eqnarray*}
K(x)=\bigg\{\begin{array}{cc} 1/2, &\mbox{若}~x\in
(-1,1]\\
0, &\mbox{其它}
\end{array}
=\frac{1}{2}~\!I_{~\![-1<x\leq 1]},
\end {eqnarray*}\\\vspace{-2mm}
为一核函数，此处~$I_{A}$ 为示性函数.\medskip\pause

\item $f(x)$ 的核估计与其“自然”估计的联系如下：\vspace{-2mm}
\begin{eqnarray*}
f_n(x)\!\!\!\!&&=\frac{F_n(x+h_n)-F_n(x-h_n)}{2h_n}\\
&&=\frac{1}{nh_n}\sum_{i=1}^{n}\frac{1}{2} \Big\{I_{[X_i<
x+h_n]}-I_{[X_i<
x-h_n]}\Big\}\\
&&=\frac{1}{nh_n}\sum_{i=1}^{n}\frac{1}{2}\Big\{I_{[-1<
\frac{x-X_i}{h_n}\leq
1]}\Big\}=\frac{1}{nh_n}\sum_{i=1}^{n}K\bigg(\frac{x-X_i}{h_n}\bigg).
\end {eqnarray*}\\\vspace{-2mm}
此处~$K(\cdot)$ 为核函数. 将上述思想加以推广得到如下定义.
\end{itemize}
}

\frame{\frametitle{\bf 概率密度函数核估计的定义}

\begin{itemize}

\item {\bf 定义~8.1.5} ~概率密度函数~$f(x)$ 的下述估计量\vspace{-2mm}
$$
f_n(x)=\frac{1}{nh_n}\sum_{i=1}^{n}K\bigg(\frac{x-\mathbf{X}_i}{h_n}\bigg)\vspace{-2mm}
$$
称为核估计, 此处~$0< h_n \rightarrow 0,$
当~$n\rightarrow\infty,$ 而 ~$K(\cdot)$
通常是一个适当的概率密度函数.\medskip\pause

\item 设~$K(\cdot)$ 为定义于~$\mathbb{R}^1$ 上的密度函数，通常假定它满足下列条件：

\quad (1) $\sup\limits_{x\in R}~\!\{ K(x)\}\leq M<\infty,\quad
\lim\limits_{|x|\rightarrow\infty}|x|K(x)=0.$

\quad (2) ~$K(x)=K(-x),~x\in \mathbb{R}^1,$
%即~$K(x)$对称，
~且 $\dl\int_{-\infty}^{\infty} x^2K(x)dx<\infty.$

\quad (3) ~$\hat{K}(u)$ 是绝对可积的，$\hat{K}(u)$ 为~$K(\cdot)$
的特征函数.
\end{itemize}
}

\frame{\frametitle{\bf 核函数的例子}

 \noindent 适合条件(1)-(3)的~$K(\cdot)$ 有下列几个例子：\medskip\pause

\begin{itemize}

\item $ (i)~~~K_1(x)=\left\{\begin{array}{cc} 1/2,
&\mbox{若~~}|x|\leq 1,
\\0, &\mbox{若~~}|x|> 1;\end{array}\right.$\medskip\pause

\item $(ii)~~K_2(x)=\left\{\begin{array}{ll} 1-|x|,
&\mbox{若~~}|x|\leq 1,
\\0, &\mbox{若~~}|x|> 1;\end{array}\right.$\medskip\pause

\item $ (iii)~K_3(x)=(2\pi)^{-1/2}\exp\{-x^2/2\},~x\in R,$
这是标准正态分布的密度；
\end{itemize}
}

\frame{\frametitle{\bf 核函数的例子}
\begin{itemize}

\item $(iv)~~K_4(x)=[\pi(1+x^2)]^{-1},~x\in R,$
这是柯西分布~$C(0,1)$ 的密度；\medskip\pause

\item $
(v)~~~K_5(x)=\left\{\begin{array}{ll}\frac{1}{2\pi}\big[\frac{\sin(x/2)}{x/2}\big]^2,
&\mbox{若~~}x\neq 0,
\\ \frac{1}{2\pi}, &\mbox{若~~}x=0;\end{array}\right.$\medskip\pause

\item $
(vi)~~K_6(x)=\left\{\begin{array}{ll}\frac{3}{4}\lambda^{-3}(\lambda^2-x^2),
&\mbox{若~~}x^2\leq \lambda^2,
\\ 0 &\mbox{若~~}x^2>\lambda^2,~\lambda>0.\end{array}\right.$
\end{itemize}
}

\frame{\frametitle{\bf  密度函数的导函数的核估计}

\begin{itemize}

\item 求概率密度函数~$f(x)$ 的~$p$ 阶导函数核估计的最简单的方法,
就是将~$f(x)$ 的核估计~$f_n(x)$ 对~$x$ 求~$p~(p=1,2,\cdots)$
阶导数就得到相应的核估计，即令\vspace{-2mm}
$$f_n(x)=\frac{1}{nh_n}\sum_{i=1}^{n}K\bigg(\frac{x-X_i}{h_n}\bigg)\vspace{-2mm}
$$
为$f(x)$的核估计.\medskip\pause

\item 对~$f_n(x)$ 关于~$x$ 求~$p$ 阶导数得\vspace{-2mm}
$$f_n^{(p)}(x)=\frac{1}{nh_n^{1+p}}\sum_{i=1}^{n}K^{(p)}\bigg(\frac{x-X_i}{h_n}\bigg),\vspace{-2mm}
$$
其中~$K^{(p)}(\cdot)$ 为核函数~$K(\cdot)$ 的~$p$
阶导数，将~$K^{(p)}(\cdot)$ 看成新的核函数并记为
~$K_p(\cdot),~p=1,2,\cdots,$ 可见密度函数的导函数~$f^{(p)}(x)$
的核估计与密度函数~$f(x)$ 的核估计的定义无本质的差别. 现定义如下：
\end{itemize}
}

\frame{\frametitle{\bf 密度函数的导函数的核估计}
\begin{itemize}

\item {\bf 定义~8.1.6} ~设~$K_j(\cdot)~(j=0,1,2,\cdots)$ 为一列核函数，则称\vspace{-2mm}
$$
f_n^{(j)}(x)=\frac{1}{nh_n^{1+j}}\sum_{i=1}^{n}K_j\bigg(\frac{x-{X}_i}{h_n}\bigg),\qquad
j=0,1,\cdots\vspace{-2mm}
$$
为~$f^{(j)}(x)$ 的核估计. 此处~$0< h_n \rightarrow 0,$
当~$n\rightarrow\infty.$\medskip\pause

\item 特别当~$j=0$ 时~$f^{(0)}(x)=f(x),~f_n^{(0)}(x)=f_n(x),$ 即\vspace{-2mm}
$$f_n(x)=\frac{1}{nh_n}\sum_{i=1}^{n}K_0\bigg(\frac{x-X_i}{h_n}\bigg)\vspace{-2mm}
$$
为~$f(x)$ 的核估计.
也就是说概率密度函数及其导函数的核估计的表达式可统一在上述
的一个表达式中给出.
\end{itemize}
}

\frame{\frametitle{\bf 3. ~概率密度函数大样本性质的定义}

%\noindent我们将给出比较不同估计量的大样本性质的优良性准则.\medskip\pause

\noindent{\bf 定义~8.1.7} ~设~$\mathscr{F}$ 为一元概率密度族,
~$X_1,\cdots,X_n,\cdots$ 为从~$\mathscr{F}$ 抽取的~$i.i.d.$
随机变量序列，它们具有共同的密度函数~$f(x),$ 令~$f_n(x)$
为密度函数~f(x) 的核估计. 若对样本空间~$\mathscr{X}$ 中的每一个~$x$
和一切~$f\in\mathscr{F}$ 有\medskip\pause

(1)~~$\lim\limits_{n\rightarrow\infty}E[f_n(x)]=f(x),$ 则称~$f_n(x)$
为~$f(x)$ 的渐近无偏估计.\smallskip\pause

(2)~~$\lim\limits_{n\rightarrow\infty}E[f_n(x)-f(x)]^2=0,$
则称~$f_n(x)$ 为~$f(x)$ 的均方相合估计.\smallskip\pause

(3)~~当~$n\rightarrow\infty$ 时, 若~$f_n(x)\xrightarrow {P} f(x),$
则称~$f_n(x)$ 为~$f(x)$ 的弱相合估计.\smallskip\pause

(4)~~当~$n\rightarrow\infty$ 时, 若~$f_n(x)\xrightarrow{a.s.} f(x),$
则称$f_n(x)$为f(x)的强相合估计. }

\frame{\frametitle{\bf 概率密度函数的大样本性质}

\noindent 下面我们仅给出概率密度函数核估计的大样本性质，
有关这些结果的证明可在陈和柴~(1993) 和~Parzen~(1962) 中找到，
\begin{itemize}

\item 设核函数~$K(\cdot)$满足下列条件 (I)：\medskip

~~~~(a) ~$K(\cdot)$ 有界；\smallskip\pause

~~~~(b) ~$\int_{-\infty}^{\infty}|K(u)|du<\infty;$\smallskip\pause

~~~~(c) ~$|u||K(u)|\rightarrow 0$,~当~$|u|\rightarrow
\infty;$\medskip\pause

\item 关于~$f_n(x)$ 的渐近无偏性有下列结果：\medskip

{\bf 定理~8.1.1} ~若~$K(\cdot)$ 满足条件~(I) 中的~(a)-(b),
且~$f(\cdot)$ 在~$x$ 处连续，$\lim\limits_{n\rightarrow\infty}
h_n=0,$ 则有\vspace{-2mm}
$$\lim\limits_{n\rightarrow\infty}E[f_n(x)]=f(x).\vspace{-2mm}
$$
又若~$f(x)$ 一致连续，则上述结果关于~$x$ 一致成立.
\end{itemize}
}

\frame{\frametitle{\bf 大样本性质}
\begin{itemize}

\item 关于~$f_n(x)$ 的均方相合性和弱相合性有下列结果：\medskip

{\bf 定理~8.1.2} ~若~$K(\cdot)$ 满足条件~(I) 中的~(a)-(c),
$f(\cdot)$ 在~$x$ 处连续，$\lim\limits_{n\rightarrow\infty} h_n=0$
且~$\lim\limits_{n\rightarrow\infty} nh_n=\infty,$ 则有

~~~~(1) ~$E|f_n(x)-f(x)|^2\rightarrow 0,$~当$n\rightarrow\infty.$

~~~~(2) ~$f_n(x)\xrightarrow{P}
f(x),$~当$n\rightarrow\infty.$\medskip\pause

\item 关于~$f_n(x)$ 的强相合性有下列结果：\medskip

{\bf 定理~8.1.3} ~若~$K(\cdot)$ 满足条件~(I) 中的~(a)-(c),
$f(\cdot)$ 在~$x$ 连续，则有\vspace{-2mm}
$$f_n(x)\xrightarrow{a.s.} f(x),~~\mbox{当}~n\rightarrow\infty.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf 大样本性质}
\begin{itemize}

\item 关于~$f_n(x)$ 的渐近正态性有下列结果：\medskip

{\bf 定理~8.1.4} ~若~$K(\cdot)$ 适合条件~(I) 中的~(a)-(c), $0\leq
h_n\rightarrow 0$ 且~$nh_n\rightarrow\infty,$
当~$n\rightarrow\infty,$ 则有\vspace{-2mm}
$$\frac{f_n(x)-E[f_n(x)]}{\sqrt{Var(f_n(x))}}\xrightarrow{\mathscr{L}}
N(0,1),~~\mbox{当}~n\rightarrow\infty.\vspace{-2mm}
$$\pause

\item 还有其它一些大样本性质，不一一列举了.
\end{itemize}
}

\subsection{8.1.5 ~内容结构安排}
\frame{\frametitle{\bf 内容结构安排}

本章后面主要内容如下：
\begin{itemize}

\item
第二节以指数分布为例，介绍参数型经验贝叶斯（PEB）估计方法及其小样本性质.\medskip\pause

\item 第三节以刻度指数族为例，介绍非参数经验贝叶斯估计和检验的方法及其大样本性质.\medskip\pause

\item 第四节介绍分层贝叶斯模型及其特点，这是经验贝叶斯方法的一种替代方法.
\end{itemize}
}


\section{8.2 ~参数型经验贝叶斯~(PEB) 方法简介}

\subsection{8.2.1 ~指数分布刻度参数的贝叶斯估计及其优良性}

\frame{\frametitle{\bf 贝叶斯估计的推导}
\begin{itemize}

\item 本节我们将以指数分布为例，研究指数分布刻度参数的贝叶斯估计和~PEB
估计及其小样本性质\medskip\pause

\item 设随机变量~$X$ 的概率分布为指数分布，其密度函数为\vspace{-1mm}
$$\qquad\qquad\qquad
g_{\D \lambda}(x)= \lambda^{-1}e^{-x/ \lambda},~~x>0. \hspace{2.0cm}
(8.2.1)\vspace{-1mm}
$$
这个分布中刻度参数~$\lambda$~即为平均寿命.
\medskip\pause

\item 设~$X_1,X_2,\cdots ,X_m$~为从分布
~(8.2.1)~中抽取的~i.i.d.~的样本，
若仅观测到样本中前~$r$~个观测值：$X_{(1)}\leq X_{(2)}\leq \cdots
\leq X_{(r)},$ $1\le r \leq m$. 易知
~$T=\sum\limits_{i=1}^rX_{(i)}+(m-r)X_{(r)}$~是
~$\lambda$~的充分统计量，且~$2T/ \lambda \sim \chi _{2r}^2.$~
所以~$T$~的密度函数为\vspace{-1mm}
$$\qquad\quad
f(t|\lambda)=\frac{\lambda^{-r}}{\Gamma(r)}t^{r-1}e^{-t/
\lambda}I_{(0,\infty)}(t),\hspace{2cm} (8.2.2)
$$
此处~$r \ge 1,~\lambda>0.$

\end{itemize}
}

\frame{\frametitle{\bf 贝叶斯估计推导}

\begin{itemize}

\item 由~(8.2.2) 知~$E[T|\lambda]=r\lambda,$ 故~$T/r$ 是
~$\lambda$~的一个无偏估计，又~$T/r$
是充分完全统计量，由~Lehmann-Scheffe 定理可
知~$\lambda$~的一致最小方差无偏估计~(UMVUE)~是\vspace{-2mm}
$$\hspace{3,5cm}
\hat{\lambda}_{U}=\frac{T}{r}.\hspace{3.5cm}~~(8.2.3)\vspace{-2mm}
$$
易见~$\hat{\lambda}_{U}$~也是~$\lambda$~的极大似然估计~(MLE)~和矩估计.\medskip\pause

\item 令~$\lambda$~的
先验分布为共轭先验分布，即逆伽玛分布~$\Gamma^{-1}(\beta,\tau),$
其密度函数为\vspace{-2mm}
$$
\pi(\lambda)=\frac{\tau^{\beta}}{\Gamma(\beta)}\lambda^{-(\beta+1)}
e^{-\tau/\lambda}I_{[\lambda>0]},\vspace{-2mm}
$$
其中~$\beta,~\tau$~为超参数.\medskip\pause

\item $\lambda$~的后验密度为\vspace{-2mm}
$$
\pi(\lambda|t)=\frac{(t+\tau)^{r+\beta}}{\Gamma(r+\beta)}\lambda^{-(r+\beta+1)}e^{-(t+\tau)/\lambda},
\quad \lambda>0,\vspace{-2mm}
$$
即~$\lambda|t\sim\Gamma^{-1}(r+\beta,t+\tau).$
\end{itemize}
}

\frame{\frametitle{\bf 贝叶斯估计及其优良性}

\begin{itemize}

\item 取如下的加权平方损失函数\vspace{-2mm}
$$ L(d,\lambda)=w(\lambda)(\lambda-d)^{2}=(\lambda-d)^2\big/\lambda^2,
~~w(\lambda)=1/\lambda^2.\vspace{-2mm}
$$\pause
易知, 在此损失函数下~$\lambda$~的 贝叶斯估计为\vspace{-2mm}
$$\qquad
\hat{\lambda}_{B}=\frac{\textsl{E}[\lambda w(\lambda)|t]}
{\textsl{E}[w(\lambda)|t]}=\frac{\textsl{E}\big[\lambda^{-1}\big|t\big]}
{\textsl{E}\big[\lambda^{-2}\big|t\big]}
=\frac{T+\tau}{r+\beta+1},\quad (8.2.4)\vspace{-4mm}
$$\pause

\item 在~MSE 准则下，
$\lambda$ 的贝叶斯估计相对于~UMVUE 的优良性有如下结果:\medskip\pause

{\bf 定理~8.2.1} ~设~$\lambda$ 的~UMVUE~和贝叶斯 估计分别由~(8.2.3)
和~(8.2.4) 式给出，则当~$\beta>5$ 时有\vspace{-2mm}
$$
MSE(\hat{\lambda}_U)-MSE(\hat{\lambda}_{B})>0,\vspace{-2mm}
$$
即在~MSE 准则下~$\lambda$~的 贝叶斯估计优于~UMVUE.
\end{itemize}
}

\subsection{8.2.2 ~指数分布刻度参数的~PEB 估计的构造及其优良性}

\frame{\frametitle{\bf 1. ~当部分超参数未知时~$\lambda$ 的~PEBE
及其优良性}
\begin{itemize}

\item 在~$\lambda$ 的贝叶斯估计
~(8.2.4) 中当部分或全部超参数未知时，贝叶斯估计不可用.
需要利用历史样本对未知的超参数作出估计，
用得到的估计量去代替~(8.2.4) 中相应的超参数从而获得参数型经验贝叶斯
估计~(PEBE).\medskip\pause

\item 通常在~EB 问题的结构中，设 ~$(T_1,\lambda_1),(T_2,\lambda_2),\cdots,(T_n,\lambda_n),$ $(T,\lambda)
=(T_{n+1},\lambda_{n+1})$ 为相互独立
的随机向量对子，其中参数~$\lambda_1,\lambda_2,\cdots,\lambda_n$
和~$\lambda=\lambda_{n+1}$ 是不可观察的，假定~$\lambda_1,\lambda_2,$
$\cdots,\lambda_n$ 和~$\lambda=\lambda_{n+1}$
具有共同的先验分布~$\Gamma^{-1}(\beta,\tau).$ $T_1,T_2,$
$\cdots,T_n$
和~$T=T_{n+1}$~是可以观察的，它们具有共同的边缘分布.\medskip\pause

\item 当超参数~$\beta$~已知，而~$\tau$~未知时，为获得~$\lambda$~的
~PEB 估计，就需要利用历史样本对~$\tau$~进行估计，
我们使用的是矩估计方法. 由于~$E(T|\lambda)=r\lambda,$~
再由~$E(\lambda)=\tau/(\beta-1)$~可得\vspace{-1mm}
$$\qquad
E(T)=E[\textsl{E}(T|\lambda)]=\textsl{E}(r\lambda)
=\frac{r\tau}{\beta-1}. \hspace{1.5cm}(8.2.5)
$$
\end{itemize}
}

\frame{\frametitle{\bf PEBE~的构造及优良性}
\begin{itemize}

\item 用~$\widebar
T=\sum\limits_{i=1}^{n}T_{i}\big/n$ 代替上~$\textsl{E}(T),$
解~$\widebar{T}= r\tau/(\beta-1)$ 得到~$\tau$
的矩估计量\vspace{-2mm}
$$\qquad\qquad\qquad\qquad
\hat\tau_{n}=\frac{(\beta-1)\widebar{T}}{r}.\hspace{3.2cm}(8.2.6)\vspace{-4mm}
$$\pause

\item 将~$\lambda$ 的贝叶斯估计~(8.2.4) 中的~$\tau$
用~$\hat\tau_{n}$ 代替，得到~$\lambda$ 的~PEBE \vspace{-2mm}
$$\qquad\qquad\qquad\qquad
\hat\lambda_{EB}=\frac{T+\hat\tau_{n}}{r+\beta+1},
\hspace{2.8cm}(8.2.7) \vspace{-4mm}
$$\pause

\item 在~MSE 准则下, $\lambda$~的~PEBE 相对于~UMVUE 的优良性有\medskip\pause

{\bf 定理~8.2.2} ~设~$\lambda$~的~PEB 估计~$\hat\lambda_{EB}$~和
~UMVUE $\hat\lambda_{U}$ 分别由式~(8.2.7) 和式~(8.2.3) 给出，
当~$\beta>5,~n+1>2r/5$~时, 有\vspace{-2mm}
$$MSE(\hat\lambda_{U})-MSE(\hat\lambda_{EB})>0,\vspace{-2mm}
$$
即在~MSE 准则下~$\lambda$~的~PEB 估计优于~UMVUE.
\end{itemize}
}


\frame{\frametitle{ \bf 2. 当所有超参数未知时~$\lambda$ 的~PEBE
及其性质}
\begin{itemize}

\item 当超参数~$\beta$~和~$\tau$~皆未知的情形时，
需要利用历史样本导出~$\beta$~和~$\tau$~的估计量，用它们代替式~(8.2.4)~中
的~$\beta$~和~$\tau,$ 从而获得~$\lambda$~的~PEB
估计.\smallskip\pause

\item 我们采用矩估计方法，首先从~$T$ 的边缘分布出发，
计算~$T$ 的均值和方差. $T$ 的均值由式~(8.2.5) 给出, $T$
的方差为\vspace{-2mm}
$$
Var(T)=\textsl{E}(T^{2})-[\textsl{E}(T)]^{2}
=\frac{r(1+r)\tau^{2}}{(\beta-1)(\beta-2)}-\frac{r^{2}\tau^{2}}{(\beta-1)^{2}}.\vspace{-4mm}
$$\pause

\item 用历史样本的样本方差~$S^{2}=\sum\limits_{i=1}^{n}(T_{i}-\widebar
{T})^2\big/(n-1)$~代替上式中的~$Var(T),$
用历史样本的样本均值~$\widebar
{T}=\sum\limits_{i=1}^nT_i\big/n$~代替式~(8.2.5)~中的~$\textsl{E}(T),$~然后解联立方程组
得\vspace{-2mm}
$$\qquad
\tilde{\beta}_{n}=\frac{2rS^{2}+(r-1)\widebar{T}^{2}}{rS^{2}-\widebar{
T}^{2}}, \qquad \tilde{\tau}_{n}=\frac{\widebar{T}^{3}+\widebar{T}
S^{2}}{rS^{2}-\widebar{T}^{2}}. ~~~~(8.2.8)\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf PEBE 及其优良性的模拟结果}

\begin{itemize}

\item 将~$\lambda$ 的贝叶斯估计~(8.2.4)~中的~$\beta$~和~$\tau$~分别用式上式中的~$\tilde{\beta}_{n}$~和
~$\tilde{\tau}_{n}$~代替, 得到~$\lambda$~的~PEBE 为\vspace{-2mm}
$$\quad
\tilde\lambda_{EB}=\frac{T+\tilde{\tau}_{n}}{r+\tilde{\beta}_{n}+1}=\frac{rTS^{2}-T\bar
T^{2}+\bar T^{3}+\bar T S^{2}}{r^{2}S^{2}-2\bar
T^{2}+3rS^{2}}.\quad(8.2.9)\vspace{-4mm}
$$\pause

\item 由于此时~$\lambda$~的~PEBE 比较复杂，
它在~MSE 准则下相对于~UMVUE 的优良性的理论结果很难获得.
我们采用模拟的方法比较~$\lambda$~的~PEBE~$\tilde\lambda_{EB}$~与
~UMVUE~$\hat\lambda_{U}$~的优良性.\medskip\pause

\item 我们的方法是对于每次模拟，让~$r,~\tau,~\beta,~n$ 这~4 个数中的一个发生变化，
其它固定不变. 模拟结果显示历史样本的个数对于两者~MSE\!
的影响都不大，由式~(8.2.9) 给出的~PEBE 皆优于~UMVUE.\!
模拟结果图及其详细结论见李和韦~(2011).
\end{itemize}
}

\frame{\frametitle{\bf PEBE 及其优良性的模拟结果} \vspace{-6mm}

\begin{figure}[!hbp]\vspace{-2mm}
\begin{center}
\includegraphics[width=11cm]{MSE.jpg}\vspace{-1mm}
%\caption
\centerline{\bf\it 图~8.2.1 ~$\lambda$~的~UMVUE~(实线)
和~PEB~(虚线)的~MSE~比较}\label{f1}
\end{center}
\end{figure}
}

\frame{\frametitle{\bf PEBE 及其优良性的模拟结果}

\begin{itemize}

\item$(1)$~~历史样本的个数对于两者的影响都不大，PEB 估计一直优于~UMVUE；
\medskip\pause


\item$(2)$ ~$r$~较小时，PEB 估计优于~UMVUE，但当~$r$~较大时，PEB 估计
的优越性降低，UMVUE
的优越性升高，且最后它们将趋于一样；\medskip\pause

\item$(3)$ ~$\beta$~较小时，PEB 估计优于~UMVUE，但是随着~$\beta$~的
增加，两者的~MSE 都迅速地降低并趋于一样；\medskip\pause

\item$(4)$ ~对所有的~$\tau,$~PEB 估计一直优于~UMVUE.
随着~$\tau$~的增加，两者的~MSE 都迅速地发散变大, 但~PEB 估计仍优于
~UMVUE.

\end{itemize}
}


\subsection{8.2.3 ~指数分布刻度参数的~PEB 区间估计}
\frame{\frametitle{\bf PEB 区间估计}
\begin{itemize}

\item 在经典统计方法中，由于~$2T/\lambda\sim\chi_{2r}^{2}$,~
所以可得~$\lambda$~的置信系数为~$1-\alpha$~的置信区间为\vspace{-2mm}
$$\qquad\qquad\quad
\bigg[\frac{2T}{\chi_{2r}^{2}(\alpha/2)},\frac{2T}{\chi_{2r}^{2}(1-\alpha/2)}\bigg]\!~.
\hspace{2cm}(8.2.10)\vspace{-2mm}
$$\pause

\item 在贝叶斯方法中，由于~$\lambda|T\sim\Gamma^{-1}(r+\beta,t+\tau)$,
可得~$\lambda$~的可信系数为~$1-\alpha$~
的贝叶斯可信区间为\vspace{-2mm}
$$\qquad\qquad\quad
\bigg[\frac{2(T+\tau)}{\chi_{2(r+\beta)}^{2}(\alpha/2)},\frac{2(T+\tau)}
{\chi_{2(r+\beta)}^{2}(1-\alpha/2)}\bigg]\!~.\hspace{1cm}(8.2.11)\vspace{-2mm}
$$\pause

\item 当~$\beta$~已知而~$\tau$~未知的情形下，用式~(8.2.6)~中的~$\hat\tau_n$~替换上式中的~$\tau$~
即可得到~$\lambda$~的可信系数为~$1-\alpha$~的~PEB
可信区间\vspace{-2mm}
$$\qquad\qquad\quad
\bigg[\frac{2(T+\hat{\tau}_n)}{\chi_{2(r+\beta)}^{2}(\alpha/2)},\frac{2(T+\hat{\tau}_n)}
{\chi_{2(r+\beta)}^{2}(1-\alpha/2)}\bigg]\!~.\hspace{1cm}(8.2.12)\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf PEB 区间估计及其优良性}

\begin{itemize}

\item 当~$\beta$ 和~$\tau$ 皆未知的情形下，用式~(8.2.8) 中的~$\tilde{\tau}_n$ 和~$\tilde{\beta}_n$
分别替换式~(8.2.11) 中的~$\tau$ 和~$\beta,$ 得到~$\lambda$
的可信系数近似为~$1-\alpha$ 的一个~PEB 可信区间\vspace{-2mm}
$$\qquad\qquad
\bigg[\frac{2(T+\tilde{\tau}_n)}{\chi_{2(r+\tilde{\beta}_n)}^{2}(\alpha/2)},
\frac{2(T+\tilde{\tau}_n)}
{\chi_{2(r+\tilde{\beta}_n)}^{2}(1-\alpha/2)}\bigg]\!~.\hspace{0.5cm}(8.2.13)\vspace{-2mm}
$$\pause

\item 由于两个区间估计的可靠度可以认为是近似相同的，所以比较不同区间的优良性就是要比较区间的精度，
也就是要比较区间的长度. 区间的长度越短，则区间估计越优. 表
~\ref{b1}~和表
~\ref{b2}~分别为~$\beta$~已知而~$\tau$~未知情形，和~$\beta$~与~$\tau$~皆未知情形时的
~PEB 区间估计的模拟结果~(表中的数字表示
经典统计方法的置信区间长度减去~PEB 可信区间的长度的值).
%模拟结果显示，一般情况下，参数的 ~PEB
%的置信区间要优于经典统计方法得到的置信区间.
%而且，历史样本的个数~$n$~对区间估计的影响不是很大，对区间估计的主要影响在于
%~$r$ 和~$\beta$ 的选取. 详细的模拟结果见李和韦~(2011).
\end{itemize}
}

\frame{\frametitle{\bf PEB 区间估计模拟-表1}
\begin{table}[h]\tiny
{\begin{center}
 \caption{~$\beta$~已知而~$\tau$~未知的情形}\label{b1}
\begin{tabular}{|c|c|c|c|c|c|c|c|c|c|}\hline\footnotesize
\backslashbox{}{n}&\multicolumn{3}{|c|}{50}&\multicolumn{3}{|c|}
{200}&\multicolumn{3}{|c|}{1000}\\
\cline{2-10} \backslashbox{r}{$\beta$} & 3&6&20& 3&6&20& 3&6&20\\
\hline
10&0.2165&0.0958&0.0468&0.2268&0.0918&0.0479&0.2164&0.0928&0.0468\\
\hline
50&0.0225&0.0131&0.0091&0.0213&0.0127&0.0091&0.0211&0.0135&0.0090\\
\hline
100&0.0078&0.0053&0.0039&0.0076&0.0050&0.0040&0.0078&0.0050&0.0040\\
\hline
200&0.0028&0.0018&0.0015&0.0028&0.0018&0.0015&0.0027&0.0019&0.0015\\
\hline
500&0.0006&0.0004&0.0004&0.0006&0.0004&0.0004&0.0007&0.0005&0.0004\\
\hline
\end{tabular}
\end{center}}
\end{table}

}


\frame{\frametitle{\bf PEB 区间估计模拟结果-表2}
\begin{table}
{\begin{center} \caption{~$\beta$~和~$\tau$~皆未知的情形}\label{b2}
\begin{tabular*}{0.87\textwidth}{|c|@{\extracolsep\fill}c|c|c|c|c|}\hline
\backslashbox{r}{n}&50&100&200&500&1000 \\ \hline
10&0.2312&0.2347&0.2266& 0.2229& 0.2319 \\ \hline
50&0.0227&0.0216&0.0225&0.0218& 0.0202 \\ \hline 100&0.0086& 0.0077&
0.0081& 0.0078& 0.0073 \\ \hline 200&0.0030& 0.0028& 0.0028&
0.0030&0.0027 \\ \hline 500&0.0007& 0.0007& 0.0007& 0.0006& 0.0007
\\ \hline
\end{tabular*}
\end{center} }
\end{table}
}

\frame{\frametitle{\bf PEB 区间估计模拟结果的解释}
\begin{itemize}

\item 从模拟结果可以看出，一般情况下，参数的
~PEB 的置信区间要优于经典统计方法得到的置信区间. \medskip\pause

\item 历史样本的个数~$n$~对区间估计的影响不是很大，对区间估计的主要影响在于
~$r$~和~$\beta$~的选取. \medskip\pause

\item 在~$\beta$~已知而~$\tau$~未知的情形下，随着~$r$~的增加或者
~$\beta$~的增加，经典统计方法和 ~PEB
方法得到的区间估计会越来越接近；\medskip\pause

\item 在~$\beta$~与~$\tau$~皆未知的情形下，随着~$r$~的增加，经典统计方法和
~PEB 方法得到的区间估计也会越来越接近.

\end{itemize}
}


\section{8.3 ~非参数经验贝叶斯方法简介}
\subsection{8.3.1
~刻度指数族参数的~NPEB 估计及其大样本性质}



\frame{\frametitle{\bf 刻度参数贝叶斯估计的推导}

本节以刻度指数族为例，说明非参数经验贝叶斯方法.%\smallskip
\pause
\begin{itemize}

\item 设有下列刻度指数族\vspace{-2mm}
$$\quad
f(x|\theta)=u(x)c(\theta)\exp\{-x/\theta\}I_{[x>0]}=u(x)p(x|\theta),
\quad(8.3.1)\vspace{-2mm}
$$
此处~$u(x)>0$ 当~$x>0; ~\theta$ 为刻度参数，$\Theta$ 为参数空间. 而
~$p(x|\theta)=c(\theta)\exp\{-x/\theta\}I_{[x>0]}.$ \medskip\pause

\item 采用下列的加权平方损失\vspace{-2mm}
$$
L(\theta,d)=(d-\theta)^2\big/\theta^2=w(\theta)(d-\theta)^2,
~~w(\theta)=1/\theta^2,\vspace{-2mm}
$$
此处采用这种损失比较合理，在适当变换群下上述损失函数具有不变性,不随度量单位的变化而改变.\medskip\pause

\item  设~$G(\theta)$ 为~$\theta$ 的未知先验分布，易知~$r.v.~X$
的边缘密度为\vspace{-2mm}
$$ f(x)=\int_{\Theta}f(x|\theta)dG(\theta)=u(x)p(x),~~x>0. \vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf 贝叶斯估计的推导}

\begin{itemize}

\item 而\vspace{-2mm}
$$ p~\!(x)=\int_{\Theta}p(x|\theta)dG(\theta)
=\int_{\Theta}c(\theta)\exp\big\{\!-x/\theta\big\}dG(\theta),~x>0.\vspace{-4mm}
$$\pause

\item 当~$\theta\in \mathscr{F}$ 时，在加权平方损失函数下~$\theta$ 的贝叶斯解为\vspace{-2mm}
$$
\hat{\theta}_{\D BE}=\frac{E(\theta^{-1}|x)}{E(\theta^{-2}|x)}
=\frac{\int_{\Theta}\theta^{-1}p(x|\theta)dG(\theta)}{\int_{\Theta}\theta^{-2}p(x|\theta)dG(\theta)}
=\frac{-p^{ (1)}(x)}{p^{ (2)}(x)},~~(8.3.2)\vspace{-2mm}
$$
其中~$p^{ (1)}(x)$ 和~$p^{(2)}(x)$ 分别为~$p(x)$
的一阶和二阶导数，即\vspace{-2mm}
$$
p^{(i)}(x)=(-1)^i\int_{\Theta}\theta^{-i}c(\theta)\exp\{-x/\theta\}dG(\theta),~~i=1,2.\vspace{-4mm}
$$\pause

\item 于是~$\hat{\theta}_{\D BE}$ 的贝叶斯风险为\vspace{-2mm}
$$\qquad
R(G)=R(\hat{\theta}_{\D BE},~G)=E_{
(X,\theta)}\big[(\hat{\theta}_{\D
BE}-\theta)^2/{\theta^2}\big].\hspace{0.8cm}(8.3.3)\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf NPEB 估计的构造}
\begin{itemize}

\item 由于~$G(\theta)$ 未知，因此贝叶斯估计~$\hat{\theta}_{\D
BE}$ 无实用价值，导致我们去构造~$\theta$ 的非参数经验贝叶斯 ~(NPEB)
估计.\medskip\pause

\item
为构造~$\theta$ 的~NPEB 估计，令~$X_{1},X_{2},\dots,X_{n}$
为历史样本，$X$ 为当前样本.
我们首先利用历史样本给出概率密度函数及其导数的核估计.\medskip\pause

\item 为获得刻度参数~$\theta$ 的~NPEB 估计，采用如下核估计方法：
设~$K_{i}(x)~i=0,1,2$ 为有界的~Borel 可测函数, 在区间~(0,1)
外取值为零, 且对~$i=1,~2$ 满足\vspace{-2mm}
$$
 \frac{1}{j!} \int_{0}^{1} u^{j}K_{i}(u)du=\left\{
\begin{array}{ll}
1,~~~~j=i,\\
0,~~~~j \neq i,~~~~j=0,1,\cdots,s-1.
\end{array} \right.
$$
此处~$s \ge 3$ 是一给定的整数.
\end{itemize}
}

\frame{\frametitle{\bf NPEB 估计的构造}
\begin{itemize}

\item 定义~$f(x),~p^{\D (1)}(x)$ 和~$p^{\D (2)}(x)$ 的核估计如下
\begin{eqnarray*}\quad
&&f_{n}(x)=\frac{1}{nh_n}\sum_{j=1}^{n}K_0\bigg(\frac{X_j-x}
{h_n}\bigg)\\
&&p_n^{\D
(1)}(x)=\frac{1}{n{h_n}^2}\sum_{j=1}^{n}\bigg\{K_1\bigg(\frac{X_j-x}{h_n}\bigg)\Big/u(X_j)\bigg\},
~~\quad(8.3.4)\nonumber\\
&&p_n^{\D
(2)}(x)=\frac{1}{n{h_n}^3}\sum_{j=1}^{n}\bigg\{K_2\bigg(\frac{X_j-x}{h_n}\bigg)\Big/u(X_j)\bigg\}.
\end{eqnarray*}
此处~$0<h_n\rightarrow 0~(\mbox{当}~n\rightarrow\infty).$
\medskip\pause

\item  令\vspace{-2mm}
$$
\hat{p}_n^{\D (2)}(x)=\bigg\{\begin{array}{ll} p_n^{\D (2)}(x)
&\mbox{若~}|p_n^{\D (2)}(x)|\geq\delta_n
\\
\delta_n &\mbox{若~}|p_n^{\D (2)}(x)|<\delta_n.
\end{array}
$$
此处~$\{\delta_n\}_{n=1}^{\infty}$ 为一趋于~0 的正数列.
\end{itemize}
}



\frame{\frametitle{\bf NPEB 估计的构造及其大样本性质}
\begin{itemize}

\item 定义刻度参数~$\theta$ 的~NPEB 估计为
$$\hspace{2.8cm}
\hat{\theta}_{\D EB}=-~\!\frac{p_n^{ (1)}(x)}{\hat{p}_n^{
(2)}(x)},~\hspace{3cm}(8.3.5)
$$
上式分母用~$\hat{p}_n^{\D (2)}(x),$ 不用~$p_n^{\D (2)}(x)$
以防止分母太小, 使~$\hat{\theta}_{\D EB}$ 的值太大.
\medskip\pause

\item $\hat{\theta}_{\D EB}$ 的全面贝叶斯风险为
$$~~
R_n=R_n(\hat{\theta}_{\D EB},~G)=E_{\left(X_1,\cdots
,X_n,~(X,~\theta)\right)}\big[(\hat{\theta}_{\D
EB}-\theta)^2/{\theta^2}\big].~(8.3.6)
$$\pause
\end{itemize}
}

\frame{\frametitle{\bf NPEB 估计的渐近最优性}
\begin{itemize}
\item 关于刻度参数~NPEB估计 的渐近最优性有下列结果：\medskip\pause

\item {\bf 定理~8.3.1} ~设~$\hat{\theta}_{\D BE}$
和~$\hat{\theta}_{\D EB}$ 分别由~(8.3.2) 和~(8.3.5) 式给出，$R(G)$
和~$R_n$ 分别由~(8.3.3) 和~(8.3.6) 给出，对分布族~(8.3.1), 若~$u(x)$
单调增，且~$E\big[\theta^ic(\theta)\big]<\infty,~i=1,-3;$ $
~E(\theta^{-2})<\infty.$
则当取~$h_n=o(\delta_n),~h_n\rightarrow0,~nh_n^7\rightarrow\infty$
时有
$$\lim_{n\rightarrow\infty}R_n=R(G).$$
\end{itemize}
}

\frame{\frametitle{\bf NPEBE 的再构造及其收敛速度}

\begin{itemize}

\item 为了使获得的~NPEBE
不但具有渐近最优性而且具有较快的收敛速度，我们需要将上一段中构造的
~NPEB 估计做适当的修改. 设~$p^{(i)}(x),~i=1,2$
的核估计~$p_n^{(i)}(x),~i=1,2$ 仍由前面的公式给出.\medskip\pause

\item 定义刻度参数~$\theta$ 的~NPEB 估计为\vspace{-2mm}
$$\hspace{2.5cm}
\hat{\theta}^*_{\D EB}=\bigg[\frac{-p_n^{\D (1)}(x)}{{p}_n^{\D
(2)}(x)}\bigg]_{n^\nu},~~~\hspace{2.5cm}(8.3.7)\vspace{-2mm}
$$
此处~$0<\nu<1,$ 而~${[b]}_L=\bigg\{\begin{array}{ll}b,
&\mbox{若~}|b|\leq L,
\\ 0, &\mbox{若~}|b|>L
.\end{array}$ 将~(8.3.6) 式截尾以防止~$\hat{\theta}^*_{\D EB}$
取值太大.\medskip\pause

\item 上式中~$\hat{\theta}^*_{EB}$ 的全面贝叶斯风险为\vspace{-2mm}
$$~~~
R_n^*=R_n\big(\hat{\theta}^*_{\D
EB},G\big)=E_{(X_1,...X_n,~(X,~\theta))}\big[(\hat{\theta}^*_{\D EB}
-\theta)^2/{\theta^2}\big].~~(8.3.8)
$$
\end{itemize}
}

\frame{\frametitle{\bf 收敛速度问题}
\begin{itemize}

\item 关于刻度参数~NPEB 估计的收敛速度有下列结果：\medskip\pause

\item {\bf 定理~8.3.2} ~设~$\hat{\theta}_{\D BE}$ 和~$\hat{\theta}^*_{\D
EB}$ 分别由式~(8.3.2) 和~(8.3.7) 给出, R(G) 和~$R_n^*$
分别由~(8.3.3) 和~(8.3.8) 给出，假定刻度指数族~(8.3.1) 中~$u(x)$
为~$x$ 的单调非降函数，且存在 ~$M>0$, $a\geqslant0,$
使得对充分大的~$x$ 有~$u(x)\leq M~\!x^a,$ 如果对~$1/2<\lambda$ $<1,$
正整数~$s\geq 3$
和~$\tau=(1+\varepsilon)(2\lambda-\lambda^2)/(1-\lambda)^2~(~\!\varepsilon$
为任意小的正数~\!), 使得下列条件成立：\smallskip\pause

$(1) ~E\big[\theta^{-2(s-1)}c(\theta)\big]<\infty,$\smallskip\pause

$(2) ~E\big(\theta^{2\lambda s}\big)<\infty,$\smallskip\pause

$(3) ~E\big[\theta^{\tau +
\frac{a}{1-\lambda}-1}c(\theta)\big]<\infty,$\\\smallskip\pause
则当取~$h_n=n^{-1/(2s+1)}$ 时, 有\vspace{-2mm}
$$R_n^*-R(G)=O\Big(n^{-\frac{2\lambda^2s(s-2)}{(2s+1)(\lambda
s+1)}}\Big).\vspace{-2mm}
$$
当~$\lambda$ 任意接近~$1,~s$
充分大时，收敛速度可任意接近~$O(n^{-1}).$
\end{itemize}
}

\subsection{8.3.2 ~刻度指数族参数的单侧~NPEB 检验及其大样本性质}
\frame{\frametitle{\bf NPEB~检验函数的推导}
\begin{itemize}

\item
设刻度指数族由~(8.3.1) 给出, 本段讨论分布族~(8.3.1)
中下列的假设检验问题：\vspace{-2mm}
$$\hspace{2cm}
H_0: \theta\le\theta_0\leftrightarrow H_1:
\theta>\theta_0.\hspace{2cm}(8.3.9)\vspace{-4mm}
$$\pause

\item 设检验问题~(8.3.9) 的损失函数为下列加权线性损失：\vspace{-2mm}
\begin{eqnarray*}
&&L_0(\theta,d_0)=a\bigg(\frac{\theta-\theta_0}{\theta}\bigg)I_{(\theta>\theta_0)}~\!,\nonumber \\
&&L_1(\theta,d_1)=a\bigg(\frac{\theta_0-\theta}{\theta}\bigg)I_{(\theta\le
\theta_0)}~\!.
\end{eqnarray*}\\\vspace{-2mm}
这里常数~$a>0,~D=\{d_0,d_1\}$ 是行动空间, $d_0$ 表示接受$H_0,~d_1$
表示拒绝~$H_0.$\medskip\pause

\item 设~$\theta$ 的未知先验分布为~$G(\theta),$ 令随机化判决函数为\vspace{-2mm}
$$
\delta(x)=P\big(\mbox{接受}H_0|X=x\big).
$$
\end{itemize}
}

\frame{\frametitle{\bf NPEB~检验函数的推导}
\begin{itemize}

\item 令~$\delta(x)$ 的风险函数为\vspace{-2mm}
\begin{eqnarray*}
&&R(\delta,G)\nonumber\\
&&=\!\int_{\Theta}\int_{0}^{\infty}\!\!\!\big[L_0(\theta,d_0)
\delta(x)\!+\!L_1(\theta,d_1)(1\!-\!\delta(x))\big]f(x|\theta)dx dG(\theta)\nonumber\\
&&=a\int_{0}^{\infty}\!\!\!\alpha(x)\delta(x)dx+C_{\D
G},\hspace{4.0cm} (8.3.10)
\end{eqnarray*}\\\vspace{-2mm}
\pause

\item 这里\vspace{-2mm}
$$
C_{\D G}=\int_{\Theta}L_1(\theta,d_1)dG(\theta~),~~
\alpha(x)=\int_{\Theta}\frac{\theta-\theta_0}{\theta}f(x|\theta)dG(\theta).\vspace{-3mm}
$$\pause

\item 令~$r.v.~X$ 的边缘密度为\vspace{-2mm}
\begin{eqnarray*}
&&f(x)\!=\!\int_{\Theta}\!f(x|\theta)dG(\theta)\!
=\!\int_{\Theta}\!u(x)p(x|\theta)dG(\theta)=u(x)p(x),\vspace{-2mm}
\end{eqnarray*}
其中~$p(x)$ 和其~$i$ 阶导数~$p^{(i)}(x)$ 由~8.3.1\!
节中有关公式给出.
\end{itemize}
}

\frame{\frametitle{\bf NPEB~检验函数的推导}

\begin{itemize}

\item 由~(8.3.10) 可知\vspace{-3mm}
$$
\alpha(x)=\int_{\Theta}\frac{\theta-\theta_0}{\theta}f(x|\theta)dG(\theta)
=f(x)+\theta_0u(x)p^{(1)}(x).\vspace{-5mm}
$$\pause

\item 由~(8.3.10) 可知贝叶斯检验函数为\vspace{-3mm}
$$
\delta_{\D G}(x)=\bigg\{\begin{array}{ll}1 & \mbox{若}~\alpha(x)<0  \\
         0& \mbox{若}~\alpha(x)\ge0,
     \end{array}\vspace{-5mm}
$$\pause

\item 其贝叶斯风险为\vspace{-3mm}
\begin{eqnarray*}
R(G)\!\!\!&&=\inf_\delta{R(\delta,G)}=R(\delta_{\D G},G)\\
&&=a\int_{0}^{\infty}\alpha(x)\delta_{\D G}(x)~dx+C_{\D
G}.\hspace{2.2cm}(8.3.11)
\end{eqnarray*}\\ \vspace{-2mm}
\pause

\item 上述风险当先验分布~$G(\theta)$ 已知且~$\delta=\delta_{\D
G}$ 时是可以达到的. 但此处~$G(\theta)$ 未知, $\delta_{\D G}$
对我们也是未知的， 因而无使用价值，因此需要引入~NPEB 方法.
\end{itemize}
}

\frame{\frametitle{\bf NPEB~检验函数的构造}
\begin{itemize}

\item 为构造~$\theta$ 的~NPEB 检验函数，令
~$X_{1},X_{2},\cdots,X_{n}$ 为历史样本, $X$ 为当前样本.
此处核函数~$K_i(x),~i=0,1,2$ 和利用历史样本给出的~$f(x)$ 及~$p^{\D
(i)}(x)$ 的核估计~$f_n(x)$ 及~$p^{\D (i)}_n(x),i=1,2$ 由~(8.3.4)
给出.\medskip\pause

\item 则~$\alpha(x)$ 的估计为\vspace{-2mm}
$$
\alpha_n(x)=f_n(x)+\theta_0u(x)p^{(1)}_n(x).\vspace{-4mm}
$$\pause

\item 定义~$\delta_{\D G}(x)$ 的估计\vspace{-2mm}
$$
\delta_n(x)=\bigg\{\begin{array}{cl}
1 & \mbox{~~若~}\alpha_n(x)<0  \\
0& \mbox{~~若~}\alpha_n(x)\ge0.
\end{array}\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf NPEB 检验函数的大样本性质--渐近最优性}

\begin{itemize}

\item NPEB 检验函数的全面贝叶斯风险为\vspace{-2mm}
$$\hspace{1cm}
R_n(\delta_n,G)=a\int_{0}^{\infty}\alpha(x)E_n\big[\delta_n(x)\big]dx+C_G.
\hspace{0.6cm}(8.3.12)\vspace{-2mm}
$$
此处~$E_n$ 表示关于~$(X_1,\ldots{X_n})$
的联合分布求期望.\medskip\pause

\item 关于刻度参数NPEB单侧检验的大样本性质有下列结果：\medskip\pause

\item {\bf 定理~8.3.3} ~设~$R(G),\ R_n(\delta_n,G)$ 分别由~(8.3.11) 和
~(8.3.12) 给出，若~$E(\theta^{-1})<\infty$ 且~$f(x)$ 和~$p^{(1)}(x)$
为~$x$ 的连续函数时，则当~$h_n\rightarrow0,\ nh_n^3\rightarrow\infty
\ (n\rightarrow\infty)$ 时有\vspace{-2mm}
$$
\lim_{n\rightarrow\infty}(R_n(\delta_n,G)-R(G))=0.\vspace{-4mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf NPEB 检验函数的大样本性质--收敛速度}

{\bf 定理~8.3.4} ~设~$R(G)$ 和~$R_n(\delta_n,G)$ 分别由~\!(8.3.11)\!
和~\!(8.3.12)\! 给出， 设下列条件成立：\smallskip\pause

(1) ~存在正常数~$M$ 和~$r,$ ~\!使得~$u(x)\leq Mx^r,~x>T,$
~\!此处~$T$ 充分大; 且~$u(x)$ 为~$x$ 的非降函数；\smallskip\pause

(2) ~$f(x)\in{C_{s,\gamma}},~p(x)\in C_{s,\gamma},$ 此处
~${C_{s,\gamma}}$ 表示~$\mathbb{R}^1$ 中 的一族概率密度，其~$s$
阶导数存在且绝对值不超过~$\gamma;$\smallskip\pause

(3) ~$E(\theta^{-s})<\infty,$ $E[c(\theta)]<\infty,$
$E\left[c(\theta)
\theta^{\frac{(1+\xi)\lambda}{1-\lambda}+r+1}\right]<\infty,$\\
\noindent 此处~$s>1$ 为整数，$0<\lambda<1,~\xi>0$ 为任意小的正数.
~\!则当取\\
\noindent $h_n$ $=n^{-\frac{1}{2s+1}}$
时有\vspace{-2mm}\smallskip\pause
$$
R_n(\delta_n,G)-R(G)=O\left(n^{-\frac{(s-1)\lambda}{2s+1}}\right).
$$
}


\section{8.4 ~分层贝叶斯模型简介}
\subsection{8.4.1 ~引言}

\frame{\frametitle{\bf 引言}

\begin{itemize}

\item 分层先验贝叶斯分析是经验贝叶斯方法的一种替代方法，在实际问题中有广泛的应用.
此方法假定第一层先验分布中含有未知的超参数，在参数型经验贝叶斯
方法中是用历史样本对超参数做出估计，而在分层贝叶斯
方法中是代之以超参数有第二层先验.\medskip\pause

\item 若假定第二层先验还有未知的超参数，还可假定此超参数有第三层先验，甚至更多层先验.\medskip\pause

\item 通常假定第一层先验为共轭先验，最后一层先验为无信息先验
~(当然最后一层先验也可假设为其它的先验分布，但必须假定其中超参数皆已知).

\end{itemize}
}

\frame{\frametitle{\bf 引言}
\begin{itemize}

\item 下面以两层先验为例说明这个模型：\vspace{-2mm}
\begin{eqnarray*} \quad
X|\theta\!\!\!\!&&\sim f(x|\theta),\quad\mbox{样本}~
x\in\mathscr{X},\\
\theta|\lambda\!\!\!\!&&\sim
\pi_1(\theta|\lambda),\quad\mbox{参数}~\theta\in\Theta,\\
\lambda\!\!\!\!&&\sim
\pi_2(\lambda),\quad\mbox{超参数}~\lambda\in\Lambda.
\end{eqnarray*}\\\vspace{-2mm}
其中~$\mathscr{X}$ 为样本空间，$\Theta$ 为参数空间，$\Lambda$
为超参数空间. $\pi_{2}(\lambda)$ 常常取为无信息先验
~(可以取为广义无信息先验).\medskip\pause

\item 从两层先验密度容易求得~$\theta$ 的无条件~\!(规范)\! 先验密度如下:\vspace{-2mm}
$$\hspace{2cm}
\pi(\theta)=\int_{\Lambda}\pi_1(\theta|\lambda)\pi_{2}(\lambda)d\lambda\hspace{2.5cm}(8.4.1)\vspace{-5mm}
$$\pause

\item 事实上，$\theta$ 和~$\lambda$ 的联合密度为~
$\pi(\theta,\lambda)=\pi_{1}(\theta|\lambda)\pi_{2}(\lambda)$;
将联合先验密度对~$\lambda$ 积分就得到~$\theta$ 的边缘密度，
即公式~(8.4.1) 中的无条件密度，也称为规范先验.
\end{itemize}
}

\subsection{8.4.2 ~分层先验的特点}
\frame{\frametitle{\bf 分层先验的特点}

\begin{itemize}

\item 由~2.7 节可知对更多层的先验，$\theta$ 的规范先验密度也可用类似方法求得.
有了~$\theta$ 的规范先验~$\pi(\theta)$ 和样本分布~$f(x|\theta)$,
则分层先验模型 就变成了一个通常的贝叶斯统计模型.
一切统计分析就可以从这个贝叶斯统计模型出发进行.\medskip\pause

\item 既然可以把一个分层贝叶斯模型转化为一个单层的贝叶斯模型，为什么我们还要研究分层贝叶斯模型呢？
由于规范先验表达式通常很复杂，在贝叶斯分析中进行统计计算时带来极大的困难.
而分层贝叶斯模型允许
我们在建模时，可以把相对复杂的情况分解为一系列简单的情形.\medskip\pause

\item 以两层先验为例，$\pi_{1}(\theta|\lambda)$ 和~$\pi_{2}(\lambda)$
都可以是简单的函数形式~(共轭先验或无信息先验等)， 但式~(8.4.1)
表示的~$\pi(\theta)$ 可能非常的复杂. 请看下例.

\end{itemize}
}

\frame{\frametitle{\bf 例子}
\begin{itemize}

\item {\bf 例~8.4.1} ~设有~m 个学生参加一门课程考试，第~i 个考生的分数~$X_i$
可以看成来自正态总体~$N(\theta_i,\sigma^2)$, 其中~$\sigma^2$ 已知，
~$\theta_i$ 表示第~i 个学生的学习能力，我们的问题是 求~m
个学生的学习能力~$\theta_1,\theta_2,\cdots,\theta_m$
的联合先验分布，采用分层先验的方法.\medskip\pause

\item {\bf 解} ~记~$\bm{\theta}=(\theta_1,\ldots,\theta_m),~\theta_1,\ldots,\theta_m~i.i.d
\sim N(\mu_{\pi},\sigma_{\pi}^2),$ 则第一层先验为\vspace{-2mm}
$$
\pi_{1}(\bm{\theta}|\bm\lambda)=(2\pi\sigma_{\pi}^2)^{-\frac{m}{2}}\exp\bigg\{-\frac{1}{2\sigma^2_{\pi}}
\sum_{i=1}^n(\theta_i-\mu_{\pi})^2\bigg\},\vspace{-2mm}
$$
其中~$\bm\lambda=(\mu_{\pi},\sigma_{\pi}^2),$ ~$\mu_{\pi}\in
{\mathbb{R}}^1$ 和 ~$\sigma_{\pi}^{2}>0$ 为~2 个超参数.
\end{itemize}
}

\frame{\frametitle{\bf 例子}
\begin{itemize}

\item 第二层先验~$\pi_{2}(\bm\lambda)$ 可按主观信念对~$\mu_{\pi}$ 和~$\sigma_{\pi}^{2}$ 作出选择.
可以把~$\mu_{\pi}$ 和~$\sigma_{\pi}^{2}$ 分别解释为~$\theta_i$
的均值和方差. 对超参数~$\mu_{\pi}$ 假定已知，
依过去的经验取~$\mu_{\pi}=100;$
而要确定真实能力的方差~$\sigma_{\pi}^2$
无多大把握，只能说明一个大概. 设~$\sigma_{\pi}^{2}$
服从逆伽玛分布~$\Gamma^{-1}(\alpha,\beta),$ 该分布的均值
为~200，标准差为~100.\medskip\pause

\item 根据逆伽玛分布均值与方差计算公式列出方程：\vspace{-1mm}
$$
\left\{\begin{array}{ll}
  \frac{\beta}{\alpha-1}=200 \\
    \frac{\beta^2}{(\alpha-1)^2(\alpha-2)}=100^2
  \end{array}\right.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf 例子}

\begin{itemize}

\item 解此方程组得到~$\alpha=6,~\beta=1000.$ 即%~$\mu_{\pi}=100$,
~$\sigma_{\pi}^{2}\sim\Gamma^{-1}(6,1000),$
其密度函数为\vspace{-1mm}
$$
\pi_2(\sigma^2_\pi)=\frac{1000^{6}}{\Gamma(6)}(\sigma^2_\pi)^{-(6+1)}
\exp\big\{-1000/\sigma^2_\pi\big\}.\vspace{-2mm}
$$\pause

\item 综合上述两层先验， 可得~$\bm{\theta}$ 的规范先验为：\vspace{-2mm}
\begin{eqnarray*}
\pi(\bm{\theta})\!\!\!\!&&=\int_{0}^{\infty}\pi_1\big(\bm{\theta}|\sigma^2_{\pi}\big)
\pi_2\big(\sigma^2_{\pi}\big)d\sigma^{2}_{\pi}\\
%&&\propto\int_{0}^{\infty}(\sigma^2_{\pi})^{-(\frac{m}{2}+7)}
%\exp\bigg\{-\frac{1}{\sigma^2_\pi}\bigg[1000+\frac{1}{2}\sum_{i=1}^{m}(\theta_i-100)^2\bigg]\bigg\}d\sigma^2_{\pi}\\
%&&\propto\bigg[1000+\frac{1}{2}\sum_{i=1}^{m}(\theta_i-100)^2\bigg]^{-(m+12)/2}\\
&&\propto\Big[1+\frac{1}{12}(\bm{\theta}-\bm{\nu})'B^{-1}(\bm{\theta}-\bm{\nu})\Big]^{-\frac{m+12}{2}}.
\end{eqnarray*}\\\vspace{-2mm}
其中~$B=(500/3)I_m,$ 而~$\bm{\nu}'=(100,\cdots,100)$
为其分量皆是~$100$ 的~$m$ 维向量, 而~$I_m$ 是~m 阶单位阵.
\end{itemize}
}

\frame{\frametitle{\bf 例子}
\begin{itemize}

\item 上式右边是~m 元~t
分布密度函数的核，添加正则化常数得\vspace{-2mm}
$$
\pi(\bm{\theta})=\frac{\Gamma(\frac{12+m}{2})(\det(B))^{-\frac{1}{2}}}
{\Gamma(6)(\sqrt{12\pi})^{\frac{m}{2}}}
\bigg[1+\frac{1}{12}(\bm\theta-\bm{\nu})'
B^{-1}(\bm\theta-\bm{\nu})\bigg]^{-\frac{m+12}{2}}\!\!.\vspace{-2mm}
$$\pause

\item 可见规范先验~$\pi(\bm{\theta})$ 的上述表达式很复杂，
这种先验很难依据主观信念或历史数据确定它.
但第一层先验~$N(\mu_\pi,\sigma^2_\pi)$ 和 第二层先验
~$\Gamma^{-1}(6,1000)$
都比较简单，这表明分层先验的这个优点特别明显.\medskip\pause

\item
在更多例子中规范先验~$\pi(\bm\theta)$
常常无显式表达，分层先验的优点就更突出.
\end{itemize}
}

\frame{\frametitle{\bf 分层先验的另一个特点：便于计算}

\begin{itemize}

\item 以两层先验为例，如果用通常的贝叶斯模型计算~$\theta$ 的后验分布~$\pi(\theta|\mathbf{x})$
和它的某些数字特征，由于它们没有显式表达，不能通过积分表示，计算非常困难.
为了克服计算上的难题，首先需要建立容易使用的后验分布的表达式.\medskip\pause

\item 下列的定理给出了这方面 的结果：即由分层结构
各阶段的后验来表达~$\theta$
的后验，这些各阶段的后验大多有显式表达，最后的积分
可用数值方法.\medskip\pause

\item {\bf 定理~8.4.1} ~设样本分布为~$f(\mathbf{x}|\theta),$
两层先验为：第一阶段先验是~$\pi_{1}(\theta|\bm\lambda),$
第二阶段先验为
~$\pi_2(\bm\lambda)=\pi_{21}(\lambda_1|\lambda_2)\pi_{22}(\lambda_2),$
此处~$\bm\lambda=(\lambda_1,\lambda_2),$ 则~$\theta$
的后验分布~$\pi(\theta|\mathbf{x})$
可以通过各个阶段的后验来表达，即\vspace{-3mm}
$$
\pi(\theta|\mathbf{x})=\int_{\Lambda}\pi_1(\theta|\mathbf{x},\bm\lambda)
\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)\pi_{22}(\lambda_2|\mathbf{x})d{\bm\lambda}.\vspace{-2mm}
$$
\end{itemize}
}

\frame{\frametitle{\bf 分层先验的另一个特点--便于计算}

\noindent 其中~$\pi_1(\theta|\mathbf{x},\bm\lambda)$
为第一阶段后验，$\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)
\pi_{22}(\lambda_2|\mathbf{x})$
为第二阶段后验，其表达式如下:\smallskip\pause\vspace{-2mm}
\begin{eqnarray*}%\label{dyjdhyfb}
&&\!\!\!\pi_1(\theta|\mathbf{x},\lambda)=\frac{f(\mathbf{x}|\theta)
\pi_1(\theta|\bm\lambda)}{m_1(\mathbf{x}|\bm\lambda)},~~\quad
m_1(\mathbf{x}|\bm\lambda)=\int_{\Theta}f(\mathbf{x}|\theta)\pi_1(\theta|\bm\lambda)d\theta,\\\smallskip\pause
%\label{dejdhyfb1}
\hspace{-2mm} &&\!\!\!\pi_{\D
21}(\lambda_1|\mathbf{x},\lambda_2)\!=\!\frac{m_1(\mathbf{x}|\bm\lambda)
\pi_{\D 21}(\lambda_1|\lambda_2)}{m_2(\mathbf{x}|\lambda_2)},~
m_2(\mathbf{x}|\lambda_2)\!=\!\!\!\int_{\Lambda_1}
\!\!\!\!m_1(\mathbf{x}|\bm\lambda)\pi_{\D
21}(\lambda_1|\lambda_2)d\lambda_1,\\\smallskip\pause
%\label{dejdhyfb2}
&&\!\!\!\pi_{22}(\lambda_2|\mathbf{x})=\frac{m_2(\mathbf{x}|\lambda_2)
\pi_{22}(\lambda_2)}{m(\mathbf{x})},\quad
m(\mathbf{x})=\int_{\Lambda_2}m_2(\mathbf{x}|\lambda_2)\pi_{22}(\lambda_2)d\lambda_2,
\end{eqnarray*}\smallskip\pause
此处~$\Lambda=\Lambda_1\times\Lambda_1$
为超参数~$\bm\lambda=(\lambda_1,\lambda_2)$ 的参数空间，$\theta$
的参数空间为~$\Theta,~d\lambda=d\lambda_1d\lambda_2$. }

\frame{\frametitle{\bf 一个注释}
\begin{itemize}
\vspace{-2mm}

\item {\bf 注~8.4.1} ~定理~8.4.1 的重要性说明如下：设我们对~$\theta$ 的某个函数~$\psi(\theta)$ 的
后验期望感兴趣，设想\vspace{-1mm}
\begin{eqnarray*}\hspace{1.5cm}
&&\psi_1(\mathbf{x},\bm\lambda)=E^{\theta|\mathbf{x},\bm\lambda}[\psi(\theta)],\\
&&\psi_2(\mathbf{x},\lambda_2)=E^{\lambda_1|\mathbf{x},\lambda_2}
[\psi_1(\mathbf{x},\bm\lambda)].\hspace{1.5cm}(8.4.2)
\end{eqnarray*}\\\vspace{-1mm}
\pause

\item 则由定理~8.4.1 可知\vspace{-2mm}
\begin{eqnarray*}~~~
&&E^{\theta|\mathbf{x}}[\psi(\theta)]=\int_\Theta
\psi(\theta)\pi(\theta|\mathbf{x})d\theta\nonumber\\
&&=\int_\Theta\int_\Lambda
\psi(\theta)\pi_1(\theta|\mathbf{x},\bm\lambda)\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)
\pi_{22}(\lambda_2|\mathbf{x})d{\bm\lambda} d\theta\nonumber\\
&&=\int_\Lambda\Big[\int_\Theta\psi(\theta)\pi_1(\theta|\mathbf{x},\bm\lambda)d\theta\Big]
\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)\pi_{22}(\lambda_2|\mathbf{x})d\theta
d{\bm\lambda}\nonumber\\
&&=\int_{\Lambda_2}\Big[\int_{\Lambda_1}\psi_1(\mathbf{x},\bm\lambda)\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)
d\lambda_1\Big]\pi_{22}(\lambda_2|\mathbf{x})d\lambda_2\nonumber\\
&&=\int_{\Lambda_2}\psi_2(\mathbf{x},\lambda_2)\pi_{22}(\lambda_2|\mathbf{x})d\lambda_2
=E^{\lambda_2|\mathbf{x}}\big[\psi_2(\mathbf{x},\lambda_2)\big].~~~(8.4.3)
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{\bf 一个注释}
\begin{itemize}

\item 若已知~$\pi_1(\theta|\mathbf{x},\bm\lambda)$ 及~$\pi_{21}(\lambda_1|\mathbf{x},\lambda_2)$
的分布形式，则~(8.4.2) 中的~$\psi_1(\mathbf{x},\bm\lambda)$
和~$\psi_2(\mathbf{x},\lambda_2)$ 会很容易计算.
在分层贝叶斯分析中，人们常常想办法选择分层先验~$\pi_1$ 和~$\pi_2$
的函数形式，使~$\psi_1$ 和~$\psi_2$
很容易计算~(目的是避免对~$\theta$ 的高维积分做数值计算).
%多层先验是理想的稳健先验，不必为这种方便的选择而担心.\medskip\pause

\item 特别取~$\psi(\theta)=\theta$,~则由~(8.4.3) 式可以得到~$\theta$ 的后验期望估计
~$\mu^{\pi}(\mathbf{x}).$ 若取~$\psi(\theta)=(\theta-\mu^\pi(x))^2,$
则由~(8.4.3) 式 可得到~$\theta$ 的后验方差.
若取~$\psi(\theta)=L(\theta,d(\mathbf{x})),$ 则由~(8.4.3) 式可以得到
决策函数~$d(\mathbf{x})$ 的后验风险, 此处~$L(\theta,d(\mathbf{x}))$
为损失函数.\medskip\pause

\item 若~(8.4.3) 式中最后的积分~$\dl\int_{\Lambda_2}\psi_2(\mathbf{x},\lambda_2)
\pi_{22}(\lambda_2|\mathbf{x})d\lambda_2$ 有显式表达式更好,
如无显式表达, 可通过数值方法获得最终结果, 这是一维积分的数值计算,
相对于多元积分的数值计算要简单得多.
这就充分显示了分阶段先验模型在计算上的优势.
\end{itemize}
}


\subsection{8.4.3 ~例子}
\frame{\frametitle{\bf 例子}
\vspace{-2mm}

\begin{itemize}

\item {\bf 例~8.4.2} ~~设有如下的共轭正态分层先验模型\vspace{-1mm}
\begin{eqnarray*}\hspace{1cm}
X_i|\theta\!\!\!\!&&\sim N(\theta,\sigma^2),\quad
\sigma^2~\mbox{已知},\quad i=1.\cdots,n,\nonumber\\
\theta|\tau^2\!\!\!\!&&\sim N(0,\tau^2),~~\tau^2\sim
\Gamma^{-1}(a,b),~~a,~b~\mbox{已知}.\qquad(8.4.4)
\end{eqnarray*}\\\vspace{-1mm}
设~$\theta$ 的参数空间为~$\Theta,~\tau^2$ 的参数空间为~$\Delta.$
求平方损失下~$\theta$ 的贝叶斯分层估计，并给出算法.\medskip\pause

\item {\bf 解} ~由于~$\widebar{X}=\sum\limits_{i=1}^n
X_i\big/n\sim N(\theta,\sigma^2/n)$
是充分统计量，故可用它代替样本~$\mathbf{X}=(X_1,\cdots,X_n).$
故由定理~8.4.1 可知\vspace{-2mm}\pause
\begin{eqnarray*}
E(\theta|\bar{x})\!\!\!\!&&=\int_\Theta\theta\pi(\theta|\bar{x})d\theta
=\int_\Delta\int_\Theta
\theta\pi_1(\theta|\bar{x},\tau^2)\pi_2(\tau^2|\bar{x})d\theta
d\tau^2\nonumber\\
&&=\int_\Delta\bigg[\int_\Theta
\theta\pi_1(\theta|\bar{x},\tau^2)d\theta\bigg]\pi_2(\tau^2|\bar{x})
d\tau^2\nonumber\\
&&=\int_\Delta\frac{n\tau^2}{n\tau^2+\sigma^2}\cdot\pi_2(\tau^2|\bar{x})
d\tau^2=E^{\tau^2|\bar{x}}\big[E(\theta|\bar{x},\tau^2)\big].
\end{eqnarray*}
\end{itemize}
}

\frame{\frametitle{\bf 例子}
\begin{itemize}

\item 其中第一层后验~$\pi_1(\theta|\bar{x},\tau^2)$ 为~$N\left(\mu_1(\bar{x},\tau^2),V_1(\tau^2)\right),$
此处\vspace{-2mm}
$$\mu_1(\bar{x},\tau^2)=\frac{n\tau^2\bar{x}}{n\tau^2+\sigma^2},
\quad
V_1(\tau^2)=\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2}.\vspace{-2mm}
$$\pause

\item 而第一层边缘密度~$m_1(\bar{x}|\tau^2)$ 为~$N\big(0,\tau^2+\sigma^2/n\big).$
第二层后验按公式\vspace{-1mm}
$$\pi_2(\tau^2|\bar{x})=\frac{m_1(\bar{x}|\tau^2)\pi_2(\tau^2)}{m_2(\bar{x}|\tau^2)}.\vspace{-1mm}
$$
计算，其表达式较复杂~(详见~Lehmann 和~Casella~(1998)
第四章习题~5.3). 因此有\vspace{-2mm}
$$
E(\theta|\bar{x})=E^{\tau^2|\bar{x}}\bigg[\frac{n\tau^2\bar{x}}{n\tau^2+\sigma^2}\bigg].
\vspace{-2mm}
$$%\pause
\end{itemize}
}

\frame{\frametitle{\bf 利用~Gibbs 抽样方法计算后验数字特征}

\begin{itemize}

\item 下面说明如何~Gibbs 抽样方法计算~$E(\theta|\bar{x})$
的结果.\medskip\pause

\item 由模型~(8.4.4) 可见
从联合后验密度~$\pi(\theta,\tau^2|\bar{x})$
出发，易求得下列两个满条件分布：\vspace{-1mm}
\begin{eqnarray*}
\theta|\tau^2,\bar{x}\!\!\!\!&&\sim
N\bigg(\frac{n\tau^2\cdot\bar{x}}{n\tau^2+\sigma^2},\frac{\tau^2\sigma^2}{n\tau^2+\sigma^2}\bigg)
=N\left(\mu_1(\bar{x},\tau^2),V_1(\tau^2)\right),\nonumber\\
\tau^2|\theta,\bar{x}\!\!\!\!&&\sim
\Gamma^{-1}\bigg(a+\frac{1}{2},~\!b+\frac{\theta^2}{2}\bigg).
\end{eqnarray*}%\\\vspace{-2mm}\pause
\end{itemize}
}


\frame{\frametitle{\bf 利用~Gibbs 抽样方法计算后验数字特征}

\begin{itemize}

\item 从两个满条件分布入手，用~Gibbs 抽样方法给出初值, 重复抽样.
在第~$i$ 步先从 ~$N\left(\mu_1(\bar{x},\tau^2),V_1(\tau^2)\right)$
中抽取~$\theta_i,$ 然后再从
~$\Gamma\big(a+1/2,~\!b+\theta_i^2/2\big)$ 中抽取~$\tau^2_i,$
得到~$(\theta_i,\tau_i^2),~\!i=1,\cdots,M.$ \smallskip \pause

\item 利用蒙特卡洛逼近方法可知~$E(\theta|\bar{x})$ 的估计值~(近似值)\vspace{-2mm}
\begin{eqnarray*}
\widehat{E(\theta|\bar{x})}\!\!\!\!&& =\frac{1}{M}\sum_{i=1}^M
E\big(\theta|\bar{x},\tau^2_i\big) =\frac{1}{M}\sum_{i=1}^M
\frac{n\tau^2_i\cdot\bar{x}}{\sigma^2+n\tau^2_i}\\
&& ~\xrightarrow {a.s}
E(\theta|\bar{x}),~~\mbox{当}~M\rightarrow\infty.
\end{eqnarray*}
\end{itemize}
}



\end{CJK*}
\end{document}



\frame{\frametitle{}
\begin{itemize}

\item

\item

\item

\end{itemize}
}

\frame{\frametitle{}

\begin{itemize}

\item

\item

\item

\end{itemize}
}
