数学教学系列6:ARMA模型

自回归滑动平均模型(ARMA 模型,Auto-Regressive and Moving Average Model)是研究时间序列的重要方法,由自回归模型(简称AR模型)与滑动平均模型(简称MA模型)为基础“混合”构成。

由于只有对平稳的时间序列才能建立ARMA模型,因此在建立模型之前,有必要对序列进行预处理,主要包括了平稳性检验和纯随机检验。

时间序列检验是平稳的,且是非白噪声序列,则可以建立模型。建立模型之前需要识别模型阶数即确定阶数。阶数确定要借助于时间序列的相关图,即序列的自相关函数和偏自相关函数,并根据他们之间的理论模式进行阶数最后的确定。

自相关系数偏相关系数模型定阶
拖尾p阶截尾AR(p)模型
q阶截尾拖尾MA(q)模型
拖尾截尾ARMA(p,q)模型

然后进行参数估计,检验是否具有统计学特性。

假设检验,判断残差序列是否是白噪音序列。

最后,使用得到的模型进行预测。


ARMA的基本思想是把AR模型和MA模型的想法结合在一个紧凑的形式中,使所用的参数个数保持很小。在收益率序列中,直接使用ARMA模型的机会很少。然而,ARMA模型的概念与波动率建模有密切的关系。事实上,广义自回归条件异方差(GARCH)模型就可以认为使对${\{a_{t}^2}\}$的ARMA模型,尽管是非标准的。
称一个时间序列$r_t$服从ARMA模型,则$r_t$满足$$r_t-\phi_1 r_{t-1} = \phi_0 + a_t – \theta_1a_{t-1}$$
其中$\{a_t\}$是白噪音序列。上式左边式模型的AR部分,右边是MA部分。常数项为$\phi_0$。为使这样的一个模型有意义,要求$\phi_1 \neq \theta_1$。否则,在方程两端消去一个因子,方程所决定的过程就变成了一个白噪音序列

1 ARMA(1,1)模型的性质


ARM A(1,1)模型的性质是AR(1)模型的相应性质的推广,只是作一些小的修改来处理MA(1)部分的影响.首先讨论平稳性条件.在(2.25)式两端取期望,得到

$$E(r_t)-\phi_1 E(r_{t-1})=\phi_0+E(a_t)-\theta_1E(a_{t-1})$$

因为对所有的$i$都有$E(a_i)=0$,所以只要序列是弱平稳的,则$r_i$的均值为

$$E(r_t)=\mu=\frac{\phi_0}{1-\phi_1}.$$

此结果和模型的结果完全一样.

为简单起见,假定 $\phi_0=0$.下面我们考虑$r_t$的自协方差函数.首先,在模型两端乘以$a_t$再取期望,我们有

$$E(r_ta_t)=E(a_t^2)-\theta_1E(a_ta_{t-1})=E(a_t^2)=\sigma_a^2, $$

把模型改写成

$$r_t=\phi_1r_{t-1}+a_t-\phi_1a_{t-1}.$$

在上式两端取方差,得到

$$Var(r_t)=\phi_1^2Var(r_{t-1})+\sigma_a^2+\theta^2_1\sigma^2_a-2\phi_1\theta_1E(r_{t-1}a_{t-1})$$

这里用到$r_{t-1} $ 与a:不相关这一事实:我们得到

$$Var(r_t)-\phi_1^2Var(r_{t-1})=(1-2\phi_1\theta_1+\theta^2_1))\sigma_a^2$$

从而,若序列$r_i$是弱平稳的,则$Var(r_t)=Var(r_{t1})$,且
$$Var(r_t)=\frac{(1-2\phi_1\theta_1+\theta^2_1))\sigma_a^2}{1-\phi_1^2}$$
因为方差是正的,故要求 $\phi_1^2<1$(也即$|\phi_1|<1$).这又与AR(1)模型的平稳性条件一样了.

为了得到$r_t$的自协方差函数,我们假定$\phi_0=0$,并在上式两端乘以$r_{t-1}$,得到$$r_tR_{t-l}-\phi_1r_{t-1}r_{t-l}=a_tr_{t-l}-\theta_1a_{t-1}r_{t-l}.$$对$l=1$,在上式两端取期望并利用$t-1$时的(2.26)式,我们有
$$\gamma_1-\phi_1\gamma_0=-\phi_1\sigma_a^2,$$
其中$\gamma_1=Cov(r_i,r_{t-l})$.这个结果不同于AR( 1)情形,对AR(1)模型有$\gamma_1-\phi_1\gamma_0=0$.然而,对$l=2$,取期望后得到$$ \gamma_2-\phi_1\gamma_1=0,$$
这与AR(1)情形一样.事实上,用相同的方法可得到
$$\eta-\phi_1\eta_{-1}=0, l>1. $$
对于ACF,上述结果表明:对平稳ARMA(1.1)模型,有
$$\rho_1=\phi_1-\frac{\theta_1\sigma_a^2}{\gamma_0}, \rho_l=\phi_1\rho_{t-l}, l>1$$
这样,ARMA( 1, 1)模型的ACF 很像AR(1)模型的ACF,不同之处仅在于它的指数衰减是从间隔2开始的.因此,ARMA(1,1)模型的ACF不能在任意有限间隔后截尾.

现在来看偏自相关函数(PACF).可以证明:ARMA( 1,1)模型的PACF也不能在有限间隔后截尾.它与MA( 1)模型的PACF表现很相似,只是指数衰减从间隔 2开始,而不是从间隔1开始.

综上所述,ARMA(1,1)模型的平稳性条件与AR(1)模型的相同,ARMA(1,1)模型的ACF与AR(1)模型的ACF形式相似,只是这种形式从间隔2处开始.

2   一般的ARMA模型


一般的$ARMA(p,q)$模型的形式为

$$r_t=\phi_0+\sum_{i=1}^{p}{\phi_ir_{t-i}}+a_i-\sum_{i=1}^{q}{\theta_ia_{t-i}},$$

其中$a_t$是白噪声序列,$p$和$q$都是非负整数,AR和MA模型是ARMA(p, q)的特殊情形.利用向后推移算子,上述模型可写成
$$
(1-\phi_1B-\cdots-\phi_pB^p)r_t=\phi_0+(1-\theta_1B-\cdots-\theta_qB^q)a_t
$$
模型的AR多项式是$1-\phi_1B-\cdots-\phi_pB^p$,MA多项式是$1-\theta_1B-\cdots-\theta_qB^q$. 我们要求AR多项式和MA多项式没有公因子,否则模型的阶$(p,q)$会降低.如 AR模型一样,AR多项式引进了ARMA模型的特征方程.如果特征方程所有根的绝对值都小于1,则该ARMA模型是弱平稳的.这时,模型的无条件均值为

$E(r_t)=\phi_0 / (1-\phi_1-\cdots-\phi_p).$

3    用ARMA模型进行预测


和ACF一样,只要将MA部分对低步数预测的影响进行调整后,ARMA$(p,q)$的模型的预测就会与AR$(p)$模型的预测有相似的特征.设预测原点为$h, F_h$为在$h$ 时刻所能得到的信息集合.$r_{h+1}$的向前一步预测为

$$\hat{r}_h(1)=E(r_{h+1}|F_h)=\phi_0+\sum_{i=1}^{p}\phi_ir_{h+1-i}-\sum_{i=1}^{p}\theta_ia_{h+1-i},$$

相应的预测误差为$e_h(1)=r_{h+1}-\hat{r}_h(1)=a_{h+1}$.向前一步预测误差的方差为$Var[e_h(1)]=\sigma_a^2$.对向前$l$步预测,我们有

$$\hat{r}_h(l)=E(r_{h+1}|F_h)=\phi_0+\sum_{i=1}^{p}\phi_i\hat{r}_{h}(l-i)-\sum_{i=1}^{p}\theta_ia_{h}(l-i),$$

其中,当$l-i\leq0$时,$\hat{r}_h(l-i)=r_{h+l-i}$;当$l-i>0$时,$a_h (l一i) = 0$;当$l-i\leq0$ 时$a_h(l-i)=a_{h+l-i}$.这样,ARMA模型的向前多步预测可以递推算得.相应的预测误差为

$$e_h(l)=r_{h+l}-\hat{r}_h(l)$$

 

4 ARMA模型的三种表示

  本节将简单地讨论平稳ARMA$(p,q)$的模型的三种表示.这三种表示用于三种不同的目的.了解这三种表示会更好地理解ARMA模型‘第一种表示是(2.28)式,这个表示很紧凑并且在参数估计时很有用,另外,它也可用于递推计算$r_t$的向前多步预测,见2.6.4节的讨论.
对另外两种表示,我们用两个多项式比的级数展开式(长除法).给定两个多项式$\phi(B)=1-\sum_{i=1}^{p}\phi_iB^i$和$\theta(B)=1-\sum^{q}_{i}\theta_iB^i$我们有

$$
\frac{\theta(B)}{\phi(B)}=1+\psi_1B+\psi_2B^2+\cdots\equiv\psi(B),
$$$$\frac{\theta(B)}{\phi(B)}=1-\pi_1B-\pi_2B^2-\cdots\equiv\pi(B), $$

例如,若$\psi(B)=1-\phi_1B,\theta(B)=1-\theta_1B,$则

$$\psi(B)=\frac{1-\theta_1B}{1-\phi_1B}=1+(\phi_1-\theta_1)B+\phi_1(\phi_1-\theta_1)B^2+\phi_1^2(\phi_1-\theta_1)B^3+\cdots,$$$$\pi(B)=\frac{1-\phi_1B}{1-\theta_1B}=1-(\phi_1-\theta_1)B-\theta_1(\phi_1-\theta_1)B^2-\theta_1^2(\phi_1-\theta_1)B^2-\cdots,$$

由定义知$\psi(B)\pi(B)=1$,利用$Bc=c$对任意常数$c$成立这个事实(因为常数是随时间不变的),我们有

$$\frac{\phi_0}{\theta(1)}=\frac{\phi_0}{1-\theta_1-\cdots-\theta_q}, \frac{\phi_0}{\phi(1)}=\frac{\phi_0}{1-\phi_1-\cdots-\phi_q}.$$

AR表示

利用上式的结果,ARMA$(p,q)$模型可写成

$$r_t=\frac{\phi_0}{1-\theta_1-\cdots-\theta_q}+\pi_1r_{t-1}+\pi_2r_{t-2}+\pi_3r_{t-3}+\cdots+a_t $$

这个表示给出了当前收益率$r_i$对过去收益率$r_{t-p},i>0$的依赖关系.系数$\{\pi_i\}$称

为ARMA模型的$\pi-权重$.为了说明延迟值$r_{t-i}$对$r_i$的贡献随$i$的增大而逐渐消

失,系数$\pi_i$应随$i$增大而趋于零,一个ARMA$(p,q)$模型如果具有这样的性质,则称它为$可逆的$,对纯AR模型,$\theta(B)=1$.故$\pi(B)=\phi(B)$这是一个有限阶的多项式.从而对$i>p$有$\pi_i=0$,模型是可逆的.对其他ARMA模型,可逆性的充分条件是:多项式$\theta(B)$的所有零点的模大于1.例如,对MA(1)模型$r_t=(1-\theta_1B)a_t$,一次多项式$1-\theta_1B$的零点是$B=1/\theta_1$.从而,如果$1/|\theta_1|>1$(也即$|\theta_1|<1$),则MA(1)是可逆的.

用AR表示,一个可逆的ARMA$(p,q)$序列$r_t$是当前的“抖动”$a_t$与序列过去值的加权平均的线性组合.对越来越远的过去值,权重呈指数衰减.

  MA表示

同样,ARMA$(p,q)$模型也能写成$$r_t=\mu+a_t+\psi_1a_{t-1}+\psi_2a_{t-2}+\cdots=\mu+\psi(B)a_t$$其中$\mu=E(r_t)=\phi_0/(1-\phi_1-\cdots-\phi_p)$.这个表示清楚地说明了过去的“扰动”$a_{t-i}(i>0)$对当前收益$r_t$的影响,系数$\{\psi_i\}$称为该ARMA模型的脉冲响应函数 (impulse response function).对弱平稳序列,系数$\psi_i$随$i$的增加呈指数衰减.这一点是可以理解的,因为扰动$a_{t-i}$对收益率$r_t$的影响应该随时间而消失.这样,对平稳ARMA模型,扰动$a_{t-i}$不能对序列有永久的影响.如果$\psi_0\neq0$,这样的MA表示中有一个常数项,它就是$r_t$的均值(也即$\psi_0/(1-\psi_1-\cdots-\psi_p))$.MA表示在计算预测误差的方差时也是有用的、在预测原点$h$,我们有$a_h,a_{h-1},\cdots$从而,向前$l$步预测未为$$\hat{r}_h(l)=\mu+\psi_la_h+\psi_{l+1}a_{h-1}+\cdots,
$$相应预测误差为
$$e_h(l)=a_{h+l}+\psi_1a_{h+l-1}+\cdots+\psi_{l-1}a_{h+1},
$$因此,向前/步预测误差的方差为
$$Var[e_h(l)]=(1+\psi_1^2+\cdots+\psi^2_{l-1})\sigma_a^2
$$正如所料,它是预测时间长度$l$的非减函数.

最后,由MA表示还提供了平稳序列均值回转的一个简单证明.平稳性意味着当$i\to\infty$时$\psi_i$趋于零.从而,由MA表示,我们有:当$i\to\infty$时,$\hat{r}_h(l)\to\mu$因为$\hat{r}_h(l)$是$r_{h+l}$在预测原点$h$的条件期望,上述结果表示,从长期来看,收益率序列预期会趋于它的均值,也就是说,序列是均值回转的.进一步地,由MA表示,我们有$Var(r_t)=(1+\sum_{i=1}^{\infty}\psi_i^2)\sigma_a^2.$从而,当$l\to\infty$时,$Var[e_h(l)]\to Var(r_t)$.$\hat{r}_h(l)$趋于$\mu$的速度决定了均值回转的速度.

 

In [ ]:
 

 


机器学习系列目录

1. 机器学习系列1:算法基础-Logistic回归
2. 机器学习系列2:算法基础-K-Means
3. 机器学习系列3:算法基础-决策树
4. 机器学习系列4:进阶算法-SVM
5. 机器学习系列5:进阶算法-随机森林
当前阅读>  6. 数学教学系列6:ARMA模型
7. 数学教学系列7:拉格朗日对偶问题
8. 数学教学系列8:梯度下降法
9. 数学教学系列9:B-S期权定价模型