龙采网站建设案例,电脑培训学校,在线网站建设价格多少,小程序订货系统zi,t∈Rz_{i,t}\in \mathbb{R}zi,t∈R表示时间序列iii在ttt时刻的值。给一个连续时间段t∈[1,T]t\in [1, T]t∈[1,T]#xff0c;将其划分为context window[1,t0)[1,t_0)[1,t0)和prediction window[t0,T][t_0,T][t0,T]。用context window的时间序列预测prediction window…zi,t∈Rz_{i,t}\in \mathbb{R}zi,t∈R表示时间序列iii在ttt时刻的值。给一个连续时间段t∈[1,T]t\in [1, T]t∈[1,T]将其划分为context window[1,t0)[1,t_0)[1,t0)和prediction window[t0,T][t_0,T][t0,T]。用context window的时间序列预测prediction window的时间序列的目标分布是 P(zi,t0:T∣zi,1:t0−1,xi,1:T)P(\mathbf z_{i,t_0:T} | \mathbf z_{i,1:t_0-1}, \mathbf x_{i,1:T}) P(zi,t0:T∣zi,1:t0−1,xi,1:T)其中xi,t\mathbf x_{i,t}xi,t是协变量(covariate)也就是特征可以是时间相关的也可以是序列相关的比如day-of-the-week、hour-of-the-day等。 作者用自回归autoregressive模型建模上面时间序列的概率 QΘ(zi,t0:T∣zi,1:t0−1,xi,1:T)Πtt0TQΘ(zi,t∣zi,1:t−1,xi,1:T)Πtt0Tl(zi,t∣θ(hi,t,Θ))Q_\Theta(\mathbf z_{i,t_0:T} | \mathbf z_{i,1:t_0-1}, \mathbf x_{i,1:T})\Pi_{tt_0}^TQ_\Theta(z_{i,t} | \mathbf z_{i,1:t-1}, \mathbf x_{i,1:T}) \Pi_{tt_0}^T l(z_{i,t} | \theta(\mathbf h_{i,t}, \Theta)) QΘ(zi,t0:T∣zi,1:t0−1,xi,1:T)Πtt0TQΘ(zi,t∣zi,1:t−1,xi,1:T)Πtt0Tl(zi,t∣θ(hi,t,Θ))其中hi,th(hi,t−1,zi,t−1,xi,t,Θ)\mathbf h_{i,t} h(\mathbf h_{i,t-1}, z_{i, t-1}, \mathbf x_{i,t}, \Theta)hi,th(hi,t−1,zi,t−1,xi,t,Θ)是RNN的隐含表示。likelihood l(zi,t∣θ(hi,t,Θ))l(z_{i,t} | \theta(\mathbf h_{i,t}, \Theta))l(zi,t∣θ(hi,t,Θ))是一个分布参数由θ(hi,t,Θ)\theta(\mathbf h_{i,t}, \Theta)θ(hi,t,Θ)给出。
likelihood l(zi,t∣θ(hi,t,Θ))l(z_{i,t} | \theta(\mathbf h_{i,t}, \Theta))l(zi,t∣θ(hi,t,Θ))的参数由网络预测例如分布的mean和variance。具体地作者对实数值选择Gaussian likelihood对正的计数值选择negative-binomial likelihood。
优化目标是最大化log-likelihood L∑i1N∑tt0Tlogl(zi,t∣θ(hi,t))\mathcal L \sum_{i1}^N \sum_{tt_0}^T \log l(z_{i,t} | \theta(\mathbf h_{i,t})) Li1∑Ntt0∑Tlogl(zi,t∣θ(hi,t))因为模型没有隐变量所以不需要inference可以直接用梯度下降优化。需要优化的参数Θ\ThetaΘ包含RNN的参数和计算分布参数的参数。
