Skip to content
读懂论文第 2 / 7 节

预备知识:从自回归到流匹配 ​

论文第 1、2 节提到了一长串前人的工作。做完这一节,你能把它们分成几类,说出 KiT 和每一类的区别,读引言时不会被名字淹没。

第一类:每个市场单独训一个 ​

早期的深度学习方法:LSTM、GRU,或者把 K 线图当图片喂给卷积网络。问题是每个市场、每个预测长度各训一个模型,换个场景就得重来。

后来的 Transformer 预测模型(iTransformer、PatchTST、TFT)在通用基准上更强,TFT 还能输出分位数来表达不确定性,但它们也不是为“一个模型覆盖所有市场”设计的。

第二类:通用时间序列基础模型 ​

借鉴大语言模型的思路:在海量、各领域的时间序列上预训练一个模型,拿来就能用。论文对比的有 Chronos、TimesFM、Sundial。

它们的问题在 K 线上很具体:

  • 只看一条曲线(通常是收盘价),开高低收之间的关系(最高价一定 ≥ 开盘和收盘)它们不知道
  • 很多只给一条预测(Chronos、TimesFM 在论文的对比里只出一条路径,K=1),没有路径分布

第三类:金融专用的基础模型 Kronos ​

Kronos 在大规模多市场 K 线上预训练,最接近 KiT 要做的事。论文指出它有两个问题:

  1. 离散化有损。 它先用一个学出来的量化器把每根 K 线变成离散的 token(像把颜色压成 256 色),再像语言模型一样处理。量化会丢信息,解码时也可能吐出“最高价低于收盘价”这种不可能的 K 线。
  2. 自回归会误差累积。 它一根一根往后生成,每一根都以前面生成的为条件。第 1 根差一点,第 2 根就在错的基础上再差一点,越往后越偏。
排一排自回归模型预测 3 根 K 线,要按什么顺序做?
  1. 1?
  2. 2?
  3. 3?

按先后顺序,一个一个点。

第四类:扩散类生成模型 ​

扩散模型的思路是:训练时把数据一点点加噪变成纯噪声,让模型学会“去噪”;生成时从纯噪声开始,一步步去噪,得到一个样本。图像生成(Stable Diffusion 一类)就是这么做的。

用在时间序列上的有 TimeGrad、CSDI、TSDiff、Diffusion-TS、NsDiff;把随机的扩散过程换成确定的常微分方程路径、采样更快的流匹配变体有 FlowTS、TSFlow;金融领域有 DiffSTOCK。

论文的评价:这些方法都是在小规模、单一领域的基准上提出和测试的,还没有一个被做成金融市场的基础模型。这就是 KiT 要补的空。

流匹配:本课最需要懂的一个概念 ​

KiT 用的是流匹配里的 rectified flow。你在训练那一章已经见过公式,这里换个角度:

  • 想象两堆点:一堆是真实的“未来 20 根 K 线”(数据),一堆是标准正态噪声。
  • 随便配一对(一个数据点、一个噪声点),在它们之间连一条直线。
  • 训练一个网络:给它直线上任意一点和这一点的位置 t,让它说出这条线的方向(噪声 − 数据)。
  • 学会以后,从任意一个噪声点出发,沿着网络指的方向反着走,就走到一个“像真实数据”的点。

和早期扩散模型比,路径是直线,所以几十步就够;和自回归比,整段未来是同时从噪声里走出来的,不存在“前一根错了带偏后一根”。

考考你KiT 相对 Kronos 的两个改进,论文说的是哪两个?

检查一下 ​

  • 我能把论文提到的前人工作分成四类
  • 我能解释自回归为什么会误差累积
  • 我能用“两堆点之间连直线”讲清流匹配在学什么

下一节:精读 3.2:一根 K 线变五个数。

搞懂AI关于我们怎么写隐私说明联系我们

独立的第三方教程,与文中提到的任何产品及其公司没有隶属或合作关系;产品名称和商标归各自所有者。价格和政策以官方页面为准。