引言TimesNet是Tsinghua发表在ICLR 2023上的一篇论文，将时间序列按周期内变化和周期间变化两个视角建模，在时序预测，补全，分类，异常检测上达到了SOTA的性能。 TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis 时间序列数据分析在天气预报，金融预测，工业监控等领域有着广泛的应用

扩散模型（Diffusion Model）是一种生成式模型，广泛应用于图像生成、音频合成等领域。它通过模拟数据分布的扩散过程来生成新的样本。

在概率统计中，有两大类方法，生成式方法和判别式方法。生成式方法是指通过学习数据的分布来生成新的数据，而判别式方法则是通过学习数据的标签来进行分类。 生成式模型学习给定观测变量和目标变量的联合概率分布，判别式模型学习给定观测变量和目标变量的条件概率分布。生成式模型能用于随机生成观测实例或目标实例，在机器学习领域，有着广泛的应用，如生成新的文本，图像等。 Wikipedia: 生成式模型 3D生成

1. 前馈网络层llama3模型的前馈网络层代码如下 123456789101112131415161718192021222324252627282930313233343536373839404142class FeedForward(nn.Module): def __init__( self, dim: int, hidden_dim: in

1. General Attention Model A General Survey on Attention Mechanisms in Deep Learning - 2023 input matrix: feature model: extract features from input matrix to get feature vectors query model:

1. 分词和词嵌入分词是将原始文本切分成一系列基本单位(tokens)的过程，将连续文本转换为离散的标记序列，便于模型处理。常见算法包括基于空格/规则的分词，BPE(Byte-Pair Encoding)和WordPiece等。 词嵌入是将token(词或子词)映射到低维连续向量空间，将离散符号转换为捕捉语义关系的连续向量表示。常见的词嵌入模型包括Word2Vec, GloVe, FastText

1. 为什么需要位置编码 词向量本身没有不包含位置信息。 自注意力机制对词向量的排布不敏感，无法区分词序。 知乎: Transformers 中，词向量的排列本身就包含了位置信息，为什么还需要位置编码？ Arxiv: Transformer Language Models without Positional Encodings Still Learn Positional Informati

采样策略LLM通过自回归的方式，一步步预测出可能的下一个token。每次预测时，模型会输出一个概率分布，表示每个token作为下一个token的可能性。为了从这个分布中采样出一个具体的token，通常会使用一些采样参数来控制采样的方式和结果。这个过程的设计称为解码策略，分为候选集筛选和采样两步。 候选集筛选：通过temperature、top_k和top_p等参数来调整原始的概率分布，筛选出一部

SuperRocket: Efficiently Selecting Kernel-based Transformations for Fast and Accurate Time Series ClassificationIntroduction时间序列分类相关工作 UCR Archive: 85 datasets TSC领域中的训练测试数据集. 评测指标包括Euclidean distance

0 概率论基础期望和方差，协方差，相关系数 对于连续的情形，设的概率密度函数为，则 已知随机变量和的联合概率密度函数为，则 相关系数 已知随机变量和, 则 1.1 统计量设总体的分布律为，是来自的一个样本，是相应的样本值，是样本值的函数，不含未知参数，即是的已知函数，称为统计量。 样本均值 样本方差 修正样本方差 样本标准差 样本阶矩 定理1.2设是取自总体的一个样本，,