date
Mar 30, 2024
icon
password
Pin
Pin
Hide-in-Web
Hide-in-Web
网址
type
Post
slug
note-6
tags
专业课程
笔记
category
学习分享
bottom
bottom
Hide-in-Config
Hide-in-Config
comment
Show
status
Published
summary
宋浩，概统，大二
概率与统计部分笔记我参考了宋浩老师的讲解，但主要还是听校内的老师讲的（这门课是为数不多讲的还行的(●'◡'●)），因此笔记内容大体上是课内 ppt 的截图与解释，不过各大高校的内容基本上都差不多，也可以作为大家的复习参照。如果有想要考南理工的同学可以看这部分的笔记内容。
这门课教材没怎么看，主要是老师都不是按照教材来讲的，因此大家完全可以参照 ppt 的内容，但如果想要更深入了解概统，建议还是细看书（脑壳疼）。
请大家尽量用电脑来进行查看，会有最好的显示效果。
南理工课件资源
课件是南理工老师们辛勤付出后的结果，这里非常感谢老师们的陪伴与教导。请大家将课件自用，勿做商用，既是为了我的网站能够长远陪伴大家，也是希望大家能够尊重老师的成果，我也相信大家的道德水平🤗，笔记仅供学习交流！！
概率与数理统计这门课的框架：
研究的都是“随机事件”，所谓的“机”，指的就是统计规律性。
第一部分(概率)：如何计算概率的问题
第二部分(随机过程)：解决机的问题
第三部分(数理统计)：关于时间的机的问题
第 1 讲 —— 德摩根定律
样本空间和样本点
将随机试验 E 的所有可能结果组成的集合称为 E 的样本空间， 记为 S 。样本空间的元素，即 E 的每个结果，称为样本点。
事件之间的关系
差事件：
德摩根定律：
第 2 讲 —— 古典概型
古典概型又称为等可能概型，它的特点如下：
- 样本空间的元素只有有限个；
- 每个基本事件发生的可能性相同。
古典概型的计算公式如下：
排列与组合
实际推断原理：
概率很小的事件在一次实验中几乎是不发生的。
第 3 讲 —— 频数与频率、条件概率
频数
在相同的条件下，进行了n 次试验， 在 这 n 次试验中，事件 A 发生的次数 nA 称为 事件 A 发生的频数。比值 称为事件 A 发生的频率，并记成 fn(A) 。
概率运算的性质
对于互不相容的事件，有：
条件概率
事件 B 已经发生的条件下事件 A 发生的概率， 记为 P(A|B)。
计算公式如下：
条件概率的可列可加性：
乘法公式：
多个事件下的乘法公式：
第 4 讲 —— 独立性与全概率公式
事件的独立性
如果一个事件满足下面的条件，那么它就是独立的：
对于独立的两个事件，它们之间的关系满足：
互不相容与互不独立两者之间不能同时成立，因为前者说明两个事件是有关联的，而后者则要求两个事件没有关联。
全概率公式
如果随机事件满足以下条件：
则随机事件间可以应用全概率公式：
第 5 讲 —— 贝叶斯公式
贝叶斯公式
如果事件间满足全概率公式的关系：
则有贝叶斯公式：
贝叶斯公式的理解：
n 重伯努利试验
如果随机试验 E 只有两个结果，则称 E 为 Bernoulli 试验。
若独立重复地进行n次 Bernoulli 试验，这里“重复”是指每次试验中事件 A 发生的概率（即每次试验中“成功”的概率）不变，则称该试验为 n 重 Bernoulli 试验．
第 6 讲 —— 分布列及各种常见离散分布的介绍（二项分布、泊松分布、几何分布等）
常见的离散型随机变量的分布列：
（0-1）分布：
又称一重伯努利分布，记作 X~ B(1, p)
二项分布：
记作 X ~ B(n, p)
二项分布的概率最大值点：
泊松分布
若概率满足下图的形式，则为泊松分布。
泊松定理——泊松分布与二项分布之间的联系
当样本数量比较多，一个伯努利事件发生的概率比较小的时候，可以将二项分布等效于一个泊松分布，其中泊松分布的 。
几何分布
如果变量 X 满足下面的公式，则服从几何分布。
几何分布的意义：
令事件 A 发生的概率为 p，则事件 A 不发生的概率为 q，那么几何分布的理解便很直观了，如果一个事件直到第 k 次才发生，那么这个事件便服从几何分布。
超几何分布
如果一个变量满足下面这种形式，则服从超几何分布，记作 X ~ H(N, M, n)。
离散型随机变量的分布列
分布列的图像如下：
分布列需要满足的条件如下：
分布律与分布列的区别
- 分布律是一个函数，描述了随机变量取某个值的概率（离散情况）或概率密度（连续情况）。
- 分布列是分布律在离散情况下的具体表格形式，列出了所有可能取值及其概率。
第 7 讲 —— 分布函数、概率密度函数
分布函数的定义
定义分布函数为 F(x) = P{X ≤ x}，则 P{x₁ < x < x₂} = F(x₂) - F(x₁)
离散型随机变量的分布函数在交界处有跳跃，在到达下一个交界处之前保持不变。
连续型随机变量的分布函数是一个连续型的，单调不减。
概率密度函数的定义
概率密度函数的性质
插曲 —— 离散与连续的区别与联系
第 8 讲 —— 连续型随机变量及其分布（均匀分布、指数分布、正态分布）
均匀分布
均匀分布的概率密度函数如下，记作 X ~ U[a, b]:
均匀分布的分布函数如下：
指数分布
指数分布的介绍
概念：
指数分布得名于其概率密度函数的形状，该函数在数学上与指数函数相关。它是一种描述随机事件发生时间间隔的概率分布，例如等待时间、寿命或其他连续事件的时间间隔
历史背景：
指数分布最早由法国数学家Emile Borel于1913年引入，但它在统计学和概率论中的应用远不止于此。它在可靠性工程、排队论、金融、通信等领域都有广泛的应用。
学习的目的：
- 它是概率论和统计学中的基本概念之一，对于理解其他概率分布和随机过程至关重要。
- 在实际应用中，我们经常遇到服从指数分布的随机事件，例如设备寿命、客户到达时间、网络数据传输时间等。
- 它为我们提供了一种描述随机事件发生时间间隔的数学工具，有助于优化系统和决策
现在或未来的应用：
- 可靠性工程：用于分析设备寿命和故障率。
- 排队论：用于描述到达时间和服务时间之间的间隔。
- 金融：用于建模股票价格变动、利率变化等。
- 通信：用于分析数据包到达时间、信号传输时间等。
指数分布与泊松分布之间的区别：
指数分布用来表示独立随机事件发生的时间间隔，例如旅客进机场的时间间隔、新条目出现的时间间隔等。
泊松分布适用于描述单位时间内随机事件发生的次数，例如客户到达时间、网站访问次数等。
如果某一事件在特定时间间隔（0，t）内发生的次数服从泊松分布（λt），则该事件先后两次发生之间的时间间隔服从指数分布（λ）
分布函数符合下列的这种形式就称为指数分布：
其分布函数 F(x) 的关系如下：
正态分布
如果连续型随机变量的密度函数符合以下形式，则服从正态分布，记作 X ~ N(μ，σ²)
其中，如果 μ = 0，σ² = 1，则 X 服从标准正态分布，其图像如下：
标准正态分布的分布函数：
标准正态分布的一个重要的性质：Φ(-x) = 1-Φ(x)
一般正态分布分布函数的计算公式如下：
第 9 讲 —— 随机变量函数的分布
离散型随机变量的分布
根据下面两个例题即可明白，
例 1：
例题：
解答：
例 2：
例题：
解答：
连续型随机变量的分布
已知 X 的概率密度函数 ，求 Y = g(X) 的概率密度函数的分布。
计算思路：
其实就相当于是一个变量的代换，将 Y 的值用 x 来表示，最终代入 x 的概率密度函数的求解中，转换成关于 y 的表达式，然后将 y 的分布函数进行求导即可。
例题：
题目
解答
定理：
第 10 讲 —— 联合分布函数（二维离散、连续、均匀分布）
联合分布函数的定义：
联合分布函数具有两个未知数，是二维的，具体的概率计算公式如下：
联合分布函数的图像：
上方图像中所表示的其实是连续型函数的联合分布。
联合分布分为离散型和连续型两种，对于离散型联合分布，分布律使用表格的形式给出，对连续型联合分布，分布律使用积分计算的形式计算出来。
联合分布函数的性质：
二维离散型：
也可以使用公式的形式表示离散型随机变量联合分布率：
二维连续型：
二维连续型分布函数的分布律与一维的一样，没有分布列，使用概率密度函数表示联合分布率。
概率密度函数的定义如下：
一个重要性质：
二维均匀分布：
与一维时候类似，二维均匀分布也是使用概率密度函数进行定义的，其定义的公式如下：
上述的概率密度即为联合分布的概率密度。
二维正态分布：
定义二维正态分布的密度函数为
记作 （X, Y）~ N(μ₁，μ₂，σ₁²，σ₂²，r)，其中 r 指的就是相关系数。若两个随机变量 x 和 y 是相互独立的，那么 r = 0。
第 11 讲 —— 边缘分布、二维随机变量的独立性、联合分布密度函数
联合分布函数→边缘分布函数
联合分布率→边缘分布率
上图中 中的 表示取 j 可能的全部取值。
联合密度函数→ 边缘密度函数
二维正态分布的边缘分布函数
一维正态分布中的参数与二维正态分布的 r 无关。
注意：由二维正态分布的边缘分布（一维正态分布）无法推出二维正态分布。
二维随机变量的独立性
定义：
离散型二维随机变量的独立性：
连续型随机变量的独立性：
上述等式只要满足对于几乎所有的 x 和 y 满足即可。
对于几乎所有的 x 和 y 满足指的是不成立的全体点 (x，y) 所成集合的“面积”为 0。
正态随机变量的独立性：
则 x 和 y 相互独立的充分必要条件就是 r = 0。
第 12 讲 —— 条件分布 （⭐）
条件分布的理解
离散型随机变量的条件分布
例题
题目：
解答：
连续型随机变量的条件分布
指的是 在{Y=y}已发生的条件下，{X≤x}发生的条件概率 P{X≤x|Y=y} (x ∈ R1)(由于在某一点求取概率值没有意义，因此推导过程中采用的是在很小的区间内求概率取极限的方式来计算), 其定义公式如下 ：
记作 P{Y<y |X=x} 或 。
进一步地，有
推导过程：
联合分布、边缘分布和条件分布三者之间的关系
第 13 讲 —— 两个随机变量函数的分布 (⭐) —— 和的分布、极值分布
实际意义
一般情形的问题
随机变量和的分布
离散型随机变量和的分布：
泊松分布的和的分布：
连续型随机变量和的分布：
若 X 与 Y 没有说明相互独立，则满足以下式子：
若说明了相互独立：
因此只要两个随机变量是相互独立的，它们和的分布就可以通过卷积来进行计算。
例题：
题目
求解方式
对于两个服从正态分布的随机变量而言，它们的和的分布满足以下的性质：
更一般的结论：
随机变量商的分布
随机变量的极值分布
第 14 讲 —— 数学期望
数学期望的理解
数学期望指的就是理想状态下的平均值。至于为什么叫这个名字，当时老师说可能是因为翻译问题😅
数学期望的性质
离散型随机变量的数学期望
连续型随机变量的数学期望
连续型随机变量的数学期望的公式可以通过离散型数学期望的公式来理解。
上述公式中， 表示的是概率密度函数在 dx 这一小段的面积，即概率 ，而在这一点处的 x 实际上为 。
因此， 。
随机变量函数的数学期望
正态分布的期望
对于（0，1）的正态分布而言，它的期望计算公式具有如下规律：
这个积分的计算涉及到一些高级的数学技巧。具体来说，我们可以先计算 ，其中 是非负整数。对于标准正态分布的随机变量 ，我们有 。对于 ，我们有 ，所以，我们可以递归地计算 。当然，也可以通过 计算出 = 1。特别地，我们有 。
第 15 讲 —— 方差、契比雪夫不等式
定义
计算方差的公式
计算方差有两种方法：
- 定义法
定义法就是利用前面介绍的 来求；
- 公式法
公式法的计算公式及推导如下：
方差的性质
联合分布函数求期望和方差
契比雪夫不等式
几种常见分布的方差
- 两点分布。DX = pq
- 二项分布。DX = npq
- 泊松分布。DX = λ
- 均匀分布。DX =
- 指数分布。DX =
- 正态分布。DX = 1
第 16 讲 —— 协方差及相关系数、矩
期望和方差考察的是单个变量的变化，协方差考察的是两个随机变量之间的变化关系。
协方差及相关系数的定义：
协方差的性质：
相关系数的性质：
即 Y 始终等于它的期望 。
此时，可以通过计算得知 。
相关系数的意义：
矩：
第 17 讲 —— 大数定理、中心极限定理
大数定理和中心极限定理引入的原因：
- 大数定理：
- 大数定理告诉我们，随着样本量的增加，样本的平均值会趋向于总体的期望值，但是每个样本并不是一定会在期望附近发生的。这个定理解释了在重复试验中，随机变量的平均值会趋近于其期望值的现象。这种规律性对于理解概率事件的长期行为非常重要，它使我们能够从有限的观测中推断出总体的特征。
- 因此在接下来的介绍和证明中，目的都是为了要证明样本的平均值会趋向于总体的期望值，对于离散型的随机变量而言，如二项分布，其期望值就是 np。
- 在下面引入的多个随机变量序列实际上就是表示重复试验中的每一次试验，因此这些试验常常是满足独立同分布条件的，而且具有相同的期望和方差，这为下面定理合理性的理解有帮助。
- 中心极限定理：
- 中心极限定理描述了当样本量足够大时，样本均值的分布将近似于正态分布，不论总体的分布形态如何。这个定理揭示了一个非常重要的现象，即许多随机变量的和（或均值）在一定条件下近似服从正态分布。这对于统计推断和假设检验是至关重要的，因为正态分布具有许多方便的性质，使得我们可以进行更准确的推断和估计。
大数定理：
引入：
定义：
记住上述依概率收敛的符号表示。
上面的 Y₁ ~ Yn 可以这样理解：以投骰子的情况为例，Y₁ 表示第一次投骰子的时候的点数，Y₂ 表示第二次，以此类推，则从 Y₁ ~ Yn 这 n 个随机变量每个随机变量都有其期望与方差，Y₁ 的取值为 1 点到 6 点，直到 Yn 都是。
契比雪夫大数定律——相互独立且有相同期望方差
证明：
贝努里大数定律——没有期望方差要求
证明：
辛钦大数定理——相互独立同分布，无方差要求
中心极限定理
定义：
独立同分布的中心极限定理：
德莫佛-拉普拉斯定理：
第 18 讲 ——（ 数理统计）总体与样本、抽样分布
总体与样本的定义：
统计量：
注意上述对于统计量的描述，统计量中的每个变量都需要是已知量，这样才能达到统计的目的。
统计量是样本的函数，它是一个随机变量，统计量的分布称为抽样分布。
常用的统计量——样本均值和样本方差：
方差公式的证明：
这个公式是样本方差的计算公式的两种形式之间的等价转换。这里的 是样本方差， 是样本中的每个观察值， 是样本均值， 是样本大小。下面我会解释为什么这两个公式是等价的。
首先，我们从左边的公式开始：
这个公式的意思是，样本方差等于每个观察值与样本均值之差的平方和，然后除以 。
现在，我们将每个观察值与样本均值之差的平方展开：
将这个结果代入原来的公式，我们得到：
这个求和可以被拆分为三个部分：
注意到 ，所以第二部分和第三部分可以合并，我们得到：
这就是右边的公式，所以这两个公式是等价的。
样本方差为什么是除以 n-1 呢？
在计算样本方差时，我们通常会使用 作为分母，而不是 。这种做法被称为使用 "Bessel的修正"。这主要是因为在统计学中，我们通常是从一个样本中估计总体的参数，如总体的方差。如果我们只有样本数据，那么我们计算出的样本均值 是总体均值 的一个估计。当我们计算每个数据点与均值的差的平方和时，我们实际上是在计算每个数据点与样本均值的距离，而不是与总体均值的距离。因此，我们的估计会低估真正的总体方差。为了修正这个偏差，我们使用 而不是 作为分母。这种做法使用了 "自由度" 的概念。在这个情况下，自由度是 ，因为我们已经用了一个 "自由度" 来计算样本均值。这种修正使得我们的估计是无偏的，也就是说，如果我们从同一个总体中取很多不同的样本，然后对每个样本计算方差，这些方差的平均值将等于总体方差。如果我们使用 作为分母，那么我们的估计将会低估总体方差，也就是有偏的。需要注意的是，当样本大小 很大时，使用 或 作为分母的差别就不大了。但是在样本量较小的情况下，使用 可以显著改善估计的准确性。
样本均值、样本方差、样本均值的方差计算
证明过程
卡方分布
t 分布
F 分布
定义：
性质：
抽样分布
正态总体下的抽样分布
也就是说从总体分布为 正态分布 的随机变量中抽取样本，构造统计量的分布。
性质（一个正态总体）：
性质（两个个正态总体）：
第 19 讲 —— 参数估计
点估计问题
统称估计量与估计值为对未知参数的估计。
矩估计法
ppt 官方解释：
宋浩的解释：
所谓的参数估计就是利用样本的均值或是方差估计总体的均值和方差，由于原点矩和中心矩与总体的方差和期望有着对应的关系，因此利用矩估计法计算出样本的均值和方差。
正态分布的参数估计：
泊松分布的参数估计：
均匀分布的参数估计：
上图是作图的推导过程。
离散分布的参数估计：
极大似然估计法
引入：
极大似然估计法的解题步骤与例题理解：
左侧是解题步骤，右侧是例题理解。图中的例题是关于泊松分布的。接下来说说每一步具体都是什么含义：
- 第一步是写出概率函数或是密度函数，明确需要求解的变量；
- 第二步是写出似然函数，先将样本的观测值（观测值即是一个已知值，是常数）使用 的方式表示并代入概率（密度）函数，由于不同样本之间是相互独立同分布的，因此一组样本观测值发生的概率就是将每一个样本观测值发生的概率相乘，相乘后的结果即是似然函数；
- 写出似然函数后，如何确定参数呢？似然函数中一般会含有待求的未知参数，因此只要求解出使得似然函数取得最大值时的参数值，即可达到目的，因此，接下来需要对似然函数进行求导，算最大值，也就是导数为 0 时的值。由于连乘情况下求导过于复杂，因此对似然函数两边取对数后再求导。
- 令导数为 0，即求解出未知参数。
上图泊松分布中的最后结果与矩估计法中的一阶原点矩的结果是一致的。
例题——分布列（已知样本值）：
例题——指数分布（连续函数）：
例题——正态分布（多参数求解）：
例题——均匀分布（不适用求导的特例）：
第 20 讲 —— 点估计的优良策略
无偏性：
对于总体的分布没有要求，总体的分布对上述结论没有影响。
无偏估计的性质：
均值：
上图说明，仅通过无偏性无法正确的判定估计值是否优良。
有效性：
相合性：
第 21 讲 —— 置信区间
需要考虑区间长度和落到区间的概率两个参量。
区间长度越小越好，概率越大越好。
置信区间：
枢轴变量：
简单地说就是一个未知且难测的量加上一个已知的量后变成未知且可测的量。
枢轴变量的性质：
选择 作为区间的一个端点的原因是因为这样的区间长度是最短的，如上图所示如果给定的 1-α 为 90%，则在中间区域的概率为 90% 的情况下，区间的长度是最短的。
那么 枢轴变量 这个名词怎么理解呢？枢轴变量作为一个未知值，是不等式的中心，类似枢轴一样的存在，门绕着枢轴可以旋转，枢轴变量可以通过已知边界的不等式求出未知量的取值范围。
正态分布均值的区间估计：
已知，μ 未知：
例题：
未知，μ 未知：
正态分布方差的区间估计
区间估计总结表：
第 22 讲 —— 假设检验
假设检验就是判定一个假设是否成立的过程。
原假设和备择假设
原假设使用符号 表示，备择假设与原假设的内容相反，使用符号 表示。
一般题目中说某个量应该怎么样时可以设这个量为原假设，而这个量不应该怎么样的假设可以设置为备择假设。
假设的分类
假设可以分为参数假设和非参数假设两种。在假设中，有可能参数是未知的，也有可能分布的类型是未知的，针对不同的问题有不同的假设检验方法。
假设检验的问题
假设检验的基本思想
法则的确定(基本思想)：
假设检验的步骤:
假设检验可能产生的两个错误
奈曼-皮尔逊原则：
检验均值 —— 利用 正态分布和 t 检验法
U 检验法 —— 已知，μ 未知
例题：
t 检验法 —— 未知，μ 已知
检验方差 —— 利用卡方分布检验法
- 已知，利用 。
- 未知，利用 。
两个正态分布总体的参数检验 —— 利用正态分布
- 检验均值。
- 检验方差。
第 24 讲 —— 随机过程
这一部分其实只是看起来比较复杂，其实也就是将先前所学的知识做了扩展而已。之前都是针对随机变量的考虑，如今是将随机变量扩展到了时域中，当时间 t 是固定的时候，随机过程就是随机变量，当变量 x 是固定的时候，随机过程就是一个与时间有关的函数。
定义：
如，某地某日一昼夜气温的变化情况{X(t),0<t<24}， X(t)表示 t 时刻的气温。
样本函数实际上就是我们之前理解的随机变量，现在只是对之前学习的随机变量的表示范围进行扩展，针对每一个状态都设置一个随机变量，因此才有了上面的 X(ω，t)。
分类 —— 离散和连续
分布函数
均值函数和方差，相关函数和协方差函数：
均值函数：
示例：
均方值函数：
相关函数和协方差函数：
五个函数间的关系：
第 25 讲 —— 常见随机过程
独立增量过程
独立增量过程表明了不同时间区间的增量过程是相同的，独立增量过程是齐次的表明时间区间相同的增量过程具有相同的分布。
维纳过程（布朗运动）
即维纳过程是一个独立增量过程，在时间区间相同的情况下，增量之间服从同一个分布 —— 正态分布。
正态过程
维纳过程是正态过程。
泊松过程
泊松过程既是独立增量过程，也是齐次的。
马尔可夫过程 ×
初值为零的独立增量过程是马尔可夫过程，证明如下：
转移概率：
马尔可夫过程的基本概念
- 马尔可夫过程是一种特殊的随机过程，它描述了一个系统在不同状态之间的转移。
- 状态集合 ：这是系统可能处于的所有状态。
- 条件概率 ：这是描述系统在时刻 t 处于状态 ，然后在时间间隔 后转移到状态 的概率。
公式解释
- 非负性：
- 转移概率永远不会是负数。就是说，从一个状态转移到另一个状态的概率至少是0（最小是0，最大是1）。
- 概率和为1：
- 从一个状态转移到所有可能状态的概率加起来总是1。比如你在家（状态 ），你可能会去上学、去公园或待在家（所有可能的状态），这些概率加起来一定是100%。
- 转移概率的分解：
- 这个公式描述了通过一个中间状态的转移过程。意思是，系统可以先从 转移到中间状态，再从 转移到最终状态 。比如你从家（状态）先去上学（状态 ），再从上学（状态 ）去公园（状态）。
总结
马尔可夫过程描述的是系统从一个状态转移到另一个状态的概率。转移概率有以下三个性质：
- 概率是非负的（不会是负数）。
- 从一个状态到所有可能状态的概率和为1。
- 可以通过中间状态分解转移过程的概率。
性质 3 称为 C-K 方程
马尔可夫链 ×
齐次马尔可夫链与非齐次马尔可夫链的区别在于转移概率是否随时间变化。
齐次马尔可夫链
在齐次马尔可夫链中，转移概率是固定的，即从一个状态转移到另一个状态的概率不随时间变化。
用比喻解释：
假设你每天从家里去学校，有三种方式：步行、骑自行车和坐公交车。齐次马尔可夫链的意思是，无论你是星期几，这三种方式的选择概率都是一样的。比如，步行的概率是0.5，骑自行车的概率是0.3，坐公交车的概率是0.2。那么无论今天是星期一还是星期五，这些概率都不会变。
非齐次马尔可夫链
在非齐次马尔可夫链中，转移概率是时间依赖的，即从一个状态转移到另一个状态的概率随时间变化。
用比喻解释：
还是同样的例子，假设你从家里去学校的方式随时间变化。星期一步行的概率可能是0.5，星期二步行的概率变成0.4，星期三步行的概率变成0.6。骑自行车和坐公交车的概率也会随时间变化。在这种情况下，你选择哪种方式就取决于当天的具体情况，而不是固定不变的。
多步转移概率
多步转移概率 是指从状态 在 𝑛 步后到达状态 的概率。
用比喻解释：
假设你现在在格子A，想知道经过 n 步后到达格子B的概率，这就是多步转移概率。
转移概率矩阵
转移概率矩阵 𝑃 是一个方阵，每个元素 表示从状态 转移到状态 的概率。对于n步转移矩阵 𝑃(𝑛)，可以通过转移矩阵的n次方来得到： 。
用比喻解释：
想象一个表格，每一行代表当前的格子，每一列代表可能走到的下一个格子，表格中的数字表示从当前格子走到下一个格子的概率。n步后到达某个格子的概率可以通过多次相乘这些概率来得到。
第 26 讲 —— 平稳过程
严平稳过程：
宽平稳过程：
因此，要想证明一个过程是宽平稳过程，就需要证明它满足以上的两个条件——均值为常数，自相关系数仅仅与时间差有关。
例题：
严平稳过程与宽平稳过程
严平稳过程如果是二阶矩过程，那么它就是宽平稳过程；而宽平稳过程未必是严平稳过程。
白噪声序列：
自相关函数性质：
性质 3 说明，函数同一个时刻的相关系数比与其他时刻的相关系数来的小。
互相关函数性质(联合平稳)：
第 27 讲 —— 各态历经性（不考，但有一个公式比较重要）
将历史的值当作是当前的值，判断是否可行的方法 。以空间换取时间。
如果有考，下面的公式比较重要：
第 28 讲 —— 功率谱密度
帕斯瓦尔定理：
这个公式涉及信号处理和随机过程的频域分析。它展示了时域能量和频域能量之间的关系，特别是通过傅里叶变换进行的频域分析。
公式解释
这条公式中的各个部分的含义如下：
- 左侧积分 ：这是信号 x(t) 在时域上的总能量。对于一个连续时间信号 x(t) ，它表示在整个时间轴上的能量总和。
- 右侧积分 ：这是信号 x(t) 在频域上的能量。具体来说：
- 是信号 x(t) 的傅里叶变换，表示信号在频域上的表示。
- 是傅里叶变换的模平方，表示信号在频率 处的能量密度。
- 是一个归一化常数，用于确保能量守恒的归一化。
物理意义
这个公式表达了时域能量和频域能量的等价性，即 Parseval 定理的一个形式。Parseval 定理表明一个信号的总能量可以通过它在时域的平方和来计算，也可以通过它在频域的能量密度函数来计算。这个公式在信号处理和随机过程分析中有着重要的物理意义：
- 能量守恒：无论是在时域还是频域，信号的总能量是守恒的。这意味着时域和频域提供了信号的两种不同但等价的表示方法。
- 频域分析：通过傅里叶变换，我们可以将信号分解成不同频率成分的叠加。频域上的能量分布提供了信号的频谱特性，对于分析信号的频率特性和滤波器设计非常有用。
- 信号分析：在实际应用中，通过分析频域上的能量分布，我们可以识别信号的主要频率成分，噪声特性以及信号中的谐波和干扰成分。
- 应用广泛：这个公式在通信系统、音频处理、图像处理、控制系统和振动分析等领域都有广泛的应用。例如，在通信系统中，通过频域分析可以优化频谱使用，减少干扰，提高信号传输的效率和质量。
（平均）功率谱密度
时域和频域的平均功率：
功率谱密度：
平稳过程的功率谱密度
其中， 表示的是均方值函数。
已知 求 —— 利用留数定理
已知 求 —— 利用傅里叶变换
随机过程与随机变量之间的独立性
对于随机变量和随机过程的独立性判定及其性质如下：
随机变量的独立性
判定：
- 两个随机变量 X 和 Y 独立，当且仅当它们的联合分布函数可以分解为边缘分布函数的乘积，即 对所有 x 和 y 成立。
- 等价地，随机变量 X 和 Y 独立，当且仅当对于所有的 x 和 y ，联合概率密度函数或联合概率质量函数可以表示为边缘概率密度函数或边缘概率质量函数的乘积，即 。
性质：
- 如果 X 和 Y 独立，则 E[XY] = E[X]E[Y]。
- 如果 X 和 Y 独立，则 ，即协方差为零。
- 但是，协方差为零（即相关系数为零）不一定意味着随机变量独立。例如，非线性关系的随机变量可以具有零相关系数但不独立。
随机过程的独立性
判定：
- 两个随机过程 独立，当且仅当对于任意有限的时间点集合 ，随机向量 与 独立。
- 形式化地，联合分布可以表示为边缘分布的乘积：对于所有 和 ，有 。
性质：
- 如果 X(t) 和 Y(t) 独立，则对于任何时间点 t ， X(t) 和 Y(t) 是独立的。
- 独立的随机过程的联合过程的统计性质可以通过各个独立过程的统计性质推导。
- 对于独立的平稳过程，联合过程也是平稳的。
独立与相关的关系
- 独立性 相关系数为零：如果两个随机变量 X 和 Y 独立，那么它们的协方差为零，即相关系数 。
- 相关系数为零 独立性：相关系数为零并不一定意味着两个随机变量是独立的。零相关只意味着线性无关，但随机变量之间可能存在非线性关系。例如，考虑 ，令 。尽管 ，因为 （对于中心对称分布），但 X 和 Y 明显不是独立的，因为知道 Y 的值可以提供 X 的信息（即 X ) 的绝对值）。
总结：
- 独立性意味着相关系数为零，但相关系数为零不一定意味着独立性。
- 对于随机过程的独立性，联合分布必须满足独立性条件，即可以表示为各边缘分布的乘积。