AI数学基础：线性代数与概率统计详解
(11) feilong.org 修订于2026-08-07 09:13:47 AI教程什么是AI的数学基础？
人工智能的核心算法依赖于数学工具的支撑。线性代数为数据表示和变换提供框架，概率统计则用于建模不确定性与推理。本文将系统讲解这两个领域的核心概念及实践应用。
---
一、线性代数：从向量到矩阵运算
1. 基本概念
- 向量（Vector）：有序数组，表示空间中的点或方向。例如，三维向量 $ \mathbf{v} = [v_1, v_2, v_3] $。
- 矩阵（Matrix）：二维数组，用于线性变换和系统方程求解。
- 行列式（Determinant）：描述矩阵缩放因子，计算公式为 $ \det(A) = ad - bc $ 对于 2x2 矩阵 $ A = \begin{bmatrix} a & b \\ c & d \end{bmatrix} $。
2. 核心运算
- 矩阵乘法：满足结合律但不满足交换律，例如 $ C = AB $ 的元素为 $ c_{ij} = \sum_k a_{ik}b_{kj} $。
- 特征值与特征向量：满足 $ Ax = \lambda x $ 的标量 $ \lambda $ 和向量 $ x $，常用于主成分分析（PCA）。
|
1 2 3 4 5 6 |
import numpy as np 创建矩阵并计算行列式 A = np.array([[2, 0], [1, 3]]) det_A = np.linalg.det(A) print("行列式结果:", det_A) 输出: 行列式结果: 6.0 |
3. 应用场景
- 神经网络：权重矩阵通过矩阵乘法处理输入数据。
- 图像处理：二维数组表示像素，卷积操作依赖矩阵运算。
---
二、概率统计：从分布到贝叶斯推理
1. 基础概念
- 随机变量（Random Variable）：描述实验结果的数值函数，分为离散型（如抛硬币）和连续型（如正态分布）。
- 概率分布：
- 离散分布：伯努利分布 $ P(X=1) = p $，泊松分布 $ P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} $。
- 连续分布：正态分布 $ N(\mu, \sigma^2) $，概率密度函数为 $ f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)} $。
2. 关键统计量
- 期望（Expectation）：离散变量的加权平均，$ E[X] = \sum xP(X=x) $。
- 方差（Variance）：衡量分布分散程度，$ Var(X) = E[(X - E[X])^2] $。
|
1 2 3 4 5 6 7 |
import scipy.stats as stats 计算正态分布的期望与方差 mu, sigma = 0, 1 normal_dist = stats.norm(mu, sigma) print("期望:", normal_dist.mean()) 输出: 期望: 0.0 print("方差:", normal_dist.var()) 输出: 方差: 1.0 |
3. 贝叶斯定理与应用
贝叶斯公式：$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $，用于更新概率信念。例如垃圾邮件分类中，计算某词为垃圾邮件的概率。
|
1 2 3 4 5 6 7 |
贝叶斯定理示例（简化版） p_a = 0.01 先验概率 P(A) p_b_given_a = 0.8 P(B|A) p_b_given_not_a = 0.1 P(B|\neg A) p_b = p_b_given_a * p_a + p_b_given_not_a * (1 - p_a) p_a_given_b = (p_b_given_a * p_a) / p_b print("P(A|B):", p_a_given_b) 输出: P(A|B): 0.4444444444444444 |
---
三、综合实践：从理论到模型构建
1. 线性回归中的数学基础
线性回归假设目标变量 $ y = \mathbf{w}^T \mathbf{x} + b $，通过最小化均方误差（MSE）求解参数。
$$
\text{MSE} = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2
$$
2. 概率图模型中的统计推断
贝叶斯网络通过有向无环图表示变量间的条件依赖关系，利用概率规则进行推理。
---
四、总结与延伸阅读
线性代数和概率统计是AI的基石，掌握这些工具能帮助理解深度学习、自然语言处理等领域的核心算法。建议进一步学习：
- 矩阵分解（如SVD）在推荐系统中的应用
- 随机过程（马尔可夫链）与强化学习的关系
- 信息论（熵、交叉熵）在模型训练中的角色
通过理论结合代码实践，读者将建立坚实的数学基础，为深入探索AI技术奠定基石。
更新网址：https://feilong.org/ai-mathematics-foundations
最初发布：20260807 09:13:47 feilong.org 于广州
加入收藏夹，查看更方便。