今天来做第二章的习题。 我的思考： 训练集的作用是进行参数学习；验证集的作用是选择合适的模型以及超参数组合；测试集的作用是完成模型的最终评估，衡量其在未见样本上的表现。 测试集不参与模型选择和超参数调节的原因是：避免数据泄露，防止模型提前学习到测试集中的一些信息（如数据分布特征等），造成测试结果过于
发布于 2026-09-20
在 Day 6 中学习了机器学习算法的类型与数据的特征表示，今天来学习一些机器学习领域中比较有指导性的理论。 1. PAC 学习理论 计算学习理论是一套能够分析问题难度、计算模型能力，为学习算法提供理论保证，并指导机器学习模型和学习算法的设计的理论。其中最基础的是可能近似正确（Probably Ap
发布于 2026-09-20
在 Day 5 中，我们一起学习了偏差-方差分解的思想。今天来学习机器学习算法的类型与数据的特征表示。 1. 机器学习算法的类型 我们可以依据训练样本中提供的信息以及学习过程中的反馈形式来区分不同范式。 监督学习 监督学习指的是如下这种机器学习范式： 目标是建模样本特征 𝒙
发布于 2026-09-19
在 Day 4 中，我们以简单的线性回归为例，学习了四种机器学习中最常见的参数估计方法。今天来一起学习偏差-方差分解。 1. 偏差-方差分解概述 我们经常会遇到一个问题：拟合能力强的模型一般复杂度会比较高，容易导致过拟合；相反，如果限制模型的复杂度，降低其拟合能力，又可能会导致欠拟合。因此，机器学习
发布于 2026-09-18
在 Day 3 中，我们学习了机器学习算法的优化算法与评价指标，今天通过简单的线性回归模型来具体了解机器学习的一般过程，以及不同学习准则（经验风险最小化、结构风险最小化、最大似然估计、 最大后验估计）之间的关系。 1. 线性回归 线性回归是一种对自变量和因变量之间关系进行建模的回归分析。自变量数量为
发布于 2026-09-17
在 Day 2 中，我们学习了机器学习算法的一般学习准则。今天继续学习优化算法与评价指标。 1. 优化算法 现在我们确定了训练集 𝒟 、假设空间 ℱ 以及学习准则，我们要做的是找到最优的模型 𝑓(𝒙;𝜃*) 。这是一个最优化问题。机器学习的训练过程本质上就是最优化问题的求解过程。 参数与超参
发布于 2026-09-12
在 Day 1 中，我们学习了机器学习的任务以及经典的学习流程，并介绍了机器学习的两个要素：数据集和模型。今天继续学习机器学习的学习准则。 1. 学习准则概述 考虑由 𝑁 个样本组成的训练集 𝒟 ： 在经典监督学习设定中，通常假设每个样本 (𝒙, 𝑦) ∈ 𝒳 × 𝒴 独立地从某个未知但
发布于 2026-09-12
本系列是学校《模式识别与机器学习》专业课 + 邱锡鹏老师《神经网络与深度学习》一书的学习笔记。 1. 什么是机器学习？ 机器学习就是让计算机从观测数据（样本）中进行自动学习，得到某种知识或规律，并将学习到的规律应用于未知或无法观测的数据的预测中。 例如，人们能很轻易地识别出手写体数字图像中的数字到底
发布于 2026-09-10
