The Davidson Model 声明：本文为本人毕业研究报告《The Exploration of Pairwise Comparison in Football Application》中的部分内容摘录与整理，仅用于学习与交流。 Introduction Roger R. Davidson [3] introduced a scaling constant v, and based o

The Rao-Kupper Model 声明：本文为本人毕业研究报告《The Exploration of Pairwise Comparison in Football Application》中的部分内容摘录与整理，仅用于学习与交流。 Introduction Rao and Kupper [1] extended the Bradley-Terry model [2] for pai

The Bradley-Terry Model 声明：本文为本人毕业研究报告《The Exploration of Pairwise Comparison in Football Application》中的部分内容摘录与整理，仅用于学习与交流。 Introduction The core Bradley-Terry model was proposed by Ralph Allan Bradl

The Thurstone Model 声明：本文为本人毕业研究报告《The Exploration of Pairwise Comparison in Football Application》中的部分内容摘录与整理，仅用于学习与交流。 Introduction The method of paired comparisons, originally proposed by Thurstone

7. 数值稳定 1. 数值稳定性 神经网络的梯度 考虑一个有 d 层的神经网络： ht=ft(ht−1)andy=ℓ⋅fd⋅...⋅f1(x) 计算损失 ℓ 关于参数 Wt 的梯度： ∂ℓ∂Wt=∂ℓ∂hd⋅∂hd∂hd−1⋅...⋅∂ht+1∂ht⋅∂ht∂Wt 链式法则：反向传播时，多个层的梯度相乘，导致数值可能急剧增大或减小。 梯度爆炸与梯度消失 梯度爆炸（Gradien

6. Dropout（丢弃法） 动机 一个好的模型需要对输入数据有抗扰动鲁棒性。 使用带噪声的数据等价于Tikhonov正则（L2正则），是一种正则化手段。 Dropout的本质：在神经网络的层与层之间随机加入噪声。 Dropout的实现方式 对输入 x 加噪声得到 x′，要求 E[x′]=x，保证无偏性。 Dropout对每个元素进行如下扰动（丢弃概率p）： xi′={0,

5. Weight Decay（权重衰退） 权重衰退的作用 权重衰退（Weight Decay） 是通过在损失函数中加入一个正则化项，来限制模型的容量，防止过拟合。 在训练过程中，模型会学习到较小的参数值，从而避免权重过大。 通过对参数加上惩罚项，使得训练过程中模型学习到的参数不会过大，从而抑制过拟合。 权重衰退的公式 权重衰退通过L2范数来实现，即在目标函数中加入一个参数的L2范数

4. Model Selection 模型的选择（过拟合，欠拟合） 1. 模型选择与评估流程 目标：预测谁会偿还贷款 银行委托你调查申请人还款情况 拿到100个申请人数据，其中5人在3年内违约 潜在陷阱与模型偏见 假设你发现所有违约的5人在面试时都穿蓝色衬衫 你的模型也“发现”了这个强信号 思考：这可能导致模型学到无意义甚至有害的“假相关”特征，泛化能力差，容易过拟合

1. 从全连接层到卷积 1. 介绍 全连接层（Fully Connected Layer, FC Layer） 定义：全连接层是最基础的神经网络层，每个输入都和每个输出节点相连，每条连接都有独立的权重。 数学形式：y=Wx+b其中 W 是 m×n 的权重矩阵，b 是偏置项。 卷积（Convolution）层 定义：卷积是一种重要的线性运算，广泛用于信号和图像处理中。它通过一个小的&

3. Multilayer Perceptron 多层感知机 1. 感知机（Perceptron） 感知机模型 感知机是最早的神经网络模型之一，用于二分类问题。 给定输入 x，权重 w 和偏置 b，感知机的输出为： o=σ(⟨w,x⟩+b) 其中，激活函数 σ(x) 定义为：或σ(x)={1x>00 或 −1otherwise 常见二分类标签取 1,−1 或 1,0 模型