投资组合优化

有效半方差

ES

inf

实对称矩阵的性质

1. 对称性质：一个实对称矩阵 $A$ 满足 $A = A^T$ ，即矩阵等于其转置。

2. 实特征值：所有的特征值都是实数。这是实对称矩阵的一个非常重要的性质，与之对应的是非对称矩阵可能会有复数特征值。

3. 正交对角化：实对称矩阵可以被正交对角化。具体来说，对于任意的实对称矩阵 $A$，**存在一个正交矩阵 $P$ （即满足 $P^T P = I$ ）**和一个对角矩阵 $D$ ，使得

   $$ A = PDP^T \\ P^TAP= D $$

   • 其中，对角矩阵 $D$ 的对角线上的元素是 $A$ 的特征值，而 $P$ 的列向量是 $A$ 的对应特征向量。这意味着实对称矩阵可以通过正交变换变为对角矩阵，这个过程称为对称矩阵的谱分解。

4. 正定性：对于实对称矩阵 $A$，如果对于所有非零实向量 $x$ ，都有 $x^T A x > 0$ ，则称 $A$ 是正定的。类似地，如果对于所有非零实向量 $x$ ，都有 $x^T A x \geq 0$ ，则称 $A$ 是半正定的。

   • 实对称矩阵的特征值的符号决定了它的正定性或半正定性。

5. 对称矩阵的奇异值分解：实对称矩阵 $A$ 可以进行奇异值分解，形式为

   $$ A = U \Sigma U^T

   $$

   • 其中， $U$ 是正交矩阵，$\Sigma$ 是对角矩阵，对角线上的元素是 $A$ 的奇异值。

正则化

正则化（Regularization）是机器学习和统计建模中的一种技术，旨在防止模型过拟合（overfitting），即模型在训练数据上表现很好但在新数据上表现不佳。过拟合通常是因为模型太复杂，能够记住训练数据中的噪音和细节，而不是学习到数据的基本模式。正则化通过在模型训练过程中引入某种形式的约束或惩罚，限制模型的复杂度，从而提升模型在新数据上的泛化能力。

常见的正则化方法包括：

1. L2正则化（Ridge回归）： 在损失函数中加入所有模型参数平方和的惩罚项。这个惩罚项可以防止参数变得过大，从而使模型更平滑。具体来说，L2正则化的损失函数形式为：

   $$ \text{Loss} = \text{Loss}_{\text{original}} + \lambda \sum{i} w_i^2

   $$

   其中，\(\lambda\)是正则化强度的超参数，\(w_i\)是模型的参数。

2. L1正则化（Lasso回归）： 在损失函数中加入所有模型参数绝对值和的惩罚项。L1正则化可以产生稀疏模型，即使许多参数变为零，从而可以进行特征选择。L1正则化的损失函数形式为：

   $$ \text{Loss} = \text{Loss}{\text{original}} + \lambda \sum{i} |w_i|

   $$

3. Elastic Net： 将L1和L2正则化结合起来，既可以产生稀疏解，又可以保持模型的稳定性。Elastic Net的损失函数形式为：

   $$ \text{Loss} = \text{Loss}{\text{original}} + \lambda_1 \sum{i} |w_i| + \lambda_2 \sum_{i} w_i^2

   $$

   其中，$\lambda_1$和$\lambda_2$分别控制L1和L2正则化的强度。

4. Dropout： 主要用于神经网络中，通过在训练过程中随机丢弃一部分神经元，防止神经元间的共适应关系，从而降低过拟合。

5. 早停（Early Stopping）： 在训练过程中监控模型在验证集上的性能，当性能不再提升时，停止训练。这可以防止模型在训练数据上过度拟合。