最主要的是线性代数和概率论。
线性代数现在最流行的机器学习模型,神经网络基本是就是一大堆向量、矩阵、张量。从激活函数到损失函数,从反向传播到梯度下降,都是对这些向量、矩阵、张量的操作和运算。
其他“传统”机器学习算法也大量使用线性代数。比如线性回归
听名字就知道和线性代数关系密切了。
而主成分分析,从线性代数的观点看,就是对角化协方差矩阵。
概率特别是当你读论文或者想深入一点的时候,概率论的知识非常有帮助。
包括边缘概率、链式法则、期望、贝叶斯推理、最大似然、最大后验、自信息、香农熵、KL散度,等等。
其他神经网络很讲究“可微”,因为可微的模型可以通过梯度下降的方法优化。梯度下降离不开求导。所以多变量微积分也需要。另外,因为机器学习是基于统计的方法,所以统计学的知识也缺不了。不过大部分理工科应该都学过这两块内容,所以这也许不属于需要补充的内容。