「ML」 机器学习问答
| 理论 | |||
|---|---|---|---|
| 常用算法 | 数据不平衡 | AUC | |
| logistic 为什么要离散化特征 | 逻辑回归如何防止过拟合 | ||
| Xgboost如何处理高维数据 | |||
| bagging与boosting的区别 | |||
机器学习常用算法
- 支持向量机
SVM - 贝叶斯分类器
- 决策树
- 集成学习
- 梯度提升决策树
GBDT - 随机森林
- 聚类与降维
逻辑斯蒂回归为什么要对特征进行离散化处理？
- 离散特征的增加和减少都很容易，易于模型的快速迭代；
- 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；
- 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰；
- 逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；
- 离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；
- 特征离散化后，模型会更稳定，比如如果对用户年龄离散化，20-30作为一个区间，不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反，所以怎么划分区间是门学问；
- 特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险；
Xgboost是如何处理高维数据的？
略
bagging与boosting的区别？
bagging：通过降低过拟合，提升泛化能力；模型是并行训练，每一个训练器及特征是独立的，地位是一样的,如 RF bagging；
boosting：通过降低偏差来提升模型的拟合能力程度，是串行的，训练器之间并不是平等和独立的，Adaboost,GBDT；
逻辑回归如何防止过拟合
- 优化模型，引入正则化(数据稀疏使用
L1正则化)，在优化目标中加入正则项，通过惩罚过大的参数来防止过拟合. - 增加样本数据(这个方法适合所有的模型).
- 通过特征选择，剔除一些不重要的特征，从而降低模型复杂度.
数据不平衡怎么办?
AUC 及其公式
Comments