数据挖掘：关联规则
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
文章目录
- 数据挖掘：关联规则
- @[TOC](文章目录)
- 关联规则
- 异常检测
- 数据挖掘的标准流程
- 数据挖掘的经典算法
- 训练误差和泛华误差
- 分类算法评估指标：hold-out method
- 聚类方法
- 总结
- @[TOC](文章目录)
关联规则
如果相关性很大，那就可以去掉其中一个属性
![图片[1] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/907da17cbd6e4b6dbbd0cd08129ef46b.png)
![图片[2] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e657aa1fb3564c06b52dc216be978942.png)
![图片[3] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/5c5d1ece230846f389e2f4a9b31202db.png)
异常检测
![图片[4] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/bfb43cb8285442788f7d54cc0a157721.png)
数据挖掘的标准流程
![图片[5] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/27d0e78fd054466d9685df091c833adb.png)
![图片[6] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/aacd0f3614ed47c4a9f40b3650ffc251.png)
![图片[7] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e588d8235c824fa0b3bac943910446c8.png)
![图片[8] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/f3b1ea99a8e443ac9dfc568422864c8b.png)
![图片[9] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/01ad93eb4df04c6a8104fefe27a36fcf.png)
这些不仅是理论，更是实际业务会遇到的东西
![图片[10] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/df9a3e13bb5a4544917d902c062bcffb.png)
![图片[11] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/b987f1b07e964aa98f18acc07785f340.png)
![图片[12] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/8e7d504e51be431bbaae32032b2cde84.png)
![图片[13] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/1cfe1a9d14794d9f8614b11d5f56959c.png)
![图片[14] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/d56d088478024c60bc3252aff2212d09.png)
NLP
![图片[15] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/d43939df26f040e0a2a7001a5303b440.png)
![图片[16] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e17d1e92d2c74e20ab1485f1a51d58f6.png)
![图片[17] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e3e0a15ac20f4fb6ac20c35c8393f37e.png)
![图片[18] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/b7badbc702574da7865a4d983df62261.png)
![图片[19] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e2d486c09bd842a0b78a2178e28c7be8.png)
![图片[20] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/b4b0719a96844d50aa4d26bf231ce8cf.png)
长尾问题
数据挖掘的经典算法
这些可能会考的
去年就考了聚类哦
![图片[21] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/c05f4c1d9e8a482daea8c8cd26b3b1be.png)
![图片[22] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/a6cde77afac243a88f5843ac1f0a528d.png)
TP：实际为正，预测为正
FP：实际为负，预测为正
FN：实际为正，预测为负
TN：实际为负，预测为负
准确率acc，是TP和TN的在所有情况中的占比
recall，数据中所有正类中，真正被预测为正类的比例。就是被真的召回的正类比例
precise，在所有被预测为正类中，实际正类的比例【精确是正类的】这俩别混了
![图片[23] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/4594f188873b4e5e911be37c48fdf2d9.png)
ROC是pr的曲线
![图片[24] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/59b2cdb908dd414ebba1db2343aa6777.png)
检测出来了，但是你也不能误报
往往希望，recall高一点，而误报也要小
![图片[25] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/06f34e40fd564794bf061e478705c64d.png)
误报了
误报率是负样本认为正了
![图片[26] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/3641cdede66b4fcf9d480589f1507730.png)
召回是1000个中的5个，好low
训练误差和泛华误差
![图片[27] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/f43b07c5761f4e92bc1e154d6c7de16b.png)
分类算法评估指标：hold-out method
train和test，随机分组的交叉验证
k-fold，k组，但是每次k-1个为训练集，而剩下一组为训练集
轮番高k次
k一般是10，叫十指交叉验证
![图片[28] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/bbb4f8a9c5b24580a0735176b1dbb626.png)
留一验证
当数据量很小，就留一个样本作为测试集
![图片[29] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/43cb17ce2cd44dc78bddaed292e9d184.png)
骚
分组，组元素个数为1
![图片[30] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/e334471f06eb44e78bd6652cc37ba6c6.png)
聚类方法
![图片[31] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/ad265656828f47df9569dbc28bddbed4.png)
先了解，后面会详细讲解的
看层次
![图片[32] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/de9bacf3113c4bcdb92d9cfdb2b5cb78.png)
![图片[33] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/587b9c0ef4f044559ce930eb89723f04.png)
![图片[34] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/00ab150117204d3f909ba0e02f44fc86.png)
![图片[35] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/177afd5676fd45d7820306c5b9e34848.png)
![图片[36] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/407371047ffe473d94e6f744d6a4896d.png)
![图片[37] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/6b34f1a1021445b8a6fcef7aa2d56b42.png)
Nt就是正类
Ntk是确实是真的正类
![图片[38] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/afbd66986fd1435eb4e16f185bbefbad.png)
![图片[39] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/2cf0be450dad41cfa430ba814393d87c.png)
![图片[40] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/38165bdcb32e4b018bafba883ccd374d.png)
![图片[41] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/dd448d610501492a8766e4617ee9d1c8.png)
离差
![图片[42] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/aa454c352b844dbb939414e5e54dca77.png)
Ck中的i与中心u的距离
l簇和u簇的中心距离，越远越好
![图片[43] - 数据挖掘：关联规则，异常检测，挖掘的标准流程，评估指标，误差，聚类，决策树 - MaxSSL](https://www.maxssl.com/uploads/?url=https://img-blog.csdnimg.cn/2771f5b5a5d8443d874fe949dda223bf.png)
C4.5算法
开始具体的算法了
总结
提示：重要经验：
1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
