大家好,我是熊猫。
大部分的数据监控产品都是这样一个思路。
1.找到数据源
2.采集数据
3.导出数据
4.数据本地分析
5.数据可视化
对于keywords网站来说,也是如此。
先找到数据源:

跑出来看到有289K URL,去重之后,仍然有113K条相同的host,也就是主域名相同的网站。
开始用简单的规则来清洗数据:

清理完还剩下64K的域名:





keywords的又一次更新

大部分的数据监控产品都是这样一个思路。
1.找到数据源
2.采集数据
3.导出数据
4.数据本地分析
5.数据可视化
对于keywords网站来说,也是如此。
先找到数据源:

跑出来看到有289K URL,去重之后,仍然有113K条相同的host,也就是主域名相同的网站。
开始用简单的规则来清洗数据:

清理完还剩下64K的域名:




