利用爬虫技术能做到哪些很酷很有趣很有用的事情？

利用爬虫技术能做到哪些很酷很有趣很有用的事情？

死宅一枚。爬取5000张二次元妹子的图片，生成了下面这张图（查看原图小图清晰可见，没有奇奇怪怪的图片）。

上手难度低，适合新手。

具体制作流程：

合成软件下载地址：Welcome | FMEdda | Foto-Mosaik-Edda

Github项目地址 https://github.com/ThomasHuai/puzzle

为了彰显社会主义核心价值观，请各位在使用爬虫的时候遵守网站robots.txt中的爬虫协议，图片以个人收集为目的，不要占用站长大量带宽。

windows 安装可以点击此处

2.安装 numpy 科学计算库

3. 初始化一个 Scrapy 项目 acg

2018年4月20日更新内容

爬取详细

软件下载地址：Welcome | FMEdda | Foto-Mosaik-Edda

1.创建一个图片数据库

2.导入图片

3.导入过程中

4.创建一个马赛克风格图片

5.打开原图

6.选择已经上传的数据库

7.生成完成

简单高效的平民玩法到此结束。

逼格不够？

下面分享用 python 代码实现该软件的马赛克拼图效果。

1.安装图像处理库 pillow

1.使用 hsv （颜色空间）完成颜色精准适配

2.自定义图片重复数量

3.增加命令行进度条，增加命令行可自定义参数

4.创建完成拼图数据库后可以直接合成，不用重复执行创建

5.多线程处理图片提高效率

hsv （颜色空间模型）

hsv 两点间距离公式（欧式距离）：

/main.py

命令行

上传一张5000张不重复结果图

原创不易，欢迎点赞。

四斋蒸鹅心。

那么。数据爬虫帮你搞定了，还不赶紧趁热来一发数据挖掘或者机器学习？

欢迎关注后续文章。

---------------------- 分割线 -----------------------

2019.10.21

看看我发现了什么。。。

Github项目地址

参考文档：