对于八爪鱼的伪原创采集器的准确运用要领

1、图像采集  

在章鱼中，采取下列步骤收集图片  

1）先链接网址图片珍藏  

2）通过八达通供给的图片批量下载工具将网址转换成图片  

章鱼图片批量下载工具  

2、常见利用场景  

1）非瀑布流网站纯图片采集  

样本采集：豆瓣网图片采集课程  

2）瀑布流网站纯图片集  

这些瀑布流网站的获取法则需要按照下列步骤设置：  

（1）点击采集法则，打开网页步骤高级选项；  

（2）页面加载后向下滚动；  

（3）填写每卷的卷数和隔断；  

（4）滚动方式设置如下：直接滚动到底部；  

完成上述法则后，将收集页面上图片的URL。  

珍藏实例：百度图片珍藏课程  

注意：依据网页的加载状况设置滚动条数和滚动隔断。要是向下滚动，页面信息将迟缓加载。倡议将滚动隔断设置得更大。滚动的数目应当取决于我们滚动多少次来加载我们需要的所有数据。倡议多预备一两次。滚动方式是查看当页面滚动时，是否可以顺利加载所有数据，或者是否必须一次滚动一个屏幕。个别来说，一次滚动一个屏幕更好，但更耗时。滚动屏幕取决于屏幕的大小，而云捕捉默许为全屏。 

 

3）文章图文集  

有两种要领可以收集文章中的文本和图片。  

要领1：设置判断前提，离别收集文字和图片。  

采集实例：腾讯消息图片文本采集  

要领二：先收集全文，再收集图片。  

样本采集：UC头图像采集  

3、课程目的  

收集图片URL的这一步骤在上面的图片收集教程中有细致描述，不会反复。本文将重点介绍图像采集的技术和注意事项。  

4、图片URL采集流程  

下面是一个具体操纵步骤的演示，以百度图像的URL采集为例来捕捉图像的URL。不一样的网站图片URL会碰到不一样的状况，请灵活。  

选中图片全选收集下列图片地址  

（2）开端收集并查看效果。收集图片URL。  

具体流程步骤参考：瀑布流图像采集，以百度图像为例，步骤1-4。  

5、图片批量导出操纵步骤  

经过上述操纵，我们得到了要采集的图像的URL。接下来，我们通过章鱼的图像批量下载工具将图像下载并保留到当地盘算机的图像URL中。  

1）下载八达通图片批量下载工具，双击文件中的mydownloader.app.exe，打开软件。  

2）打开文件菜单，选中从Excel导入（当前仅支撑Excel格局文件）  

3）设置  

选中Excel文件：导入需要下载图像地址的Excel文件  

Excel表名：对应数据表的名称  

文件URL列名：表中对应URL的列名  

保留文件夹名称：Excel需要一个独自的列，列出图像要保留到该文件夹的途径。在上面的例子中，我们在excel中增加了一个名为“picturesavefolder”的列，列中的数据是“d:baidupicturecollection”，然后“d:baidupicturecollection”就成为图片保留的途径（其他磁盘可以自定义存储，文件夹名可以自定义修改；“d:\”需要输入英文状态）。