这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明:为保证软件的正常使用,需要在使用软件之前,先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能:通过输入携程酒店链接,自动采集目标酒店的房间价格信息。
软件更新网址:https://www.futaike.net/shop/ctrip_room_price_collection,可批量,也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧:在浏览器当中登录的同时,可以在手机浏览器上同步登录,然后如果遇到cookie不可用(软件提示有:keyerror这样的字符时,这时可能在电脑浏览器页面刷新会遇到验证拦截,就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下,如果需要验证,验证一下可能就通过了,也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤,本公司大部分软件都依赖谷歌浏览器,使用前请先安装最新版本的谷歌浏览器软件,安装成功后再运行软件。
规则文件(otd文件)导入:
文件导入以后,在标题上点击打开规则文件:
下面是批量网址操作教程:
然后保存设置即可。
批量生成或者修改:
在上图采集网址处,点击:批量生成,输入网址,选择要批量的字段,点添加参数。修改也一样,如下图
然后在弹出的窗口当中,可以设置参数名、选择参数类型,图示为关键词,我们选择自定义列表,然后在下方的输入框当中批量添加关键词,一行一个。
添加好以后
然后返回保存即可。
如果采集完以后的关键词不要了,也按上述步骤操作删除即可。
第一种情况:
第二种情况:
然后返回保存即可。
如果采集完以后的关键词不要了,也按上述步骤操作删除即可。
相关知识点:
如何下载采集器;如何导入模板;如何启动采集;如何修改模板;如何批量添加网址;如何导入表格当中的链接,如何批量添加关键词等。
下载采集器:
http://www.bazhuayu.com 采集器有很多版本,最新版界面可能有所不同。
解压八爪鱼采集器安装包,安装好软件;
注册一个账号;
打开软件,使用注册好的账号登录;(可以每笔导出数据为1万条,每天导出数不限,从2018年10月10日起实施)
按规则导入视频教程将附件里面的规则(后缀名为otd的文件)
点击采集按钮(本地采集),即可采集到您所需要的数据。
注意:中途暂停采集或者软件出错,需要从头采集;
采集过程中可能因为有的页面加载不了或者页面不存在了导致出错的提示,一般1分钟就自动消失,可以不用管它,也可以直接关闭它。不影响采集的结果。
修改规则模板:
批量添加网址:
a、在打开网页外面的循环框体上,点击右上角的小齿轮
b、在设置项窗体当中,找到循环方式下面一行,有一个小笔样的图标,如下图,点击打开
c、在新的窗口界面下,手动输入可输入多行网址,将网址复制过来即可。
d、从文件批量导入网址:
如下图所示操作
然后我们保存设置,就可以使用这批导入的网址进行批量采集了。
批量生成网址:
批量生成网址适合我们需要采集的网址有一些特征、比如参数有一定的规律,下面来演示一下。
我们点击批量生成,就会看到如下的界面。
下图就是一个批量生成的简单示例:我们通过关键词的批量列表,就可以通过这个生成的链接直接访问进行采集,从而避免了还要去网站当中填入关键词、点击搜索等步骤,有效的提高了工作的效率。
然后返回保存即可。
如果采集完以后的关键词不要了,也按上述步骤操作删除即可。
首先去官网下载八爪鱼采集器:http://www.bazhuayu.com/Download/DownloadHandler?version=beta 采集器版本有很多,下图演示的版本是7.6.4,新版界面可能会有所不同。
1、解压八爪鱼采集器安装包,安装好软件;
2、注册一个账号;
3、打开软件,使用注册好的账号登录;(免费版可以每笔导出数据为1万条,每天导出数不限,从2018年10月10日起实施)
4、按规则导入视频教程将附件里面的规则(后缀名为otd的文件)
5、点击采集按钮,即可采集到您所需要的数据。
规则使用说明:
对规则进行任何修改,都需要确定,然后保存才会生效。
点击:开始采集,即可进行采集了。下图就是采集界面。
采集完成,就可以导出数据了。
可以根据自己的需要来选择导出的数据格式。
采集模板下载地址: 八爪鱼采集模板 – 富泰科 (futaike.net)
1、本采集规则分为两个子任务:任务1采集发贴的网址;任务2采集详情;
请接收后放置到电脑桌面上备用。
2、采集器使用的是八爪鱼软件(以下演示版本为八爪鱼7.6版本,最新版本界面可能有所不同),下载采集器:http://www.bazhuayu.com/Download/DownloadHandler?version=beta 采集器最新版。安装后,注册一个账号。安装注册好以后,打开软件。
3、导入采集模板文件:按导入教程将上述两个采集规则导入到采集器软件当中。如下图所示:
4、规则1使用说明:
按以上设置好后,就可以采集了。结果如下:
导出到表格,备用。
5、规则2使用说明:
在采集器当中,打开规则2
打开如下图所示的红框:
依次点击确定、保存、然后就可以开始采集了。
下图是采集的实时界面。
ENJOY IT.