这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
下载后复制到软件同目录下，运行一下，即会自动去下载当前浏览器版本对应的chromedriver.exe，再运行软件，就不会再出现因为版本不匹配而导致的软件闪退或者不能运行的情况了。
美团外卖作为我们外卖从业人员，是一个很好的平台，从业人员以及相关的数据研究者经常需要从该平台上获取相关数据进行分析，研究竞品销售、分析外卖行业情况等。那么，该平台的数据爬取怎么进行呢？小编今天就进行了尝试。
如何爬取电商平台的商品图片
目标：到网站 https://www.jd.com，使用：电动剃须刀 为关键词，准备采集搜索出来的商品主图并下载。
链接如下：
https://search.jd.com/Search?keyword=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&enc=utf-8&suggest=4.def.0.SAK7|MIXTAG_SAK7R,SAK7_M_AM_L5384,SAK7_M_COL_U17678,SAK7_S_AM_R,SAK7_SC_PD_R,SAK7_SM_PB_L16675,SAK7_SS_PM_LC|&wq=%E7%94%B5%E5%8A%A8&pvid=bb682c18bcb7479c9b220aab0f42d0a6
按下F12键（打开开发者工具），在“元素”选项页中，单击“元素检查工具” 或者查看源代码，后再单击你要选的图片，可以找到图片地址：
Futaike.net 0319 172103
复制出来就是：
//img13.360buyimg.com/n7/jfs/t1/88836/2/24471/163175/622eefb5E1e47b683/c2bf1d990c407594.jpg,没有http:头需要我们在请求时加上。
然后我们就可以写代码来下载了。
设置保存路径
然后我们再写一个下载函数
Futaike.net 下载函数
# 调用函数
Futaike.net 调用函数
运行一下：
Futaike.net 下载成功
然后我们再到文件夹下查看：
Futaike.net 下载成功
可以看到图片下载成功了。
那么下一步我们的目标就是批量获取，批量获取需要取得这个页面所有的图片链接，我们可以用的工具有很多：比如：xpath定位元素、正则工具所有的目标元素等。
这里我们使用xpath 定位：
引用etree 库： from lxml import etree，然后通过页面分析，找出所有商品图片的xpath路径。
然后我们来写一下代码：
Futaike.net 导入模块
Futaike.net 0318 191212
写好以后，我们运行一下，可以看到文件都下载成功了。
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
然后我们再看一下文件夹，可以看到下载的文件都在了：
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
这样一页所有的商品图片就下载好了。
如果需要下载多页的呢，只要我们再加页数循环，访问多个页面，进行下载就可以了。
https://search.jd.com/Search?keyword=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&qrst=1&suggest=4.def.0.SAK7%7CMIXTAG_SAK7R%2CSAK7_M_AM_L5384%2CSAK7_M_COL_U17678%2CSAK7_S_AM_R%2CSAK7_SC_PD_R%2CSAK7_SM_PB_L16675%2CSAK7_SS_PM_LC%7C&wq=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&stock=1&pvid=bb682c18bcb7479c9b220aab0f42d0a6&page=3&s=56&click=0
这是多页的网址，我们观察一下，发现有page=3这样的参数，这个就是翻页的参数了，那么我们只要把前面的网址再加上这个参数就可以循环访问多页了。
那么我们把上面的代码再改一下，比如我们需要下载20页，
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
这样，就可以了。然后我们调用函数进行循环访问并下载。
Futaike.net 循环下载
最后 获取到所有目标页的商品图片。
Futaike.net 下载成功
The End
有数十种用于 Web 抓取的软件包…… 但是您只需要少数几个就可以抓取几乎所有网站。这是一个自己认定的说法。这里决定采用我们最喜欢的 5 个用于网络抓取的 Python 库
今天，给大家带来一个粉丝专属福利：花了三天写的一个一键傻瓜式的可以下载微博大V博文的小工具，可以帮助大家用最简单的方式下载到微博的数据，大家如果有需要的可以免费下载使用。
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
如何在您的浏览器中禁用/启用JavaScript
JavaScript是一种在网页上使用的非常好的技术，不建议对浏览器上的所有网站禁用它。大多数流行的网站都是基于Java的，这意味着它们使用JavaScript来运行交互式功能，以此来提供令人愉悦的用户体验。
但是我们有时候需要禁用JavaScript， 比如：有的网站通过这个技术禁止我们复制网页内容，这个时候我们就需要暂时禁用。但禁用JavaScript 后，您的浏览器将无法运行或显示交互式元素，如显示动画或音频等。不过，好消息是JavaScript很容易激活。此外，还有一些特定的方法可以在某个站点上禁用JavaScript，而不是完全关闭它。
下面是各大浏览器如何禁用/启用的详细说明：
Microsoft Edge
打开Microsoft Edge浏览器。
单击右上角的三点图标打开菜单标签。
选择菜单标签上的“设置”。
现在点击左侧设置窗格中的“网站权限”。
选择“JavaScript”。
打开/关闭“允许（推荐）”。
Google Chrome
在您的设备上打开Google Chrome浏览器
点击屏幕右上角的菜单图标（三个点）。
在下拉菜单上选择“设置”–底部的倒数第三个选项
现在点击左侧边栏菜单上的“隐私设置和安全性”。
在“隐私设置和安全性”下，选择“网站设置”
在“网站设置”下，滚动到“JavaScript”并点击它。
切换“允许（推荐）”-启用时将变为蓝色。
Internet Explorer
启动Internet Explorer浏览器并打开一个窗口。
点击“工具”-通常位于菜单栏的最顶部。然后，从显示的选项列表中选择“Internet选项”。也可以按“Alt键”快速定位。
点击“安全标签”。
点击“自定义级别”按钮。
继续向下滚动到页面底部，直到找到“脚本”标题。
选择“活动脚本”以启用JavaScript。
点击“确定”
刷新浏览器
Mozilla Firefox
启动Mozilla Firefox浏览器并打开一个窗口。
在地址栏输入“about:config”并按回车键。
点击警告信息下方的“接受风险并继续”按钮，进入首选项搜索框页面。
在首选项搜索框中输入“javascript.enabled“。
在搜索结果中找到标有“javascript.enabled”的选项并打开JavaScript。
刷新浏览器
（关闭操作请选择disabled)
Opera
启动Opera迷你浏览器
打开“简易设置”菜单。
向下滚动至简易设置菜单底部，然后选择“转到浏览器设置”。
接下来，向下滚动找到“网站设置”选项，然后点击它。
在“网站设置”下，找到显示JavaScript的选项并选择它。
选择“已允许（推荐）”开关激活/关闭JavaScript。启用时将变为蓝色。
Apple Safari
导航到设备的“工具”部分。
选择“偏好设置”。
点击安全性图标。
选中复选框“启用JavaScript”。(关闭取消即可）
重新启动浏览器。
更多精彩产品或服务，去看看： 产品 – 富泰科 (futaike.net)
用Chrome谷歌浏览器或者edge浏览器打开https://m.weibo.cn/login，找到相应的位置，”Cookie:”后的值即为我们要找的cookie值，复制一下，然后粘贴到指定的文件当中使用即可。
词频统计分析 – 常用停用词：
下载链接：点击这里