这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
常规的string—-指最外层是单引号，内层键值是双引号，且最后一对键值之后没有逗号的字符串。常规的string转json对象（dict）—-使用json.loads()，特殊的string转json对象（dict）—-使用ast.literal_eval()
美团外卖助手很多用户在使用的时候，都受到cookie使用上的限制，很多用户没有很多账号登录获到了多个不同的cookie来使用，一旦cookie过期失效，则必须要等待后续解除限制以后才可使用，影响使用效率。
cookie的机制是系统检测使用过于频繁以后，就会临时限制访问并停止返回数据，正常过一两天以后，再使用该cookie，则会恢复使用功能。所以，我们现在推出了cookie共享计划。让每个用户自己的cookie，通过共享以后，可以获取2-5倍数量的cookie，如此大家就可以通过分享来获得资源的最大化，从而提高软件的使用效率了。
可实时采集全网电商平台的数据，包括淘宝、天猫、京东、苏宁、虾皮、Lazada、阿里巴巴、亚马逊Amazon、eBay、AliExpress等国内外主流电商平台和一些官方/第三方电商聚合平台。
微博关键词搜索采集助手 – 输入关键词搜索采集并下载全部结果，按日期区间细分，可最大量的采集并下载搜索结果。
软件功能及使用说明：
1、可以输入关键词搜索采集并下载对应日期区间所有的微博内容并自动导出excel汇总表。
2、【重要】使用前准备工作及注意事项：
2.1、本软件依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件。
2.2、请在采集时查看谷歌浏览器打开的微博界面，如果没有登录，请先手动登录一下再运行软件。
3、软件需要以管理员身份运行，否则可能会出现闪退异常。
4、采集下载的内容统一导出保存在软件目录下。
微博关键词搜索采集助手 软件界面
打开软件以后，按界面提示：
请输入关键词，然后回车：
如输入：iphone14
请输入想要搜索的日期区间（示例：2022-01-01:2022-03-30，不可有空格），然后回车：
如 2022-01-01:2022-12-30
然后软件就会自动启动浏览器，并输入搜索网址，然后软件会提示：
请确认一下页面是否为登录状态，如未登录，请先登录一下再回车继续。
然后软件就会开始采集并下载了：
微博关键词搜索采集助手 采集下载图
浏览器界面会自动滚动加载并翻页：
微博关键词搜索采集助手 打开的浏览器页面
所有下载的微博内容会自动导出到指定的文件夹：
微博关键词搜索采集助手 自动导出的excel表格
感兴趣的可以访问以下地址下载使用：
https://www.futaike.net/shop/weibo-search-get
相关商品：
今天给大家带来一款爬取京东商品评论的爬虫工具：
功能及使用说明(官网：futaike.net)：
1、输入商品url，下载商品评论内容及图片。
2、所有的下载内容都会导出在软件【京东数据】同目录下，请使用前务必将软件目录下所有文件复制保存到硬盘有空间、可长期存储的目录下。
3、使用时按界面说明一步步执行，如果软件闪退，可参考：https://www.futaike.net/archives/4139.html，或去商品页面咨询技术支持人员，
4、采集不到数据，可能是cookie过期，请打开jd网站获取最新的cookie后复制到软件目录下的jd_cookie文件当中替换旧的再运行。
教程参考：https://www.futaike.net/?s=cookie
可采集的字段有：
"链接", "好评率", "评论总数", "好评数", "中评数", "差评数", "追评数",
"图片数量", "视频数", "用户名", "评分", "评论时间", "图片数", "型号", "规格",
"品名", "赞", "回复", "评论内容", "图片url", "标签"
按界面提示，
输入商品链接：示例：https://item.jd.com/100035295081.html
会是否同步下载评论图片，否直接回车，是请输入Y后回车：
京东评论采集助手 – 一键下载评论内容、下载评论图片
下面是脚本的下载界面：
京东评论采集助手 – 一键下载评论内容、下载评论图片
如果我们需要同步下载评论当中的图片：
京东评论采集助手 – 一键下载评论内容、下载评论图片
抓取到的字段导出表格：
京东评论采集助手 – 一键下载评论内容、下载评论图片
京东评论采集助手 – 一键下载评论内容、下载评论图片
下载的图片，放在软件目录下的img文件夹下。
京东评论采集助手 – 一键下载评论内容、下载评论图片
免费下载试用：
https://cowtransfer.com/s/74efc56da40846
相关推荐：
参数是由”POST /api/v8/poi/food “加上params和data里面的参数拼接出来的，注意要排序，所以一定要先算出waimai_sign，waimai_sign的值也会拼接在请求mtgsig参数里面。
输入关键词搜索批量采集商品详情内容,如标题、相应的sku、sku对应的价格、主图、详情图、原价、到手价、优惠、店铺名、店铺id、店铺评分、简介等。
【Hitomi Downloader】是一款简洁无广告的神器，不同于主流的下载软件，它是基于 yt-dlp 技术开发的在线视频下载工具，涵盖了超过 1200+ 的在线视频网站的解析，资源嗅探，也就是说你可以直接把网页链接复制黏贴进输入框里面，然后快速下载网络上的图片、视频和音频等类型的文件
Apollo
2022-01-27 23-13
假如你刚刚入手一台新电脑，有什么软件是必须安装的呢？
今天就给大家推荐10款Windows11下必装的黑科技软件，实用又免费，让电脑无所不能。
1.猎豹轻桌面
下载地址：http://desk.cmcm.com/
每次下载或保存文件都会放在电脑桌面，一天使用下来基本都看不见壁纸长什么样了，找文件更是困难。
这是一款无广告的桌面图标整理工具，一开启就能瞬间将乱七八糟的桌面自动分类，整理得干干净净。
2.投屏宝
下载地址：https://www.toupingbao.com/
有些时候需要将手机投屏到电脑上，往往都会有很多限制，比如连接同一个网络、需要付费才能使用，而这款投屏宝完全免费！
在电脑上和手机上同时打开它，选择无线投屏功能，输入电脑端的投屏码就可以连接成功。不需要手机和电脑在同一个网络也能投屏，超级方便。
3.Clover
下载地址：https://clover.en.softonic.com/
每次工作一忙起来，电脑同时打开了十几个文件夹窗口，每次要找文件都要来回切换查看。
Clover就是一个实现“文件夹多标签页”功能的神器。打开新文件夹都会以标签页的形式集中在一个窗口中，就和浏览器标签页一样，拖动、新建、关闭标签都非常方便。
4.Everything
下载地址：https://everything.en.softonic.com/
偶尔想在电脑上找个旧文件，电脑搜索功能找了半天都没找到文件放哪儿。找文件这种事情，对Everything来说，就是3秒的事情，用过之后简直是爱不释手。
5.uTools
下载地址：http://www.u.tools/
这个万能的工具合集软件，安装一个软件就能拥有很多个效率小插件，电脑上经常用到的各种工具这里都有。
你可以在这里搜索到电脑中所有的文件，比如常用的在线翻译、二维码处理、计算稿纸、图片压缩、编码小助手等等。
6.图片编辑助手
下载地址：https://www.xunjiepdf.com/tupian
我们平时上传图片时常常会遇到比例不符合、尺寸大小、格式问题等等情况都需要自己编辑处理。
这个软件支持裁剪、旋转、改尺寸、压缩体积、滤镜、文字、贴纸等功能，尺寸比例都给我们列出来了，很方便！更重要的是它处理后的图片画质不会被压缩。
7.Quicklook
下载地址：https://github.com/QL-Win/QuickLook/releases
在电脑上每次要查看文件，都要点击唤醒相应的软件才行，非常麻烦！
这是一款非常好用的文件快速预览工具插件，点击文件再按住空格，就可以快速预览，支持的格式广泛，包括图片、视频、PDF、压缩包、软件包等都可以预览。
8.CCleaner
下载地址：http://www.ccleaner.com/
CCleaner的主要用来清除Windows系统不再使用的垃圾文件，以腾出更多硬盘空间。它的另一大功能是清除使用者的上网记录，上周有篇文章君君就有提到啦。
它的体积小，运行速度极快，可以对文件夹、历史记录、回收站等进行垃圾清理，并可对注册表进行垃圾项扫描、清理、附带软件卸载功能。
9.MusicBee
下载地址：https://getmusicbee.com/
这是一个免费的音乐管理器，可搜索本地硬盘、移动设备和互联网上的音乐文件，自动分类，我辛辛苦苦下载的周杰伦歌曲资源，总算在电脑上也能播放了。
10.Gadient Folders
下载地址：https://una.im/gradient-folders/
这是一款能自定义电脑文件夹图标颜色的神器，它可以制作38种渐变的彩色电脑文件夹图标，不同颜色的图标可以帮助我们更好地记住和识别文件夹，适用Windows 和Mac OS，完全免费。
最后一句话收尾：以上就是我今天的分享内容，如果大家觉得有用，记得点赞告诉我，我会继续分享更多优质的内容。
来源：https://zhuanlan.zhihu.com/p/462567680, 版权归原作者所有，如不同意转载，请来信告知。本站将停止转载。
一、Fiddler简介
Fiddler是最强大最好用的Web调试工具之一， 它能记录所有客户端和服务器的http和https请求。允许你监视、设置断点、甚至修改输入输出数据。Fiddler包含了一个强大的基于事件脚本的子系统，并且能使用.net语言进行扩展。换言之，你对HTTP 协议越了解，你就能越掌握Fiddler的使用方法。你越使用Fiddler，就越能帮助你了解HTTP协议。Fiddler无论对开发人员或者测试人员来说，都是非常有用的工具。
二、Fiddler的工作原理
Fiddler 是以代理web服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。 当Fiddler退出的时候它会自动注销， 这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。 解决的办法是重新启动下Fiddler。
个人理解：fiddler是一个抓包工具，当浏览器访问服务器会形成一个请求，此时，fiddler就处于请求之间，当浏览器发送请求，会先经过fiddler，然后在到服务器；当服务器有返回数据给浏览器显示时，也会先经过fiddler，然后数据才到浏览器中显示，这样一个过程，fiddler就抓取到了请求和响应的整个过程。
三、安装、配置及抓包示例
下载地址：fiddler中文版_官方免费下载-下载之家 (downza.cn)
双击FiddlerSetup.exe安装fiddler。
在安装路径下，双击Fiddler.exe，能打开，说明安装成功，可以给Fiddler.exe创建一个桌面快捷方式。
二、fiddler配置双击Fiddler.exe，Progress Telerik Fiddler Web Debugger菜单栏中，Tools——Options。
2-1.HTTPS配置HTTPS的配置如下：勾选Capture HTTPS CONNECTs、Decrypt HTTPS traffic、Ignore server certificate errors(unsafe)。
点击OK保存。弹出对话框“SCARY TEXT AHEAD：Read Carefully！”，点击YES。弹出对话框“安全警告”，询问是否安装证书，点击是。弹出对话框“Add certificate to the Machine Root List？”，点击YES。弹出对话框“TrustCert Success”，点击确定。再点击一下options中的ok，以防忘记保存配置。
注意事项：
如果HTTPS请求出问题，例如，浏览器提示“您的链接不是私密链接”等，一般都是证书安装有问题，重新安装一遍证书，重复一遍HTTPS配置即可。
Options——HTTPS——Actions——Trust Root Certificate。
2-2.Connections配置Fiddler listens on port，确保fiddler的端口为8888。勾选Allow remote computers to connect。弹出对话框“Enabling Remote Access”对话框，点击确定。
点击OK。重新启动Fiddler.exe即可正常使用。
下面我们举例来演示一下抓取https的数据包，以小程序：小红书为例：
在微信pc端找到小程序：小红书，双击打开，然后我们在fiddler的抓包界面当中就可以看到有一些数据流：如下图所示。
Futaike.net 0829 160826
我们找一下带有xiaohongshu.com网址标志的host，点击右侧的Inspectors（中文：检查），再点一下Raw（原始），就可以看到如host/cookie/get/post等信息，这些看不懂也没关系。
比如我们需要找一下小红书小程序的authorziation这个东东，那么就可以如下图定位到这条数据流，再在右侧的Inspectors-Raw下寻找，即可找到了。如下图所示。
Futaike.net 0829 160916
重要：以上基于微信3.3.5.50版本，如果微信号太高，可能获取不到。如果找不到，可以去搜索下载这个版本号安装后再进行提取即可。
以上就是fiddler的简单安装及使用配置说明。