这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
参数是由”POST /api/v8/poi/food “加上params和data里面的参数拼接出来的，注意要排序，所以一定要先算出waimai_sign，waimai_sign的值也会拼接在请求mtgsig参数里面。
输入关键词搜索批量采集商品详情内容,如标题、相应的sku、sku对应的价格、主图、详情图、原价、到手价、优惠、店铺名、店铺id、店铺评分、简介等。
【Hitomi Downloader】是一款简洁无广告的神器，不同于主流的下载软件，它是基于 yt-dlp 技术开发的在线视频下载工具，涵盖了超过 1200+ 的在线视频网站的解析，资源嗅探，也就是说你可以直接把网页链接复制黏贴进输入框里面，然后快速下载网络上的图片、视频和音频等类型的文件
Apollo
2022-01-27 23-13
假如你刚刚入手一台新电脑，有什么软件是必须安装的呢？
今天就给大家推荐10款Windows11下必装的黑科技软件，实用又免费，让电脑无所不能。
1.猎豹轻桌面
下载地址：http://desk.cmcm.com/
每次下载或保存文件都会放在电脑桌面，一天使用下来基本都看不见壁纸长什么样了，找文件更是困难。
这是一款无广告的桌面图标整理工具，一开启就能瞬间将乱七八糟的桌面自动分类，整理得干干净净。
2.投屏宝
下载地址：https://www.toupingbao.com/
有些时候需要将手机投屏到电脑上，往往都会有很多限制，比如连接同一个网络、需要付费才能使用，而这款投屏宝完全免费！
在电脑上和手机上同时打开它，选择无线投屏功能，输入电脑端的投屏码就可以连接成功。不需要手机和电脑在同一个网络也能投屏，超级方便。
3.Clover
下载地址：https://clover.en.softonic.com/
每次工作一忙起来，电脑同时打开了十几个文件夹窗口，每次要找文件都要来回切换查看。
Clover就是一个实现“文件夹多标签页”功能的神器。打开新文件夹都会以标签页的形式集中在一个窗口中，就和浏览器标签页一样，拖动、新建、关闭标签都非常方便。
4.Everything
下载地址：https://everything.en.softonic.com/
偶尔想在电脑上找个旧文件，电脑搜索功能找了半天都没找到文件放哪儿。找文件这种事情，对Everything来说，就是3秒的事情，用过之后简直是爱不释手。
5.uTools
下载地址：http://www.u.tools/
这个万能的工具合集软件，安装一个软件就能拥有很多个效率小插件，电脑上经常用到的各种工具这里都有。
你可以在这里搜索到电脑中所有的文件，比如常用的在线翻译、二维码处理、计算稿纸、图片压缩、编码小助手等等。
6.图片编辑助手
下载地址：https://www.xunjiepdf.com/tupian
我们平时上传图片时常常会遇到比例不符合、尺寸大小、格式问题等等情况都需要自己编辑处理。
这个软件支持裁剪、旋转、改尺寸、压缩体积、滤镜、文字、贴纸等功能，尺寸比例都给我们列出来了，很方便！更重要的是它处理后的图片画质不会被压缩。
7.Quicklook
下载地址：https://github.com/QL-Win/QuickLook/releases
在电脑上每次要查看文件，都要点击唤醒相应的软件才行，非常麻烦！
这是一款非常好用的文件快速预览工具插件，点击文件再按住空格，就可以快速预览，支持的格式广泛，包括图片、视频、PDF、压缩包、软件包等都可以预览。
8.CCleaner
下载地址：http://www.ccleaner.com/
CCleaner的主要用来清除Windows系统不再使用的垃圾文件，以腾出更多硬盘空间。它的另一大功能是清除使用者的上网记录，上周有篇文章君君就有提到啦。
它的体积小，运行速度极快，可以对文件夹、历史记录、回收站等进行垃圾清理，并可对注册表进行垃圾项扫描、清理、附带软件卸载功能。
9.MusicBee
下载地址：https://getmusicbee.com/
这是一个免费的音乐管理器，可搜索本地硬盘、移动设备和互联网上的音乐文件，自动分类，我辛辛苦苦下载的周杰伦歌曲资源，总算在电脑上也能播放了。
10.Gadient Folders
下载地址：https://una.im/gradient-folders/
这是一款能自定义电脑文件夹图标颜色的神器，它可以制作38种渐变的彩色电脑文件夹图标，不同颜色的图标可以帮助我们更好地记住和识别文件夹，适用Windows 和Mac OS，完全免费。
最后一句话收尾：以上就是我今天的分享内容，如果大家觉得有用，记得点赞告诉我，我会继续分享更多优质的内容。
来源：https://zhuanlan.zhihu.com/p/462567680, 版权归原作者所有，如不同意转载，请来信告知。本站将停止转载。
一、Fiddler简介
Fiddler是最强大最好用的Web调试工具之一， 它能记录所有客户端和服务器的http和https请求。允许你监视、设置断点、甚至修改输入输出数据。Fiddler包含了一个强大的基于事件脚本的子系统，并且能使用.net语言进行扩展。换言之，你对HTTP 协议越了解，你就能越掌握Fiddler的使用方法。你越使用Fiddler，就越能帮助你了解HTTP协议。Fiddler无论对开发人员或者测试人员来说，都是非常有用的工具。
二、Fiddler的工作原理
Fiddler 是以代理web服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。 当Fiddler退出的时候它会自动注销， 这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。 解决的办法是重新启动下Fiddler。
个人理解：fiddler是一个抓包工具，当浏览器访问服务器会形成一个请求，此时，fiddler就处于请求之间，当浏览器发送请求，会先经过fiddler，然后在到服务器；当服务器有返回数据给浏览器显示时，也会先经过fiddler，然后数据才到浏览器中显示，这样一个过程，fiddler就抓取到了请求和响应的整个过程。
三、安装、配置及抓包示例
下载地址：fiddler中文版_官方免费下载-下载之家 (downza.cn)
双击FiddlerSetup.exe安装fiddler。
在安装路径下，双击Fiddler.exe，能打开，说明安装成功，可以给Fiddler.exe创建一个桌面快捷方式。
二、fiddler配置双击Fiddler.exe，Progress Telerik Fiddler Web Debugger菜单栏中，Tools——Options。
2-1.HTTPS配置HTTPS的配置如下：勾选Capture HTTPS CONNECTs、Decrypt HTTPS traffic、Ignore server certificate errors(unsafe)。
点击OK保存。弹出对话框“SCARY TEXT AHEAD：Read Carefully！”，点击YES。弹出对话框“安全警告”，询问是否安装证书，点击是。弹出对话框“Add certificate to the Machine Root List？”，点击YES。弹出对话框“TrustCert Success”，点击确定。再点击一下options中的ok，以防忘记保存配置。
注意事项：
如果HTTPS请求出问题，例如，浏览器提示“您的链接不是私密链接”等，一般都是证书安装有问题，重新安装一遍证书，重复一遍HTTPS配置即可。
Options——HTTPS——Actions——Trust Root Certificate。
2-2.Connections配置Fiddler listens on port，确保fiddler的端口为8888。勾选Allow remote computers to connect。弹出对话框“Enabling Remote Access”对话框，点击确定。
点击OK。重新启动Fiddler.exe即可正常使用。
下面我们举例来演示一下抓取https的数据包，以小程序：小红书为例：
在微信pc端找到小程序：小红书，双击打开，然后我们在fiddler的抓包界面当中就可以看到有一些数据流：如下图所示。
Futaike.net 0829 160826
我们找一下带有xiaohongshu.com网址标志的host，点击右侧的Inspectors（中文：检查），再点一下Raw（原始），就可以看到如host/cookie/get/post等信息，这些看不懂也没关系。
比如我们需要找一下小红书小程序的authorziation这个东东，那么就可以如下图定位到这条数据流，再在右侧的Inspectors-Raw下寻找，即可找到了。如下图所示。
Futaike.net 0829 160916
重要：以上基于微信3.3.5.50版本，如果微信号太高，可能获取不到。如果找不到，可以去搜索下载这个版本号安装后再进行提取即可。
以上就是fiddler的简单安装及使用配置说明。
提要：本文讲解了两部分内容：1、如何设置fiddler抓包https，2、如何设置自动获取小程序的登录信息。
1、打开应用：在软件目录的fiddler文件夹当中，双击fiddler.exe程序，打开应用。（如果软件目录当中没有，用户可百度自行下载安装）
fiddler.exe
2、打开菜单上的 工具 – 选项：
工具 – 选项
3、切换到https – 确认如下图所示，相应选项已经打勾，然后再点击 动作：
https – 动作
4、选择 信任根证书
信任根证书 1
信任根证书 2
信任根证书 3
信任根证书 4
5、到这步，我们应该是已经配置好了可以捕获https链接的设置。然后重启。
需要重启一下软件才会生效
6、确认一下上面设置是否生效。重启软件以后，随便使用edge或者谷歌浏览器（注意，IE或其他的浏览器可能不行，建议一定要使用上述浏览器），打开一些大型网站如：淘宝、携程等，看看fiddler软件当中的协议下的https是否如下图所示，前面的结果为200，如果是，说明设置成功。如果否，请重新设置。
https链接抓包成功
7、替换js：打开fiddler，如下图，切换到fiddler script，将下面的代码全部删除，然后将软件目录下的fiddler_js.txt下的代码全选，复制，粘贴到下面。然后：保存脚本
替换 fiddler script
保存脚本
8、上述步骤做完以后，我们还需要安装微信的电脑版，安装好以后登录
微信电脑版，安装、登录
9、然后点击左下角的小程序图标，打开
搜索相关的小程序
10、然后按我们要采集的目标网站或者app，选择对应的小程序，如果没有，搜索一下即可。
11、比如我们要采集马蜂窝的相关内容，我们就点击打开该小程序
小程序界面
12、小程序初次打开，需要我们登录，我们确认登录以后，即可进入主界面，这时我们按软件的说明点击进入到相关的页面（这里很关键：请打开一个景点的页面，如果打开的页面是其他的可能获取不到），如下图。这时，fiddler会自动获取登录该小程序的相关登录信息，并保存文件。然后我们就可以关闭小程序了。
13、 上述的1-7是 就是初次配置fiddler抓包程序的设置步骤（只需要设置一次），以及使用fiddler获取最新登录信息的步骤。（8-12步）
什么情况下需要8-12步？在采集软件运行后，界面有提示之前的登录信息过期，需要更新的，这时我们就需要启动fiddler，然后按上述8-12步，也就是从微信电脑版启动对应的小程序，运行一下。
知乎大v专栏下载，知乎大v问答采集及图文下载，知乎大v专栏视频采集下载，知乎大v专栏回答列表文章采集及图文下载，知乎大v专栏列表及文章采集及图文下载。今天小编就给大家介绍能采集和下载的工具，这些统统都能搞定。
给大家安利一下这款专门采集下载的工具软件：
这款工具，可以实现对 知乎文章采集及图文下载（可下载专栏列表、文章、回答列表、单个回答、视频列表等，用于将相应的链接放在指定文本当中运行软件即可下载，下载下来的图文效果同网站。
我们来看一下，这个软件的介绍（B站直达）：
https://www.bilibili.com/video/BV1pF411a7N8?spm_id_from=333.999.0.0
然后，我们到软件下载页面（ 下载地址）下载一下，软件是绿色版本，下载解压后运行即可。
Zhihu文章采集助手v2.20-全功能版 软件界面
软件的界面很简单，看了一下使用提示，一目了然，然后我们把相关的链接放到软件目录下，链接我们放置了不同频道的，以测试其兼容性。看是否可以自动识别，并能采集下载。
运行：
我们看软件能自动识别不同的链接，并对相应的链接进行自动下载。
下载大v回答文章的界面
这是下载好的某大v的回答文章列表
我们打开其中一篇，看图文排版都很OK
可以看到，这款软件还是很好的实现了对于知乎不同页面复杂的页面元素的兼容，并能将网站上不必要的js以及不相关的信息菜单等进行了去除。只保留了纯净的内容信息，并进行了很好的排版，非常适合我们进行收藏及阅读。
以上，就是我们对这款工具软件简单的测试，有兴趣的可以下载使用。
“软件：知乎”的搜索结果 – 富泰科 (futaike.net)
1、打开谷歌或edge浏览器， 按F12或者点击右键 – 检查。
浏览器操作
2、 切换设备仿真（蓝色），输入www.tmall.com回车打开。网站会自动切换为移动端显示的样式。
3、点击右上角登录按钮，进行网站登录。
登录网站
登录网站
4、登录成功以后，依次点击右侧的 1、Network网络 – 2、Doc文档 – 3、某条链接（如果没有显示，按一下ctrl+r或F5） – 4、找到Headers标头 – 再找到下面的Request Headers（请求标头）
请求标头
5、然后我们往下翻 ，就可以找到cookie这个参数及对应的内容了。
cookie
6、最后一步，将cookie:后所有的字符串全部复制，并保存到指定的文件当中。
如此，我们就完成了采集最新更新的移动端网站登录cookie的操作。
马蜂窝景点点评，评论信息一键采集小工具，不受网站最加载5页的限制，可以完整采集所有的评论内容。
快手搜索采集助手_是一款可以按输入任意关键词采集视频搜索的结果的工具软件，软件简单易用，只需要在界面输入关键词及想要的搜索数量，软件即可自动进行抓取，并将结果导出到excel表格当中。