这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
前言
每当遇到一些 APP 渗透测试项目的时候，抓不了包的问题令人有点难受，但是抓不了包并不能代表目标系统很安全，那么接下来我会整理一下目前我所了解到的一些抓包方法
声明：该公众号大部分文章来自作者日常学习笔记，也有部分文章是经过作者授权和其他公众号白名单转载，未经授权，严禁转载，如需转载，联系开白。
请勿利用文章内的相关技术从事非法测试，如因此产生的一切不良后果与文章作者和本公众号无关。
1、Burpsuite
2、Fiddler
3、Burpsuite + Fiddler
4、小黄鸟 HttpCanary
5、Charles
6、Charles + Burpsuite
7、Postern + Charles + Burpsuite
8、Frida + Xposed + Objection + Burpsuite
9、Frida 写 Hook 代码来抓包
以下抓包测试请确保手机和电脑是处于同一个局域网下
1、使用 Burpsuite 对 APP 进行抓包
环境：
Burpsuite Professional v2021.2
Pixel3 Android11 、已 root + Xposed
在 Burpsuite 里面 Proxy — Options — Proxy Listeners — Add然后在Speciffic address选择172网段的那个 IP 地址（即本机局域网 IP 地址）
在手机里面网络设置也要设置 手动代理模式 ，输入的 IP和端口 都要与 Burpsuite 一样
然后在手机浏览器访问 https://burp 这个地址，去进行下载并安装 ...
Sam Altman 承诺不用 API 收集的数据训练未来 ChatGPT 版本
4 月 13 日消息，OpenAI 近期举办了系列推介会，首席执行官 Sam Altman 在旧金山、纽约和伦敦演讲，向出席的多家「财富 500 强」企业的高管承诺，OpenAI 不会使用 API 收集的客户数据来训练大语言模型（LLMs）。
这些活动面向金融、医疗保健和能源等各行各业的高层决策者。阿尔特曼带队，此外还有首席运营官 Brad Lightcap 在内多位 OpenAI 高管出席，介绍了包括 ChatGPT Enterprise、文本转视频模型在内的诸多产品。（来源：IT 之家）
苹果动议遭英国法院拒绝，被裁决要和「1566 名开发者」对簿公堂
4 月 13 日消息，1566 名英国开发者去年 7 月指控苹果存在垄断行为之后，苹果公司提交动议要求法官驳回此案，不过这项动议遭到了法官的拒绝。
安德鲁・莱农法官在一份书面裁决中认为，在非英国应用市场的商业交易中，苹果公司向英国的应用程序开发商多收佣金的行为，可以认定是在英国境内实施的行为。（来源：IT 之家）
大众汽车张岚：未来三年内将在中国推出超过 40 款新车型，一半为新能源
4 月 13 日消息，第四届中国国际消费品博览会今日在海南海口开幕，参展商大众汽车集团 (中国) 集团销售副总裁张岚表示，未来三年内，集团计划向中国市场推出超过 40 款新车型，其中一半是新能源汽车。
据悉，到 2030 年，大众集团将提供不少于 30 款纯电动车型。「我们目标明确，即保持在华国际车企第一的地位，并在智能网联汽车时代扮演领导角色」，张岚补充道。（来源：IT 之家）
小米应用商店新规生效：App 不得默认勾选、强制捆绑自动续费
上个月，小米应用商店发布公告，要整治 App 自动续费等行为。
根据公告，新规 4 月 13 ...
相信不少人安装完windows或office之后都会去找对应的激活工具，不过目前网上的激活工具堪称鱼龙混杂，不少开发者为了获取收益会在激活工具中植入广告插件以及捆绑主页等方式， 导致系统多了很多弹窗体验极差。
软件功能；
功能1：采集商家列表的同时，同步采集每一个商家的联系方式；
优点：方便，简单，省事；不足：采集商家联系方式需要消耗额外的cookie资源；
使用方式：同非定制的版本操作一样，输入城市与地址，启动采集即可，采集到的数据就会带有每个商家的联系方式。
功能2：通过已经采集好的商家名称和id批量采集目标商家的联系方式。
ssl 免费证书获取
ssl证书获取方式有很多，大致分为两类。一类是通过服务商去申请，有花钱的，也有不花钱的。一类就是免费的，百度一搜也能搜一大把，但免费的一般可用时间都在3个月左右，需要自己去手动续签。
下面介绍免费自动续签的方法。
gitee https推荐的证书申请网站
acme.sh自动申请续签
1. 安装acme.sh
安装很简单, 一个命令:
curl https://get.acme.sh | sh
普通用户和 root 用户都可以安装使用. 安装过程进行了以下几步:
把 acme.sh 安装到你的 home 目录下:
~/.acme.sh/
安装完成
并创建 一个 bash 的 alias, 方便你的使用: alias acme.sh=~/.acme.sh/acme.sh
自动为你创建 cronjob, 每天 0:00 点自动检测所有的证书, 如果快过期了, 需要更新, 则会自动更新证书.
更高级的安装选项请参考: How-to-install
安装过程不会污染已有的系统任何功能和文件, 所有的修改都限制在安装目录中: ~/.acme.sh/
2. 生成证书
acme.sh 实现了 acme 协议支持的所有验证协议. 一般有两种方式验证: http 和 dns 验证.
http 方式需要在你的网站根目录下放置一个文件, 来验证你的域名所有权,完成验证. 然后就可以生成证书了.
acme.sh --issue -d mydomain.com -d www.mydomain.com --webroot ...
xlwt模块写入Excel文件时，每个单元格的字符串长度不能超过32767个字符，如果超过了这个限制就会出现“Exception: String longer than 32767 characters”的错误。要解决这个问题，可以将长字符串分割成多个小块，然后分别写入到不同的单元格中。在代码中，可以使用切片的方法将长字符串分割成多个小块，然后使用循环将每个小块写入到不同的单元格中。最后，保存Excel文件即可。
This error occurs because xlwt has a string limit of 32,767 characters per cell. To resolve this error, you can split the string into smaller chunks and write them to separate cells. Here’s an example:
import xlwt
# Example long string
long_string = "Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do ...
这个错误通常是由于Python依赖包之间存在冲突，导致pip无法正确解析依赖关系，从而无法安装或升级某些包。常见的解决方法包括：
1. 清理缓存：使用`pip cache purge`命令清理pip缓存，然后再次尝试安装或升级包。
2. 升级pip：使用`pip install –upgrade pip`命令升级pip到最新版本，然后再次尝试安装或升级包。
3. 使用虚拟环境：使用虚拟环境来隔离不同项目之间的依赖关系，避免冲突。可以使用`venv`、`virtualenv`等工具创建虚拟环境。
4. 手动安装依赖包：如果pip无法解决依赖关系，可以尝试手动安装依赖包。可以使用`pip download`命令下载依赖包的源码包，然后使用`pip install`命令手动安装依赖包。
5. 解决依赖冲突：如果依赖包之间存在冲突，可以尝试手动解决冲突。可以使用`pip show`命令查看已安装的包的版本信息，然后手动安装或升级依赖包，以满足依赖关系。
在解决这个问题时，可以先尝试清理缓存、升级pip等常见方法，如果还是无法解决问题，可以尝试使用`pipdeptree`等工具查看依赖关系，以便更好地定位问题。
这个错误通常是因为字符串中包含了非UTF-8编码的字符，而在Python中，JSON模块默认只支持UTF-8编码的字符串。为了解决这个问题，可以尝试以下几种方法：
将字符串转换为UTF-8编码：可以使用str.encode()方法将字符串转换为UTF-8编码的字节串，然后再使用json.loads()方法将其转换为JSON格式。示例代码如下：
import json
str_data = "{'name': '张三', 'age': 18}"
json_data = json.loads(str_data.encode('utf-8'))
使用ensure_ascii=False参数：可以在调用json.dumps()方法时，传入ensure_ascii=False参数，这样就可以支持非UTF-8编码的字符。示例代码如下：
import json
str_data = "{'name': '张三', 'age': 18}"
json_data = json.dumps(str_data, ensure_ascii=False)
修改字符串中的非UTF-8编码字符：如果字符串中包含非UTF-8编码字符，可以尝试将其修改为UTF-8编码的字符，或者使用Unicode编码替代。比如，将字符串中的中文字符修改为Unicode编码，示例代码如下：
import json
str_data = "{'name': '\u5f20\u4e09', 'age': 18}"
json_data = json.loads(str_data)
其中，\u5f20\u4e09是中文字符“张三”的Unicode编码。
常规的string—-指最外层是单引号，内层键值是双引号，且最后一对键值之后没有逗号的字符串。常规的string转json对象（dict）—-使用json.loads()，特殊的string转json对象（dict）—-使用ast.literal_eval()
美团外卖助手很多用户在使用的时候，都受到cookie使用上的限制，很多用户没有很多账号登录获到了多个不同的cookie来使用，一旦cookie过期失效，则必须要等待后续解除限制以后才可使用，影响使用效率。
cookie的机制是系统检测使用过于频繁以后，就会临时限制访问并停止返回数据，正常过一两天以后，再使用该cookie，则会恢复使用功能。所以，我们现在推出了cookie共享计划。让每个用户自己的cookie，通过共享以后，可以获取2-5倍数量的cookie，如此大家就可以通过分享来获得资源的最大化，从而提高软件的使用效率了。