这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
软件功能及使用说明：
1、输入关键词，采集指定页数的视频搜索数据，并保存到excel文件中。
2、下载的评论内容自动导出到软件目录下的《B站视频搜索》当中。
有人问：美团优选app当中有很多自提点，能不能导出？
我们来研究一下：批量获取这些自提点有什么办法呢？
通常我们要查找某个城市的美团优选中的商家自提点，一般是按照以下步骤操作：
打开美团应用程序。
进入应用后，可以通过点击“附近的自提点”选项来查找。
在搜索框中输入所在的城市或地区名称。
点击搜索按钮，系统会显示该地区内的自提点列表。
此外，还可以通过美团优选的微信小程序进行查找：
打开手机上的微信应用。
点击“发现”页面中的“小程序”。
搜索并打开“美团优选”小程序。
在小程序内选择“我的自提点”，然后通常可以查看到自提点的信息。
如下图：
1、附近自提点
2、搜索框搜索
抓取思路：分析/抓取数据包/解析/保存数据：
那么，按这个操作来说，我们下面要做的就是把系统显示的自提点也提取出来就是了。
我们找一个抓数据包的工具，来对显示的数据进行抓包。（比较复杂，步骤也比较多，专业性强，这里就略过了。）
我们来看一下原始数据：
{"code":0,"message":"success","data":{"historyOrderPoiIdList":[],"recommendPoiList":[{"poiId":0,"poiIdStr":"VPwCIInVDc_TZ8EOIvJTLQE","poiName":"绍兴老酒绿叶","picUrl":"https://img.meituan.net/groupheaduploadfiles/0b12b9a0bfbfa0cef83d7a810d76395b148990.jpg","address":"上海市宝山区同泰北路447号同泰北路447号绿叶市集菜市场内N4门面房 冰箱太小大件冷冻品是不能放","latitude":31.381681,"longitude":121.492451,"distance":1232.1,"distanceText":"距离1.23公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":9,"labelName":"送货上门、配送范围:点击查看地图","labelColor":"#D9D9D9","fontColor":"#000000","jumpUrl":"/subPackages/location/pages/receivingRange/index","labelAttr":1,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"deliveryRange":"配送范围:点击查看地图","deliveryRangeType":2,"isDelivery":1,"deliveryTypeText":"送货上门"}},{"poiId":0,"poiIdStr":"ztyKX8gO2E2VTrKY0WpYJQE","poiName":"荣港便利店","picUrl":"https://img.meituan.net/groupheaduploadfiles/d0a9d9081be9990482a4055ed323466242037145.jpg","address":"淞宝路677号荣港便利店(淞宝路店)淞宝路677号","latitude":31.389831,"longitude":121.502941,"distance":1265.0,"distanceText":"距离1.26公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"6g2_78XtVgE9JyUpsVNvtgE","poiName":"领迪娱乐美团优选","picUrl":"https://img.meituan.net/groupheaduploadfiles/0c657837bb9aad9b2fdd24e40441e3fa34982212.jpg","address":"上海市宝山区密山路50号宝轻大厦(密山路)密山路50号4楼","latitude":31.402114,"longitude":121.482754,"distance":1268.5,"distanceText":"距离1.27公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"7lqSGEGTqqVMIcgWRjeBsgE","poiName":"海江二村小店","picUrl":"https://img.meituan.net/groupheadfoundation/a2e9cdeaa3e452168cec351f5237f989280213.jpg","address":"上海市宝山区海江二村海江二村-71号楼海江二村71号小店","latitude":31.393637,"longitude":121.503581,"distance":1294.6,"distanceText":"距离1.29公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":4,"labelName":"支持冷藏","labelColor":"#3488FF","fontColor":"#3488FF","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":4,"labelName":"支持冷藏","labelColor":"#3488FF","fontColor":"#3488FF","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"mmMFNRKId1e9ChRb37kM-QE","poiName":"手机检测维修","picUrl":"https://img.meituan.net/groupheaduploadfiles/5a053df2b8b7ce3578a4c2a82ce028302447178949.jpg","address":"上海市宝山区密山路88-3号手机检测维修密山路88号-2（手机检测维修）","latitude":31.401933,"longitude":121.481648,"distance":1312.5,"distanceText":"距离1.31公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}}],"type":0,"groups":[{"group":"skinAB","strategy":"a"},{"group":"poiMapPageAB","strategy":"c"},{"group":"dragMapNoRelocateAB","strategy":"c"},{"group":"poiDisplayInfoOptABResult","strategy":"a"}],"nearbyLabelList":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1},{"type":9,"labelName":"送货上门","labelColor":"#F20000","fontColor":"#F20000","labelAttr":1,"displayType":1},{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1}],"total":40,"offset":35,"limit":5,"hitMtsi":false,"nearbyPoiDefaultSelectIndex":0}}
然后我们要做的就是把数据解析出来：
poi_list = json.loads(data)
poi = poi_list['data']['recommendPoiList']
for pp in poi:
poiName = pp['poiName']
picUrl = pp['picUrl']
address = pp['address']
poiIdStr = pp['poiIdStr']
poiLabels = ...
想要搭建自己的网站，需要准备三样东西：域名、服务器和Wordpress插件。
其中，域名和服务器都需要付费购买。购买服务器又有两种选择：单一的VPS服务器和专业的Wordpress托管服务器。这两者主要体现在服务商提供的专属Wordpress功能方面，产品本身并无差异。
VPS服务器：适合动手能力和学习能力强的朋友，可以借助各种脚本代码从零搭建自己的网站；
Wordpress托管服务器：针对Wordpress进行了专门优化，提供Wordpress一键安装功能，并提供免费SSL证书、CDN、自动备份、域名邮件等功能。
对于新手朋友，我是比较建议选择专业的Wordpress托管服务商的。这类服务商优点很明显，就是有针对Wordpress提供的各类功能，安装、使用和售后都很便捷。唯独需要留意价格，通常第一年比较便宜，第二年大多是原价续费。
01
关于网站
SwimUniversity是有关泳池和热水浴缸护理的网站，包括如何清洁、维护和化学平衡。
这样图片有很多值得我们学习的地方：
现在的这张图的布局是Hero，Hero原意是英雄的意思，用来网站意思就是说这一部分至关重要，因为用户打开网站就会看到它。
它的背景其实是一段视频，我打开网页的代码，背景是一个清洁泳池的11秒视频。有兴趣的可以看看。
文案描述：它的文案描述完全是站在用户角度的，一看就告诉你这个网站是干什么的。
两个按钮直接带用户进入想了解的详情。
最后通过数字包括社交媒体订阅者，邮件订阅者，服务过的客户来增加用户的信任感
02
团队
Matt Giovanisci 于 2006 年创立了 SwimUniversity。自那时起，Swim University 已为超过 1000 万房主提供了更轻松的泳池和热水浴缸护理服务，而且这一数字还在不断增加。我们提供水化学、清洁和解决问题等方面的帮助。
03
商业模式和收入
该网站销售信息产品，包括书籍、课程和程序，以及最近的电子商务产品，以帮助人们维护泳池。
该网站目前年收入超过 60 万美元，也是努力很久的结果。
04
网站流量
SwimUniversity.com的主要流量渠道包括：
自然搜索：通过专注于 SEO 和创建有价值的内容，SwimUniversity.com 吸引了来自 Google 等搜索引擎的有机流量。
YouTube：游泳大学每周发布 YouTube 视频，这些视频有助于订阅者增长并宣传他们的备忘单，从而增加其网站的流量。
电子邮件营销：通过提供有价值的备忘单作为磁铁，游泳大学收集定期收到更新和促销信息的电子邮件订阅者。
Facebook 广告：游泳大学运营 Facebook 广告，主要针对那些最初未注册的用户，以增加流量并提高转化率。
网站推广：游泳大学在其网站顶部和博客文章底部推广他们的备忘单，以吸引访问者的兴趣并增加流量。
我们来看一具体流量：
网站目前搜索的流量是80.9K，实际情况肯定比这个多，而且这还只是PC端的流量。
多个核心关键词排名在首位。
再看一下网站页面流量排名:
流量排名第一的是一篇博客文章：泳池容量计算器：您的泳池可容纳多少加仑的水？
刚才最前面我也分享了这个网站是通过创建有价值的内容来获取流量，这种方式不仅限于谷歌文章，还有YouTube视频平台，我相信他们也会在TikTok上发布内容。
这个网站对外贸行业有非常多可以借鉴的地方，如果有需要可以看一看。
我之前写过一篇2万多阅读量的文章，一个女老外通过TikTok卖Excel课每年盈利1400多万。有兴趣的可以读一读。
往期推荐
别再关注李一舟了，这个女老外在TikTok上卖Excel课程每年狂赚1400多万
这个美国小伙在自己的网站记录名人的日常6个月收入20万美刀
如果大家有什么WordPress建站的问题和SEO优化的问题，都可以来找我。
前言
每当遇到一些 APP 渗透测试项目的时候，抓不了包的问题令人有点难受，但是抓不了包并不能代表目标系统很安全，那么接下来我会整理一下目前我所了解到的一些抓包方法
声明：该公众号大部分文章来自作者日常学习笔记，也有部分文章是经过作者授权和其他公众号白名单转载，未经授权，严禁转载，如需转载，联系开白。
请勿利用文章内的相关技术从事非法测试，如因此产生的一切不良后果与文章作者和本公众号无关。
1、Burpsuite
2、Fiddler
3、Burpsuite + Fiddler
4、小黄鸟 HttpCanary
5、Charles
6、Charles + Burpsuite
7、Postern + Charles + Burpsuite
8、Frida + Xposed + Objection + Burpsuite
9、Frida 写 Hook 代码来抓包
以下抓包测试请确保手机和电脑是处于同一个局域网下
1、使用 Burpsuite 对 APP 进行抓包
环境：
Burpsuite Professional v2021.2
Pixel3 Android11 、已 root + Xposed
在 Burpsuite 里面 Proxy — Options — Proxy Listeners — Add然后在Speciffic address选择172网段的那个 IP 地址（即本机局域网 IP 地址）
在手机里面网络设置也要设置 手动代理模式 ，输入的 IP和端口 都要与 Burpsuite 一样
然后在手机浏览器访问 https://burp 这个地址，去进行下载并安装 ...
Sam Altman 承诺不用 API 收集的数据训练未来 ChatGPT 版本
4 月 13 日消息，OpenAI 近期举办了系列推介会，首席执行官 Sam Altman 在旧金山、纽约和伦敦演讲，向出席的多家「财富 500 强」企业的高管承诺，OpenAI 不会使用 API 收集的客户数据来训练大语言模型（LLMs）。
这些活动面向金融、医疗保健和能源等各行各业的高层决策者。阿尔特曼带队，此外还有首席运营官 Brad Lightcap 在内多位 OpenAI 高管出席，介绍了包括 ChatGPT Enterprise、文本转视频模型在内的诸多产品。（来源：IT 之家）
苹果动议遭英国法院拒绝，被裁决要和「1566 名开发者」对簿公堂
4 月 13 日消息，1566 名英国开发者去年 7 月指控苹果存在垄断行为之后，苹果公司提交动议要求法官驳回此案，不过这项动议遭到了法官的拒绝。
安德鲁・莱农法官在一份书面裁决中认为，在非英国应用市场的商业交易中，苹果公司向英国的应用程序开发商多收佣金的行为，可以认定是在英国境内实施的行为。（来源：IT 之家）
大众汽车张岚：未来三年内将在中国推出超过 40 款新车型，一半为新能源
4 月 13 日消息，第四届中国国际消费品博览会今日在海南海口开幕，参展商大众汽车集团 (中国) 集团销售副总裁张岚表示，未来三年内，集团计划向中国市场推出超过 40 款新车型，其中一半是新能源汽车。
据悉，到 2030 年，大众集团将提供不少于 30 款纯电动车型。「我们目标明确，即保持在华国际车企第一的地位，并在智能网联汽车时代扮演领导角色」，张岚补充道。（来源：IT 之家）
小米应用商店新规生效：App 不得默认勾选、强制捆绑自动续费
上个月，小米应用商店发布公告，要整治 App 自动续费等行为。
根据公告，新规 4 月 13 ...
软件功能；
功能1：采集商家列表的同时，同步采集每一个商家的联系方式；
优点：方便，简单，省事；不足：采集商家联系方式需要消耗额外的cookie资源；
使用方式：同非定制的版本操作一样，输入城市与地址，启动采集即可，采集到的数据就会带有每个商家的联系方式。
功能2：通过已经采集好的商家名称和id批量采集目标商家的联系方式。