这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明:为保证软件的正常使用,需要在使用软件之前,先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能:通过输入携程酒店链接,自动采集目标酒店的房间价格信息。
软件更新网址:https://www.futaike.net/shop/ctrip_room_price_collection,可批量,也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧:在浏览器当中登录的同时,可以在手机浏览器上同步登录,然后如果遇到cookie不可用(软件提示有:keyerror这样的字符时,这时可能在电脑浏览器页面刷新会遇到验证拦截,就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下,如果需要验证,验证一下可能就通过了,也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作,软件的使用说明文档其实都有写明需要做的一些前期工作或者准备,下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤,本公司大部分软件都依赖谷歌浏览器,使用前请先安装最新版本的谷歌浏览器软件,安装成功后再运行软件。
有人问:美团优选app当中有很多自提点,能不能导出?
我们来研究一下:批量获取这些自提点有什么办法呢?
通常我们要查找某个城市的美团优选中的商家自提点,一般是按照以下步骤操作:
打开美团应用程序。
进入应用后,可以通过点击“附近的自提点”选项来查找。
在搜索框中输入所在的城市或地区名称。
点击搜索按钮,系统会显示该地区内的自提点列表。
此外,还可以通过美团优选的微信小程序进行查找:
打开手机上的微信应用。
点击“发现”页面中的“小程序”。
搜索并打开“美团优选”小程序。
在小程序内选择“我的自提点”,然后通常可以查看到自提点的信息。
如下图:
1、附近自提点
2、搜索框搜索
抓取思路:分析/抓取数据包/解析/保存数据:
那么,按这个操作来说,我们下面要做的就是把系统显示的自提点也提取出来就是了。
我们找一个抓数据包的工具,来对显示的数据进行抓包。(比较复杂,步骤也比较多,专业性强,这里就略过了。)
我们来看一下原始数据:
{"code":0,"message":"success","data":{"historyOrderPoiIdList":[],"recommendPoiList":[{"poiId":0,"poiIdStr":"VPwCIInVDc_TZ8EOIvJTLQE","poiName":"绍兴老酒绿叶","picUrl":"https://img.meituan.net/groupheaduploadfiles/0b12b9a0bfbfa0cef83d7a810d76395b148990.jpg","address":"上海市宝山区同泰北路447号同泰北路447号绿叶市集菜市场内N4门面房 冰箱太小大件冷冻品是不能放","latitude":31.381681,"longitude":121.492451,"distance":1232.1,"distanceText":"距离1.23公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":9,"labelName":"送货上门、配送范围:点击查看地图","labelColor":"#D9D9D9","fontColor":"#000000","jumpUrl":"/subPackages/location/pages/receivingRange/index","labelAttr":1,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"deliveryRange":"配送范围:点击查看地图","deliveryRangeType":2,"isDelivery":1,"deliveryTypeText":"送货上门"}},{"poiId":0,"poiIdStr":"ztyKX8gO2E2VTrKY0WpYJQE","poiName":"荣港便利店","picUrl":"https://img.meituan.net/groupheaduploadfiles/d0a9d9081be9990482a4055ed323466242037145.jpg","address":"淞宝路677号荣港便利店(淞宝路店)淞宝路677号","latitude":31.389831,"longitude":121.502941,"distance":1265.0,"distanceText":"距离1.26公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"6g2_78XtVgE9JyUpsVNvtgE","poiName":"领迪娱乐美团优选","picUrl":"https://img.meituan.net/groupheaduploadfiles/0c657837bb9aad9b2fdd24e40441e3fa34982212.jpg","address":"上海市宝山区密山路50号宝轻大厦(密山路)密山路50号4楼","latitude":31.402114,"longitude":121.482754,"distance":1268.5,"distanceText":"距离1.27公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"7lqSGEGTqqVMIcgWRjeBsgE","poiName":"海江二村小店","picUrl":"https://img.meituan.net/groupheadfoundation/a2e9cdeaa3e452168cec351f5237f989280213.jpg","address":"上海市宝山区海江二村海江二村-71号楼海江二村71号小店","latitude":31.393637,"longitude":121.503581,"distance":1294.6,"distanceText":"距离1.29公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":4,"labelName":"支持冷藏","labelColor":"#3488FF","fontColor":"#3488FF","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":4,"labelName":"支持冷藏","labelColor":"#3488FF","fontColor":"#3488FF","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}},{"poiId":0,"poiIdStr":"mmMFNRKId1e9ChRb37kM-QE","poiName":"手机检测维修","picUrl":"https://img.meituan.net/groupheaduploadfiles/5a053df2b8b7ce3578a4c2a82ce028302447178949.jpg","address":"上海市宝山区密山路88-3号手机检测维修密山路88号-2(手机检测维修)","latitude":31.401933,"longitude":121.481648,"distance":1312.5,"distanceText":"距离1.31公里","cityId":1,"cityName":"上海","districtId":13,"poiBusinessStatus":1,"poiLabels":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"poiLabelsV2":[{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1},{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1}],"extraInfo":"{}","poiDeliveryInfo":{"isDelivery":0}}],"type":0,"groups":[{"group":"skinAB","strategy":"a"},{"group":"poiMapPageAB","strategy":"c"},{"group":"dragMapNoRelocateAB","strategy":"c"},{"group":"poiDisplayInfoOptABResult","strategy":"a"}],"nearbyLabelList":[{"type":7,"labelName":"冷藏冷冻","labelColor":"#BFDFF0","fontColor":"#0A77F5","labelAttr":2,"displayType":1},{"type":9,"labelName":"送货上门","labelColor":"#F20000","fontColor":"#F20000","labelAttr":1,"displayType":1},{"type":6,"labelName":"优质服务","labelColor":"#FFE2BC","fontColor":"#FF7700","labelAttr":3,"displayType":1}],"total":40,"offset":35,"limit":5,"hitMtsi":false,"nearbyPoiDefaultSelectIndex":0}}
然后我们要做的就是把数据解析出来:
poi_list = json.loads(data)
poi = poi_list['data']['recommendPoiList']
for pp in poi:
poiName = pp['poiName']
picUrl = pp['picUrl']
address = pp['address']
poiIdStr = pp['poiIdStr']
poiLabels = ...
以上就是cookie自动提取器的具体使用说明,不管什么网站,只要是想要快速、简单提取cookie使用的,都可以用这个小工具。大家有需要的可以下载使用。
Sam Altman 承诺不用 API 收集的数据训练未来 ChatGPT 版本
4 月 13 日消息,OpenAI 近期举办了系列推介会,首席执行官 Sam Altman 在旧金山、纽约和伦敦演讲,向出席的多家「财富 500 强」企业的高管承诺,OpenAI 不会使用 API 收集的客户数据来训练大语言模型(LLMs)。
这些活动面向金融、医疗保健和能源等各行各业的高层决策者。阿尔特曼带队,此外还有首席运营官 Brad Lightcap 在内多位 OpenAI 高管出席,介绍了包括 ChatGPT Enterprise、文本转视频模型在内的诸多产品。(来源:IT 之家)
苹果动议遭英国法院拒绝,被裁决要和「1566 名开发者」对簿公堂
4 月 13 日消息,1566 名英国开发者去年 7 月指控苹果存在垄断行为之后,苹果公司提交动议要求法官驳回此案,不过这项动议遭到了法官的拒绝。
安德鲁・莱农法官在一份书面裁决中认为,在非英国应用市场的商业交易中,苹果公司向英国的应用程序开发商多收佣金的行为,可以认定是在英国境内实施的行为。(来源:IT 之家)
大众汽车张岚:未来三年内将在中国推出超过 40 款新车型,一半为新能源
4 月 13 日消息,第四届中国国际消费品博览会今日在海南海口开幕,参展商大众汽车集团 (中国) 集团销售副总裁张岚表示,未来三年内,集团计划向中国市场推出超过 40 款新车型,其中一半是新能源汽车。
据悉,到 2030 年,大众集团将提供不少于 30 款纯电动车型。「我们目标明确,即保持在华国际车企第一的地位,并在智能网联汽车时代扮演领导角色」,张岚补充道。(来源:IT 之家)
小米应用商店新规生效:App 不得默认勾选、强制捆绑自动续费
上个月,小米应用商店发布公告,要整治 App 自动续费等行为。
根据公告,新规 4 月 13 ...
软件功能;
功能1:采集商家列表的同时,同步采集每一个商家的联系方式;
优点:方便,简单,省事;不足:采集商家联系方式需要消耗额外的cookie资源;
使用方式:同非定制的版本操作一样,输入城市与地址,启动采集即可,采集到的数据就会带有每个商家的联系方式。
功能2:通过已经采集好的商家名称和id批量采集目标商家的联系方式。
https://stats.wp.com/w.js,这个链接访问任一链接都会加载,而且响应超时。
这个js应该是在woocommerce配置时开启了woocommerce跟踪功能,让woocommerce能够从用户处搜集一些数据以更好地提供更新服务。
这个跟踪功能如果开启了,每次进入woocommerce相关界面都会加载stats.wp.com,而这个网站的速度在国内访问会比较慢。
美团外卖采集助手-GUI版
1、不同版本集成在一个使用界面当中,更方便使用不同版本的功能;
2、所有功能都在一个界面当中,操作更简单、更傻瓜;
3、教程和使用指南都在界面上有直达链接,不会用马上点击了解;
4、软件界面有客服二维码,看了教程还是不会,扫码加客服马上咨询;
5、数据抓取的同时同步导出,无须等候,更无须去设置文件名、存放路径等,抓取完成直接自动打开文件夹;用户也可以直接在界面上点击进入文件夹。
6、软件按需购买,不同版本功能不同价格不同,只需要按需求的功能付费即可。
7、无须付费,免费版本也可以直接使用。
10款在线代码编辑器,随时随地编写代码。