这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
获取大众点评网的店铺评论，我们一般有以下几个途径：1、PC端网页端；2、小程序端；3、APP端；PC端由于有字体加密，采集时需要对加密的字体进行解密，具体思路可以参考：爬虫方案 | 爬取大众点评网评论的几个思路（从PC端） – 富泰科 (futaike.net)，本篇我们尝试从小程序端来获取：
如今大众点评的评论信息做了前端字体加密，爬取大众点评用户评论有几个难点：
查看完整评论和更多评论需要登陆后才可以
评论数据不完整，部分文字被替换
如下图：部分字体被<span>标签包含，实际它是一张svg背景图，用css样式控制雪花图显示加载，并且可以看到他的css的background属性，可自行更改看看效果，注意字体width：14px。
思路：
获取评论部分的完整HTML样式，把整个内容用list存起来；
获取css样式，样式在源码的位置，如下图，我们需要的是每个span标签里的class属性值，因为它对应background坐标信息。
从css样式中动态取svg图片链接，生成字典库，然后用第二步的css坐标经过处理，查找真实字所对应的值，并返回最终真实评论。
步骤：
图一各标签位置还是需要了解一下的。
一、查看源码，知道css样式链接在哪里，保存该链接。
二、第一步获取的css链接样式里会有一个background-image标签，里面包含加密字体的svg路径，保存该路径，同时将该css文件的.*****{background：-,-}做成字典保存起来。
敲黑板了：图片一中提到过字体样式宽度为14px,因此我们把获取的background的x坐标/14，就是最终加密字体svg中的位置，svg每一行的字符串可转为数组存储，这样就能建立对应关系。background的y坐标要和svg中的<path>中的值比较，后续说。
三、这是加密字体的svg文件，注意看<path> 标签，它的id对应后面<textPath>标签的href值，它的d值就很有意思，也是解密的关键。
敲黑板了：步骤二中提到过background的y值，再和d列的M0后面值做比较就有意思了，比如
.gqi4j {background: -98.0px -130.0px;} 中的y：-130，取正数130，小于<path>标签中的d属性第二列的174这个值，则对应加密字库实际y轴为174，对应的id=4，就是<textPath>中的href标签，也就是加密字体的y轴坐标，而它的x就是98/14，对应的id=4,href=”#4″行里的低98/14个的值，至此一个加密的字就取出来了。
最终效果：
如下图，完整评论内容，右侧部分没显示完部分，需要点开更多评论，原网页中有两个标签，一个完整的，一个局部的。
#!/usr/bin/env python
# encoding: utf-8
"""
@version: v1.0
@author: W_H_J
@license: Apache Licence
@contact: 415900617@qq.com
@software: PyCharm
@file: dazhongdianping.py
@describe: 大众点评评论抓取-解析
"""
import sys
import os
import re
import requests
from pyquery import PyQuery as pq
sys.path.append(os.path.abspath(os.path.dirname(__file__) + '/' + '..'))
sys.path.append("..")
header_pinlun = {
'Host': 'www.dianping.com',
'Accept-Encoding': 'gzip',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) ...
遇到not available in your country 的解决办法。复制下面这段代码，然后按下回车键，刷新页面。如果你的代理没问题，就可以看到正常工作的注册页面了。
ChatGPT 火爆出圈，但是 OpenAI（开发 ChatGPT 的公司）却不对国内用户正式开放使用。但是，我们仍然有办法可以在第一时间体验到这个超强 AI。下面我来教你如何手把手完成注册 Chat GPT。
软件可以实现对 知乎文章采集及图文下载（可下载专栏列表、文章、回答列表、单个回答、视频列表等，用于将相应的链接放在指定文本当中运行软件即可下载，下载下来的图文效果同网站。下载地址：https://www.futaike.net/wp-content/uploads/futaike_soft/Zhihu文章采集助手v2.20-源-全功能版.zip
美团外卖作为我们外卖从业人员，是一个很好的平台，从业人员以及相关的数据研究者经常需要从该平台上获取相关数据进行分析，研究竞品销售、分析外卖行业情况等。那么，该平台的数据爬取怎么进行呢？小编今天就进行了尝试。
如何爬取电商平台的商品图片
目标：到网站 https://www.jd.com，使用：电动剃须刀 为关键词，准备采集搜索出来的商品主图并下载。
链接如下：
https://search.jd.com/Search?keyword=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&enc=utf-8&suggest=4.def.0.SAK7|MIXTAG_SAK7R,SAK7_M_AM_L5384,SAK7_M_COL_U17678,SAK7_S_AM_R,SAK7_SC_PD_R,SAK7_SM_PB_L16675,SAK7_SS_PM_LC|&wq=%E7%94%B5%E5%8A%A8&pvid=bb682c18bcb7479c9b220aab0f42d0a6
按下F12键（打开开发者工具），在“元素”选项页中，单击“元素检查工具” 或者查看源代码，后再单击你要选的图片，可以找到图片地址：
Futaike.net 0319 172103
复制出来就是：
//img13.360buyimg.com/n7/jfs/t1/88836/2/24471/163175/622eefb5E1e47b683/c2bf1d990c407594.jpg,没有http:头需要我们在请求时加上。
然后我们就可以写代码来下载了。
设置保存路径
然后我们再写一个下载函数
Futaike.net 下载函数
# 调用函数
Futaike.net 调用函数
运行一下：
Futaike.net 下载成功
然后我们再到文件夹下查看：
Futaike.net 下载成功
可以看到图片下载成功了。
那么下一步我们的目标就是批量获取，批量获取需要取得这个页面所有的图片链接，我们可以用的工具有很多：比如：xpath定位元素、正则工具所有的目标元素等。
这里我们使用xpath 定位：
引用etree 库： from lxml import etree，然后通过页面分析，找出所有商品图片的xpath路径。
然后我们来写一下代码：
Futaike.net 导入模块
Futaike.net 0318 191212
写好以后，我们运行一下，可以看到文件都下载成功了。
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
然后我们再看一下文件夹，可以看到下载的文件都在了：
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
这样一页所有的商品图片就下载好了。
如果需要下载多页的呢，只要我们再加页数循环，访问多个页面，进行下载就可以了。
https://search.jd.com/Search?keyword=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&qrst=1&suggest=4.def.0.SAK7%7CMIXTAG_SAK7R%2CSAK7_M_AM_L5384%2CSAK7_M_COL_U17678%2CSAK7_S_AM_R%2CSAK7_SC_PD_R%2CSAK7_SM_PB_L16675%2CSAK7_SS_PM_LC%7C&wq=%E7%94%B5%E5%8A%A8%E5%89%83%E9%A1%BB%E5%88%80&stock=1&pvid=bb682c18bcb7479c9b220aab0f42d0a6&page=3&s=56&click=0
这是多页的网址，我们观察一下，发现有page=3这样的参数，这个就是翻页的参数了，那么我们只要把前面的网址再加上这个参数就可以循环访问多页了。
那么我们把上面的代码再改一下，比如我们需要下载20页，
爬虫入门 | 如何使用python 写爬虫爬取京东商品页面的高清主图
这样，就可以了。然后我们调用函数进行循环访问并下载。
Futaike.net 循环下载
最后 获取到所有目标页的商品图片。
Futaike.net 下载成功
The End
有数十种用于 Web 抓取的软件包…… 但是您只需要少数几个就可以抓取几乎所有网站。这是一个自己认定的说法。这里决定采用我们最喜欢的 5 个用于网络抓取的 Python 库
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
该目标网站调用了极验的接口，极验在智能反爬虫的领域可以说相当之厉害。
本文主要是利用selenium进行模拟操作进行破解。