这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
美团外卖、饿了么外卖采集专题，最全面的整理，抓取美团、抓取饿了么外卖的数据，看这篇就够了：
按地址采集餐饮美食类商家：https://www.futaike.net/shop/meituan_weimai
我们将软件下载下来，软件为绿色免安装版，解压以后，双击主程序，软件启动以后，正常会驱动打开谷歌浏览器，加载饿了么的h5客户端页面。如果我们登录好，就可以回车继续了。然后我们就可以看到浏览器会加载我们搜索的内容，软件当中也会显示采集数据出来了。
这里特别感谢用户「222」整理并提供的IPTV直播源，以及适用IPTV的Android、iOS、MacOS、Windows的软件推荐，感谢Ta的硬核分享！
以下直播源地址和内容仅供测试研究使用，不得商用。如有使用问题，可在本页直接留言。
IPTV直播源地址
以下源地址不分先后，而且根据本地网络情况，连接状态也有问题，请根据实际使用情况选择合适的直播源地址。
fanmingming
频道数：137个
频道内容：CCTV、卫视频道
https://fanmingming.com/txt?url=https://raw.githubusercontent.com/fanmingming/live/main/tv/m3u/ipv6.m3u
hiyoi
频道数：307个
频道内容：CCTV、卫视频道、国际频道、数字频道、地方频道、港澳台
https://mirror.ghproxy.com/https://raw.githubusercontent.com/hiyoi/IPTV/main/IPTV.m3u
YueChan
频道数：180个
频道内容：CCTV、卫视频道、国际频道、数字频道、地方频道
https://mirror.ghproxy.com/https://raw.githubusercontent.com/YueChan/Live/main/IPTV.m3u
joevess
频道数：503个
频道内容：CCTV、卫视频道、国际频道、地方频道
https://mirror.ghproxy.com/https://raw.githubusercontent.com/joevess/IPTV/main/iptv.m3u8
Kimentanm
频道数：177个
频道内容：CCTV、卫视频道
https://mirror.ghproxy.com/https://raw.githubusercontent.com/Kimentanm/aptv/master/m3u/iptv.m3u
IPTV客户端推荐
以下软件仅供参考，也可选择其他优秀的IPTV软件。如果软件有内购、付费的情况请勿使用。
Andorid APP推荐：
elevizo
iOS APP推荐：
APTV、ntPlayer、AM3U
Mac软件推荐：
APTV、IINA
Windows软件推荐：
Potplayer、VLC
软件简介：
大众点评商家采集助手 通过输入目标城市或地址获取该城市或地址周边的商家：
可抓取的字段有：店铺名，店铺id，区域，商圈，分类，地址，营业时间，评论数，平均星级，人均消费，商家电话（定制），坐标（定制），推荐等。
软件功能及使用说明：
1、输入关键词，采集指定页数的视频搜索数据，并保存到excel文件中。
2、下载的评论内容自动导出到软件目录下的《B站视频搜索》当中。
SQLite是一个轻量级的数据库，非常适合嵌入式系统、移动应用和小型项目。Python的sqlite3模块为SQLite数据库提供了强大的支持，使得在Python中进行数据库操作变得简单快捷。通过掌握上述的SQLite语句和Python代码实例，你可以有效地在Python项目中使用SQLite数据库进行数据存储和管理。
1. 创建和连接数据库
在Python中使用SQLite的第一步是创建和连接到数据库。可以使用sqlite3模块来完成这个任务。
import sqlite3# 连接到数据库，如果数据库不存在则创建conn = sqlite3.connect('mydatabase.db')
2. 创建表格
创建表格是数据库操作的基础。在SQLite中，可以使用CREATE TABLE语句来创建一个新的表格。
cursor = conn.cursor()# 创建一个名为"students"的表格cursor.execute('''CREATE TABLE IF NOT EXISTS students ( id INTEGER PRIMARY KEY, name TEXT NOT NULL, age INTEGER )''')conn.commit()
3. 插入数据
插入数据到表格中可以使用INSERT INTO语句。
# 插入一名学生的信息cursor.execute("INSERT INTO students (name, age) VALUES (?, ?)", ('Alice', 25))
4. 查询数据
查询数据是数据库操作中最常用的功能之一。SELECT语句用于从表格中检索数据。
# 查询所有学生的信息cursor.execute("SELECT * FROM students")rows = cursor.fetchall()for row in rows: print(row)
5. 更新数据
UPDATE语句用于更新表格中的现有数据。
# 更新名为Alice的学生的年龄cursor.execute("UPDATE students SET age = ? WHERE name = ?", (26, 'Alice'))
6. 删除数据
DELETE语句用于从表格中删除数据。
# 删除名为Bob的学生记录cursor.execute("DELETE FROM students WHERE name = 'Bob'")
7. 事务处理
SQLite支持事务，可以确保数据库操作的完整性。
# 开始事务conn.execute("BEGIN")# 执行一些操作# ...# 提交事务conn.commit()
8. 创建索引
为了提高查询效率，可以在表格上创建索引。
# 创建索引cursor.execute("CREATE INDEX idx_name ON students (name)")
9. 数据库备份和恢复
SQLite提供了简单的备份和恢复机制。
# 备份数据库conn.execute("BACKUP DATABASE ? TO ?", ('mydatabase.db', 'mydatabase_backup.db'))# 恢复数据库conn.execute("RESTORE DATABASE ? FROM ?", ('mydatabase.db', 'mydatabase_backup.db'))
10. 使用函数和触发器
SQLite支持使用函数和触发器来自动化某些操作。
# 创建一个触发器cursor.execute("CREATE TRIGGER update_age BEFORE INSERT ON students FOR EACH ROW BEGIN UPDATE students SET age = NEW.age + 1 WHERE name = NEW.name; END")# 使用函数cursor.execute("SELECT length(name) FROM students")
11. 数据库优化
使用ANALYZE和VACUUM语句可以优化数据库性能。
# 分析表格cursor.execute("ANALYZE students")# 清理并优化数据库conn.execute("VACUUM")
12. 常用的SQLite语句
以下是一些常用的SQLite语句：
SELECT – 选择数据
INSERT INTO – 插入数据
UPDATE – 更新数据
DELETE – 删除数据
CREATE TABLE – 创建新表格
ALTER TABLE – 修改表格结构
DROP TABLE – 删除表格
CREATE INDEX – 创建索引
DROP INDEX – 删除索引
SELECT DISTINCT – 选择唯一记录
ORDER BY – 排序查询结果
GROUP BY – 按列分组
HAVING – 过滤分组后的数据
LIMIT – 限制查询结果数量
JOIN – 连接表格
LEFT JOIN – 左连接
RIGHT JOIN – 右连接
FULL OUTER JOIN – 全外连接
UNION – ...
一个有趣的尝试，看到一些微信文章，想要发布到自己的wordpress网站，如果不会php语言，那ai帮助自己一步步来实现，是否可以呢？下面是实现的全过程。
想要搭建自己的网站，需要准备三样东西：域名、服务器和Wordpress插件。
其中，域名和服务器都需要付费购买。购买服务器又有两种选择：单一的VPS服务器和专业的Wordpress托管服务器。这两者主要体现在服务商提供的专属Wordpress功能方面，产品本身并无差异。
VPS服务器：适合动手能力和学习能力强的朋友，可以借助各种脚本代码从零搭建自己的网站；
Wordpress托管服务器：针对Wordpress进行了专门优化，提供Wordpress一键安装功能，并提供免费SSL证书、CDN、自动备份、域名邮件等功能。
对于新手朋友，我是比较建议选择专业的Wordpress托管服务商的。这类服务商优点很明显，就是有针对Wordpress提供的各类功能，安装、使用和售后都很便捷。唯独需要留意价格，通常第一年比较便宜，第二年大多是原价续费。
01
关于网站
SwimUniversity是有关泳池和热水浴缸护理的网站，包括如何清洁、维护和化学平衡。
这样图片有很多值得我们学习的地方：
现在的这张图的布局是Hero，Hero原意是英雄的意思，用来网站意思就是说这一部分至关重要，因为用户打开网站就会看到它。
它的背景其实是一段视频，我打开网页的代码，背景是一个清洁泳池的11秒视频。有兴趣的可以看看。
文案描述：它的文案描述完全是站在用户角度的，一看就告诉你这个网站是干什么的。
两个按钮直接带用户进入想了解的详情。
最后通过数字包括社交媒体订阅者，邮件订阅者，服务过的客户来增加用户的信任感
02
团队
Matt Giovanisci 于 2006 年创立了 SwimUniversity。自那时起，Swim University 已为超过 1000 万房主提供了更轻松的泳池和热水浴缸护理服务，而且这一数字还在不断增加。我们提供水化学、清洁和解决问题等方面的帮助。
03
商业模式和收入
该网站销售信息产品，包括书籍、课程和程序，以及最近的电子商务产品，以帮助人们维护泳池。
该网站目前年收入超过 60 万美元，也是努力很久的结果。
04
网站流量
SwimUniversity.com的主要流量渠道包括：
自然搜索：通过专注于 SEO 和创建有价值的内容，SwimUniversity.com 吸引了来自 Google 等搜索引擎的有机流量。
YouTube：游泳大学每周发布 YouTube 视频，这些视频有助于订阅者增长并宣传他们的备忘单，从而增加其网站的流量。
电子邮件营销：通过提供有价值的备忘单作为磁铁，游泳大学收集定期收到更新和促销信息的电子邮件订阅者。
Facebook 广告：游泳大学运营 Facebook 广告，主要针对那些最初未注册的用户，以增加流量并提高转化率。
网站推广：游泳大学在其网站顶部和博客文章底部推广他们的备忘单，以吸引访问者的兴趣并增加流量。
我们来看一具体流量：
网站目前搜索的流量是80.9K，实际情况肯定比这个多，而且这还只是PC端的流量。
多个核心关键词排名在首位。
再看一下网站页面流量排名:
流量排名第一的是一篇博客文章：泳池容量计算器：您的泳池可容纳多少加仑的水？
刚才最前面我也分享了这个网站是通过创建有价值的内容来获取流量，这种方式不仅限于谷歌文章，还有YouTube视频平台，我相信他们也会在TikTok上发布内容。
这个网站对外贸行业有非常多可以借鉴的地方，如果有需要可以看一看。
我之前写过一篇2万多阅读量的文章，一个女老外通过TikTok卖Excel课每年盈利1400多万。有兴趣的可以读一读。
往期推荐
别再关注李一舟了，这个女老外在TikTok上卖Excel课程每年狂赚1400多万
这个美国小伙在自己的网站记录名人的日常6个月收入20万美刀
如果大家有什么WordPress建站的问题和SEO优化的问题，都可以来找我。
前言
每当遇到一些 APP 渗透测试项目的时候，抓不了包的问题令人有点难受，但是抓不了包并不能代表目标系统很安全，那么接下来我会整理一下目前我所了解到的一些抓包方法
声明：该公众号大部分文章来自作者日常学习笔记，也有部分文章是经过作者授权和其他公众号白名单转载，未经授权，严禁转载，如需转载，联系开白。
请勿利用文章内的相关技术从事非法测试，如因此产生的一切不良后果与文章作者和本公众号无关。
1、Burpsuite
2、Fiddler
3、Burpsuite + Fiddler
4、小黄鸟 HttpCanary
5、Charles
6、Charles + Burpsuite
7、Postern + Charles + Burpsuite
8、Frida + Xposed + Objection + Burpsuite
9、Frida 写 Hook 代码来抓包
以下抓包测试请确保手机和电脑是处于同一个局域网下
1、使用 Burpsuite 对 APP 进行抓包
环境：
Burpsuite Professional v2021.2
Pixel3 Android11 、已 root + Xposed
在 Burpsuite 里面 Proxy — Options — Proxy Listeners — Add然后在Speciffic address选择172网段的那个 IP 地址（即本机局域网 IP 地址）
在手机里面网络设置也要设置 手动代理模式 ，输入的 IP和端口 都要与 Burpsuite 一样
然后在手机浏览器访问 https://burp 这个地址，去进行下载并安装 ...