这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明:为保证软件的正常使用,需要在使用软件之前,先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能:通过输入携程酒店链接,自动采集目标酒店的房间价格信息。
软件更新网址:https://www.futaike.net/shop/ctrip_room_price_collection,可批量,也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧:在浏览器当中登录的同时,可以在手机浏览器上同步登录,然后如果遇到cookie不可用(软件提示有:keyerror这样的字符时,这时可能在电脑浏览器页面刷新会遇到验证拦截,就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下,如果需要验证,验证一下可能就通过了,也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤,本公司大部分软件都依赖谷歌浏览器,使用前请先安装最新版本的谷歌浏览器软件,安装成功后再运行软件。
Sam Altman 承诺不用 API 收集的数据训练未来 ChatGPT 版本
4 月 13 日消息,OpenAI 近期举办了系列推介会,首席执行官 Sam Altman 在旧金山、纽约和伦敦演讲,向出席的多家「财富 500 强」企业的高管承诺,OpenAI 不会使用 API 收集的客户数据来训练大语言模型(LLMs)。
这些活动面向金融、医疗保健和能源等各行各业的高层决策者。阿尔特曼带队,此外还有首席运营官 Brad Lightcap 在内多位 OpenAI 高管出席,介绍了包括 ChatGPT Enterprise、文本转视频模型在内的诸多产品。(来源:IT 之家)
苹果动议遭英国法院拒绝,被裁决要和「1566 名开发者」对簿公堂
4 月 13 日消息,1566 名英国开发者去年 7 月指控苹果存在垄断行为之后,苹果公司提交动议要求法官驳回此案,不过这项动议遭到了法官的拒绝。
安德鲁・莱农法官在一份书面裁决中认为,在非英国应用市场的商业交易中,苹果公司向英国的应用程序开发商多收佣金的行为,可以认定是在英国境内实施的行为。(来源:IT 之家)
大众汽车张岚:未来三年内将在中国推出超过 40 款新车型,一半为新能源
4 月 13 日消息,第四届中国国际消费品博览会今日在海南海口开幕,参展商大众汽车集团 (中国) 集团销售副总裁张岚表示,未来三年内,集团计划向中国市场推出超过 40 款新车型,其中一半是新能源汽车。
据悉,到 2030 年,大众集团将提供不少于 30 款纯电动车型。「我们目标明确,即保持在华国际车企第一的地位,并在智能网联汽车时代扮演领导角色」,张岚补充道。(来源:IT 之家)
小米应用商店新规生效:App 不得默认勾选、强制捆绑自动续费
上个月,小米应用商店发布公告,要整治 App 自动续费等行为。
根据公告,新规 4 月 13 ...
相信不少人安装完windows或office之后都会去找对应的激活工具,不过目前网上的激活工具堪称鱼龙混杂,不少开发者为了获取收益会在激活工具中植入广告插件以及捆绑主页等方式, 导致系统多了很多弹窗体验极差。
软件功能;
功能1:采集商家列表的同时,同步采集每一个商家的联系方式;
优点:方便,简单,省事;不足:采集商家联系方式需要消耗额外的cookie资源;
使用方式:同非定制的版本操作一样,输入城市与地址,启动采集即可,采集到的数据就会带有每个商家的联系方式。
功能2:通过已经采集好的商家名称和id批量采集目标商家的联系方式。
ssl 免费证书获取
ssl证书获取方式有很多,大致分为两类。一类是通过服务商去申请,有花钱的,也有不花钱的。一类就是免费的,百度一搜也能搜一大把,但免费的一般可用时间都在3个月左右,需要自己去手动续签。
下面介绍免费自动续签的方法。
gitee https推荐的证书申请网站
acme.sh自动申请续签
1. 安装acme.sh
安装很简单, 一个命令:
curl https://get.acme.sh | sh
普通用户和 root 用户都可以安装使用. 安装过程进行了以下几步:
把 acme.sh 安装到你的 home 目录下:
~/.acme.sh/
安装完成
并创建 一个 bash 的 alias, 方便你的使用: alias acme.sh=~/.acme.sh/acme.sh
自动为你创建 cronjob, 每天 0:00 点自动检测所有的证书, 如果快过期了, 需要更新, 则会自动更新证书.
更高级的安装选项请参考: How-to-install
安装过程不会污染已有的系统任何功能和文件, 所有的修改都限制在安装目录中: ~/.acme.sh/
2. 生成证书
acme.sh 实现了 acme 协议支持的所有验证协议. 一般有两种方式验证: http 和 dns 验证.
http 方式需要在你的网站根目录下放置一个文件, 来验证你的域名所有权,完成验证. 然后就可以生成证书了.
acme.sh --issue -d mydomain.com -d www.mydomain.com --webroot ...
欢迎来到Meroser的直播源仓库?
1、独家定制epg,不同于网上大佬们提供的112114,老张等,本仓库epg是基于直播列表深度定制,几乎每个频道都有完整的预告;
2、集齐了全套的1080P,CGTN、CGTN纪录、CGTN法语、CGTN俄语、CGTN西语、CGTN阿语。也算是本仓库的一个与其他源不同之处;
3、每个频道都集成了高清图标,大多数节目具备详情预告(目前网络上的基本上只做到显示到节目名),额外提供了当前播放电视剧/电影的详情,包括:剧情简介、导演、编剧、主要演员等信息。
?高清、流畅、几近完美的直播观看体验?强迫症福音
?本播放列表完美集成高清台标
?EPG深度定制匹配频道列表|完美匹配
?几乎每个频道都有完整的预告
?说明
所有播放源均收集于互联网?,仅供测试研究使用,不得商用。
本项目不存储任何的流媒体内容,所有的法律责任与后果应由使用者自行承担。
?♀️源地址
? 名称
?直播源地址
?频道数
?状态
?更新时间
?湖南联通组播源
?订阅链接-湖南联通组播
待完善
?不可用
2023.11.20
?湖南移动组播源
?订阅链接-湖南移动组播
待完善
?不可用
2023.11.20
?湖南电信组播源
?订阅链接-湖南电信组播
待完善
?不可用
2023.11.20
?IPTV(IPV6专用)
?订阅链接-IPV6专用
220
?日常更新
2024.01.30
?TVBOX专用源
?订阅链接-TVBOX专用
220
?日常更新
2024.01.30
注:以上源请点击链接右键复制
如果不会操作请直接复制下面的小白链接↙
链接
链接
?️EPG
科普?:电子节目指南(electrical program guide,简称EPG)是Electronic Program Guide的英文缩写,意思是电子节目菜单,即节目预告。
?EPG文件地址:
稳定版: 稳定、定时更新、信息准确?
CDN地址1:https://raw.fgit.cf/Meroser/IPTV/main/tvxml.xml
CDN地址2:https://mirror.ghproxy.com/https://raw.githubusercontent.com/Meroser/IPTV/main/tvxml.xml
详情版: 内容详细、定时更新、尝鲜?
CDN地址1:https://raw.fgit.cf/Meroser/EPG-test/main/tvxml-test.xml.gz
CDN地址2:https://mirror.ghproxy.com/https://raw.githubusercontent.com/Meroser/EPG-test/main/tvxml-test.xml.gz
注:稳定版每天00:25左右自动更新,请根据自身网络情况选择以上可用地址访问。?详情版目前仅提供gz版,每日00:40左右自动更新。相对于稳定版预告内容更加详细,比如当前播放电视剧/电影的详情,包括:剧情简介、导演、编剧、主要演员等信息?欢迎测试反馈。。。
?关于TVBOX和DIYP上的EPG接口
erw.cc:https://epg.erw.cc/api/diyp/?ch={name}&date={date} 推荐✨节目信息比较准确
112114:https://epg.112114.xyz/?ch={name}&date={date} 推荐✨节目覆盖范围较广
注:本仓库只提供tvxml格式的EPG(即节目预告),TVbox和DIYP使用的是EPG接口,不适用于本仓库的,对于TVbox和DIYP用户推荐使用以上两个EPG接口。
?IPTV播放器
?Android TV:Tivimate,Televizo
?Windows:Potplayer
?IOS:APTV
?MAC:APTV
?Apple TV:APTV
?Android:Televizo
?频道列表
?央视高清/24个频道
CCTV-1 综合、CCTV-2 财经、CCTV-3 综艺、CCTV-4 中文国际、CCTV-5 体育、CCTV-5+ 体育赛事、CCTV-6 电影、CCTV-7 国防军事、CCTV-8 电视剧、CCTV-9 纪录、CCTV-10 科教、CCTV-11 戏曲、CCTV-12 社会与法、CCTV-13 新闻、CCTV-14 少儿、CCTV-15 音乐、CCTV-16 奥林匹克、CCTV-17 农业农村、CCTV-4K 超高清、CCTV-8K 超高清、CETV-1 综合教育、CETV-2 空中课堂、CETV-3 教育服务、CETV-4 职业教育
?卫视高清/40个频道
高清: 湖南卫视、浙江卫视、东方卫视、北京卫视、江苏 卫视、安徽卫视、重庆卫视、东南卫视、甘肃卫视、广东卫视、广西卫视、贵州卫视、海南卫视、河北卫视、黑龙江卫视、河南卫视、湖北卫视、江西卫视、吉林卫视、辽宁卫视、山东卫视、深圳卫视、四川卫视、天津卫视、云南卫视、新疆卫视、三沙卫视
标清: 青海卫视、陕西卫视、山西卫视、西藏卫视、内蒙古卫视、宁夏卫视、兵团卫视、安多卫视、康巴卫视、大湾区卫视、农林卫视、延边卫视、厦门卫视
?数字高清/42个频道
CHC高清电影、CHC家庭影院、CHC动作电影、求索纪录、求索科学、求索动物、求索生活、黑莓电影、黑莓动画、哒啵电竞、哒啵赛事、乐游、纪实人文、纯享4K、风云剧场、风云音乐、第一剧场、女性时尚、 风云足球、兵器科技、怀旧剧场、世界地理、文化精品、央视台球、高尔夫网球、电视指南、都市剧场、生活时尚、金色学堂、法治天地、哈哈炫动、动漫秀场、游戏风云、欢笑剧场、第一财经、东方财经、武术世界、文物宝库、梨园、天元围棋、弈坛春秋、劲爆体育
?港澳台国际/18个频道
凤凰中文、凤凰资讯、凤凰香港、翡翠台、明珠台、J2、NHK World、CNA、AlJazeera、Arirang TV、RT News、RT Documentary、CGTN、CGTN Documentary、CGTN Français、CGTN Русский、CGTN Español、CGTN العربية
?湖南省内/11个频道
茶频道、快乐垂钓、金鹰纪实、金鹰卡通、湖南经视、湖南都市、湖南爱晚、湖南国际、湖南娱乐、湖南电影、湖南电视剧
?地方特色/26个频道
上海新闻综合、上海都市、上海外语、湖北综合、湖北影视、湖北教育、湖北生活、湖北公共、湖北经视、湖北垄上、浙江钱江都市、浙江经济生活、浙江科教影视、浙江民生休闲、浙江公共新闻、浙江少儿、浙江国际、纪实科教、卡酷少儿、陕西新闻资讯、陕西都市青春、陕西生活、陕西影视、陕西公共、陕西体育休闲、陕西西部电影
?NewTV系列/15个频道
NewTV军事评论、NewTV军旅剧场、NewTV家庭剧场、NewTV中国功夫、NewTV东北热剧、NewTV惊悚悬疑、NewTV明星大片、NewTV欢乐剧场、NewTV潮妈辣婆、NewTV炫舞未来、NewTV精品体育、NewTV精品大剧、NewTV超级电影、NewTV超级综艺、NewTV超级电视剧
⚽咪咕体育/44个频道
咪咕体育4K、咪咕体育(包括NBA赛事、足球等)
?更新
2024.01.30 新增NewTV系列15个频道、新增湖北地方台、新增武术世界、天元围棋等特色台
2024.01.26 修复因上海移动而影响的频道,详情版EPG已正式投入使用
2024.01.22 优选部分高码率源,新增湖南地方台,新增浙江、陕西等区地方台
2024.01.13 修复凤凰三个频道,更新CGTN纪录为咸阳移动源,新增梨园频道
2024.01.08 通过遍历/咸阳移动IPTV的id找到了CGTN俄语高清频道id为2883 至此集齐全套CGTN高清???
?致谢:
Logo来源:https://github.com/wanglindl/TVlogo
wcb1969:https://github.com/wcb1969/iptv
fanmingming:https://github.com/fanmingming/live
Yuechan:https://github.com/YueChan/Live
YanG-1989:https://github.com/YanG-1989/m3u
erc.cc及112114提供的epg接口
GitHub及互联网其他资源
说明:本仓库部分内容引用或参考以上内容,在此表示感谢!!!?
我们写了一个可视化的pyinstaller打包小工具,送给新手小白用户们。Python可以使用pyinstaller工具将代码打包成exe可执行文件。
xlwt模块写入Excel文件时,每个单元格的字符串长度不能超过32767个字符,如果超过了这个限制就会出现“Exception: String longer than 32767 characters”的错误。要解决这个问题,可以将长字符串分割成多个小块,然后分别写入到不同的单元格中。在代码中,可以使用切片的方法将长字符串分割成多个小块,然后使用循环将每个小块写入到不同的单元格中。最后,保存Excel文件即可。
This error occurs because xlwt has a string limit of 32,767 characters per cell. To resolve this error, you can split the string into smaller chunks and write them to separate cells. Here’s an example:
import xlwt
# Example long string
long_string = "Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do ...
这个错误通常是由于Python依赖包之间存在冲突,导致pip无法正确解析依赖关系,从而无法安装或升级某些包。常见的解决方法包括:
1. 清理缓存:使用`pip cache purge`命令清理pip缓存,然后再次尝试安装或升级包。
2. 升级pip:使用`pip install –upgrade pip`命令升级pip到最新版本,然后再次尝试安装或升级包。
3. 使用虚拟环境:使用虚拟环境来隔离不同项目之间的依赖关系,避免冲突。可以使用`venv`、`virtualenv`等工具创建虚拟环境。
4. 手动安装依赖包:如果pip无法解决依赖关系,可以尝试手动安装依赖包。可以使用`pip download`命令下载依赖包的源码包,然后使用`pip install`命令手动安装依赖包。
5. 解决依赖冲突:如果依赖包之间存在冲突,可以尝试手动解决冲突。可以使用`pip show`命令查看已安装的包的版本信息,然后手动安装或升级依赖包,以满足依赖关系。
在解决这个问题时,可以先尝试清理缓存、升级pip等常见方法,如果还是无法解决问题,可以尝试使用`pipdeptree`等工具查看依赖关系,以便更好地定位问题。
这个错误通常是因为字符串中包含了非UTF-8编码的字符,而在Python中,JSON模块默认只支持UTF-8编码的字符串。为了解决这个问题,可以尝试以下几种方法:
将字符串转换为UTF-8编码:可以使用str.encode()方法将字符串转换为UTF-8编码的字节串,然后再使用json.loads()方法将其转换为JSON格式。示例代码如下:
import json
str_data = "{'name': '张三', 'age': 18}"
json_data = json.loads(str_data.encode('utf-8'))
使用ensure_ascii=False参数:可以在调用json.dumps()方法时,传入ensure_ascii=False参数,这样就可以支持非UTF-8编码的字符。示例代码如下:
import json
str_data = "{'name': '张三', 'age': 18}"
json_data = json.dumps(str_data, ensure_ascii=False)
修改字符串中的非UTF-8编码字符:如果字符串中包含非UTF-8编码字符,可以尝试将其修改为UTF-8编码的字符,或者使用Unicode编码替代。比如,将字符串中的中文字符修改为Unicode编码,示例代码如下:
import json
str_data = "{'name': '\u5f20\u4e09', 'age': 18}"
json_data = json.loads(str_data)
其中,\u5f20\u4e09是中文字符“张三”的Unicode编码。
常规的string—-指最外层是单引号,内层键值是双引号,且最后一对键值之后没有逗号的字符串。常规的string转json对象(dict)—-使用json.loads(),特殊的string转json对象(dict)—-使用ast.literal_eval()