这里有关于“数据采集”“爬虫定制”“美团外卖采集”“外卖商家数据导出”相关的产品与服务、使用教程、技术文章 – 富泰科
美团外卖采集助手安装及使用说明：为保证软件的正常使用，需要在使用软件之前，先安装软件目录下的《node-v20.12.0-x64.msi》
软件功能：通过输入携程酒店链接，自动采集目标酒店的房间价格信息。
软件更新网址：https://www.futaike.net/shop/ctrip_room_price_collection，可批量，也可设置手机推送通知、电脑通知等。软件免费下载试用。
cookie使用时效延长小技巧：在浏览器当中登录的同时，可以在手机浏览器上同步登录，然后如果遇到cookie不可用（软件提示有：keyerror这样的字符时，这时可能在电脑浏览器页面刷新会遇到验证拦截，就是验证有时也很难通过。但可以去手机浏览器的页面去刷新一下，如果需要验证，验证一下可能就通过了，也就是说在手机浏览器端访问会更容易一些。验证通过以后就又可以使用并正常抓取数据了。
经常有小伙伴反应软件会没反应、或者闪退。这些多半是没有看使用说明就上手操作，软件的使用说明文档其实都有写明需要做的一些前期工作或者准备，下面再总结一下类似的问题以及解决办法
软件在启动界面或帮助菜单下均有相对应的详细的使用说明及步骤。用户需要在使用软件前阅读及掌握相应的操作步骤，本公司大部分软件都依赖谷歌浏览器，使用前请先安装最新版本的谷歌浏览器软件，安装成功后再运行软件。
有数十种用于 Web 抓取的软件包…… 但是您只需要少数几个就可以抓取几乎所有网站。这是一个自己认定的说法。这里决定采用我们最喜欢的 5 个用于网络抓取的 Python 库
工欲善其事，必先利其器。想要提高科研效率，自然少不了科研利器。本期内容我们就为大家盘点一下能提高科研效率的一些软件，希望能够帮到大家~
科技BOOM
2022-01-28 10-20
本文首发于「科技BOOM」，未经允许禁止转载！！
■Window TopMost Control
Window TopMost Control 是一款大小仅有 791KB 的，免费无广告的窗口置顶工具（绿色软件）。它简单好用，可以置顶任何一个程序窗口，比较适合在一些需要将某个程序窗口置顶显示的场景下使用。它目前仅支持 Windows 平台。
它的使用方法非常简单：解压软件压缩包后，双击运行其中的 exe 可执行文件就可以打开软件。
运行成功后，可以在任务栏上看到软件图标。鼠标右键点击软件图标，选择【Options】可以打开它的设置。在设置中我们可以自定义它的快捷键（用于置顶或取消置顶目标窗口）：
在默认设置下，按 Ctrl+Alt+Space 快捷键就可以置顶或取消置顶当前的窗口。
当然，我们还可以通过鼠标右键点击任务栏上的软件图标，选择【Window List】打开窗口列表，从窗口列表中快速地置顶窗口。只要是打开了的窗口（处于最小化状态的窗口也能被检测到），它都能检测出来，并在Window List 中显示窗口名称：
■Smart System Menu
Smart System Menu是一款大小仅有 859KB 的，免费无广告的窗口标题栏菜单增强工具（绿色软件）。它目前仅支持 Windows 平台。
当我们在电脑上运行 Smart System Menu 后点击窗口标题栏时可以发现，此时的窗口标题栏右键菜单有了很多功能，如查看窗口信息、置顶窗口、打开或关闭毛玻璃效果、调节窗口透明度、调整窗口大小、将窗口移动到其他显示器等等：
我们可以通过它快速地查看窗口的信息，调节窗口的大小、透明度、位置等等：
鼠标右键点击任务栏上的软件图标后选择【设置】，就可以自定义这些菜单：
■Defender Exclusion Tool
Defender Exclusion Tool 是一款大小仅有 453KB 的免费无广告的绿色小软件。它可以快速地给 Windows 安全中心添加要从 Windows Defender 防病毒扫描中排除的项目。
相信大家在使用电脑的过程中都遇到过电脑上的某些文件或文件夹、甚至某些软件莫名其妙的消失或无法正常运行的情况。
这其实就是Windows Defender 在扫描磁盘时，将自己认为存在危险的文件或应用程序删除掉导致的。
Windows Defender 在 Windows 系统中极高的权限，可以轻松删除电脑上的任何一个自己认为可能存在安全问题的文件或程序。
而 Defender Exclusion Tool 可以快速地将任何一个文件或文件夹添加到 Windows Defeder 的“白名单”中。这样 ...
测评列表：吾记、墨记、flomo、时光手账、pendo、随手写、小日记、印象笔记、格子笔记、Zine、青橙日记、Notability
小明
2022-01-28 08-03
今天小编为大家精心分享这 5 款十分良心又好用的软件。
一、Convertio-文件转换器
Convertio 是一款在线转换文件的简单工具，它能支持超过309 种不同的文档、图像、电子表格、电子书、文档、演示文稿、音频和视频格式的转换。
在 Convertio 中，我们只需要把文件拖放至转换页面，选择输出格式并点击“转换”按钮即可，整个转换过程速度非常快，只需要1分钟左右的时间就能完成转换。
Convertio 下载地址
https://convertio.co/zh/webp-jpg/
二、Bandizip-免费压缩解压软件神器
Bandizip 是一款完全免费的自动解压缩软件，相比于其它解压缩软件，虽然它也只是做到了一款压缩软件本来该有的样子，但绝对比你用过的任何一款压缩软件都好用。
这款压缩软件几乎可以支持所有的压缩格式，软件界面、压缩文件预览、自动打包解压缩文件等页面设置也是非常的简洁美观。
该软件最大的优势，它完全支持商用，且还无广告和产品捆绑。
Bandizip 下载地址
https://www.bandisoft.com/bandizip/
三、Quicker-快速启动器
Quicker 是 Windows 上的一款工具箱软件，它的里面内置了电脑里常用的截图、使用百度搜索关键字等常用的操作，可以通过写好的自动化程序，一键完成需要多个步骤的操作。
除此之外，你还可以从 Quicker 动作库里选取一些别人分享的动作进行安装，来增强 Quicker 的能力。
Quicker 的面板划分为上下两块区域：上方是全局按钮区域，里面的按钮不会因打开的 Windows 应用而发生变化；对于下方的区域，按钮则会根据当前打开的应用有所变化。
Quicker 值得推荐的便是截图 OCR（文字识别）了，因为有时候我们在网上会看到一些值得保存的文本内容，但这些内容可能是以图片的形式存在，或者设置了禁止复制，让我们根本无法保存，那我们的 OCR 就可以很好的派上用场了。
对于识别得到的文本内容，Quicker 还能进行翻译、搜索和多行合并等，能方便你对文本后续可能进行的处理。
Quicker 下载地址
四、Everything- 快速搜索本地文件神器
Everything 是 Windows 上的一款搜索引擎软件，可以快速搜索本地磁盘文件。
它占用内存小，搜索界面简单，搜索速度又快，而且完全免费，还能够基于文件名快速锁定文件和文件夹位置，搜索时也只需输入文件夹或文件的关键字。
与Windows系统自带的搜索相比，Everything的速度确实要快很多倍，整个搜索过程几乎是感觉不到什么延迟的。
Everything还可以限定搜索类型，在视图中勾选筛选器就可以想定搜索范围了。同时还有预览功能，不论是文档、图片还是视频都可以快速显示。
右键点击文件也可以打开和复制文件路径，喜欢捣鼓的小伙伴还可以使用正则表达式进行搜索，不过默认的搜索功能也能让大家够用了。
Everything 下载地址
https://www.voidtools.com/zh-cn/
五、Geek-卸载流氓软件神器
Geek是一款专业的 Windows 软件卸载工具，真的是流氓软件的克星了，它自身内存非常小，只有 6M 大小，使用起来非常轻巧方便。
软件不仅完全免费 ，而且整个操作页面干净简洁，没有任何广告，单文件绿色版，可以解压即用。
打开 Geek Uninstaller，主界面列出了我们电脑上安装的所有软件列表。最近安装或修改过的，会以橙色突出显示。
选中要卸载的软件，点击右键进行卸载，软件还会自动扫描卸载程序中残留的文件和注册表等。
这款软件完全能够让你一键轻松删除所有残余垃圾，保持电脑的清洁！
Geek 下载地址
https://geekuninstaller.com/
IT技术分享社区
个人博客网站：https://programmerblog.xyz
文章推荐程序员效率：画流程图常用的工具程序员效率：整理常用的在线笔记软件远程办公：常用的远程协助软件，你都知道吗？51单片机程序下载、ISP及串口基础知识硬件：断路器、接触器、继电器基础知识
来源：https://zhuanlan.zhihu.com/p/462613023, 版权归原作者所有，如不同意转载，请来信告知。本站将停止转载。
如何在您的浏览器中禁用/启用JavaScript
JavaScript是一种在网页上使用的非常好的技术，不建议对浏览器上的所有网站禁用它。大多数流行的网站都是基于Java的，这意味着它们使用JavaScript来运行交互式功能，以此来提供令人愉悦的用户体验。
但是我们有时候需要禁用JavaScript， 比如：有的网站通过这个技术禁止我们复制网页内容，这个时候我们就需要暂时禁用。但禁用JavaScript 后，您的浏览器将无法运行或显示交互式元素，如显示动画或音频等。不过，好消息是JavaScript很容易激活。此外，还有一些特定的方法可以在某个站点上禁用JavaScript，而不是完全关闭它。
下面是各大浏览器如何禁用/启用的详细说明：
Microsoft Edge
打开Microsoft Edge浏览器。
单击右上角的三点图标打开菜单标签。
选择菜单标签上的“设置”。
现在点击左侧设置窗格中的“网站权限”。
选择“JavaScript”。
打开/关闭“允许（推荐）”。
Google Chrome
在您的设备上打开Google Chrome浏览器
点击屏幕右上角的菜单图标（三个点）。
在下拉菜单上选择“设置”–底部的倒数第三个选项
现在点击左侧边栏菜单上的“隐私设置和安全性”。
在“隐私设置和安全性”下，选择“网站设置”
在“网站设置”下，滚动到“JavaScript”并点击它。
切换“允许（推荐）”-启用时将变为蓝色。
Internet Explorer
启动Internet Explorer浏览器并打开一个窗口。
点击“工具”-通常位于菜单栏的最顶部。然后，从显示的选项列表中选择“Internet选项”。也可以按“Alt键”快速定位。
点击“安全标签”。
点击“自定义级别”按钮。
继续向下滚动到页面底部，直到找到“脚本”标题。
选择“活动脚本”以启用JavaScript。
点击“确定”
刷新浏览器
Mozilla Firefox
启动Mozilla Firefox浏览器并打开一个窗口。
在地址栏输入“about:config”并按回车键。
点击警告信息下方的“接受风险并继续”按钮，进入首选项搜索框页面。
在首选项搜索框中输入“javascript.enabled“。
在搜索结果中找到标有“javascript.enabled”的选项并打开JavaScript。
刷新浏览器
（关闭操作请选择disabled)
Opera
启动Opera迷你浏览器
打开“简易设置”菜单。
向下滚动至简易设置菜单底部，然后选择“转到浏览器设置”。
接下来，向下滚动找到“网站设置”选项，然后点击它。
在“网站设置”下，找到显示JavaScript的选项并选择它。
选择“已允许（推荐）”开关激活/关闭JavaScript。启用时将变为蓝色。
Apple Safari
导航到设备的“工具”部分。
选择“偏好设置”。
点击安全性图标。
选中复选框“启用JavaScript”。(关闭取消即可）
重新启动浏览器。
更多精彩产品或服务，去看看： 产品 – 富泰科 (futaike.net)
用Chrome谷歌浏览器或者edge浏览器打开https://m.weibo.cn/login，找到相应的位置，”Cookie:”后的值即为我们要找的cookie值，复制一下，然后粘贴到指定的文件当中使用即可。
词频统计分析 – 常用停用词：
下载链接：点击这里
采集前的准备工作：
安装采集器软件：市面上如八爪鱼等支持JSON采集的都可以；安装后注册账号备用；
安装正版纯净的谷歌浏览器；安装好备用；
导入采集规则
规则使用详细说明
双击打开规则，界面如上图所示。左边窗体是流程图，用户无须更改，不要变动。右边窗体是采集全国各城市的重点要讲解的内容。
上图为某城市某商区的采集示例网址，我们想要变换采集的城市和商区，以及采集网址的生成和修改通过点击编辑按钮进行。
点击编辑按钮以后，出现如下的界面：
这里我们选择批量生成，
然后在下面的网址栏输入我们要批量生成的源网址（这个源网址后面我们来告诉大家从何而来）
在这个网址当中将offset=后面的数字选中，点击添加参数。
按上图的数字设置，红框当中的项数可以自行修改。此项的意思对应于采集的商区周圈商家数量的多少，由用户自己判断，结束值对应于本次采集的目标商家数。用户可通过设置项数，来灵活的设置采集本商区的目标商家数量。数量小可能会漏采，数量也不宜过大，过大则可能要空采，浪费时间。
设置好以后，点确定。最后保存网址。
然后会进入任务编辑页面：
依上图所示，点击确定，再点击保存。
然后，我们就可以启动任务，开始采集了。
我们会发现，采集的速度非常快，1分钟有100多条。采集到的内容有商家名称、地址、电话、优惠内容、商家图片、营业时间等。
如果采集结束，便可以导出数据，导出的数据支持的格式如下：
我们如果选择excel导出，导出后的表格如下：
四、采集网址的由来：
我们打开谷歌浏览器，在地址栏输入：h5.ele.me，在页面上点击右键，选择：检查：
点击下面的选择城市，和商区来定位。
我们这里选择大连市-老虎滩商区
点击这里，切换成移动端模拟页面：
点击页面上的：我的，登录饿了么客户端。
找到列表的含json数据的网址，在这个JSON网址上按右键，选择复制这个网址。
下面我们就可以回到步骤三，在采集器当中添加批量参数，采集该商区的所有商家了。
这个我们示例使用的是城市-大连，大家可以根据自己的需要，更换采集的目标城市，而由于每个城市的商区很多，这里我们也使用批量采集工具，帮大家采集好了，大家只需要选择好一个城市，使用表格当中的商区复制到下图的位置。然后复制步骤四当中生成的网址，设置好批量参数即可批量采集了。
全国商区7万多：
几点注意：
登录过饿了么以后，需要将登录后的cookie以及user-agent等复制到采集器当中去。否则访问网址会获取不到数据。
关于cookie的生命周期
cookie是有生命周期的，如果过期了，就会失效。如果失效了，可能会导致采集无法进行，因为饿了么限制未登录用户的翻页次数。所以，我们保证cookie的有效性。下面是需要更新cookie的时候：
A/更换了采集的城市；B/超过了几个小时未有采集；C/采集过程当中出错。
Tips：使用市面上第三方采集器采集移动app类的数据，都非常的复杂，需要用户有一定的动手能力。如果用户没有这方面的基础，上面可能很多步骤都完成不了。这时用户可以考虑委托我们定制一个专门的采集软件，或者更简单一些委托我们代为爬取数据。
输入行业关键字的操作说明
一、搜狗地图可选城市、可选行业关键字采集商家信息
打开规则，可以点击如下图的红框，更改城市名
更改行业关键字。修改以后记得点确定-保存。
启动规则，进行采集，可以看到采集的速度很快，采集的内容也如我们预期。
配合功能包使用，采集更多数据：
把对应城市的组合关键字，按下图输入，保存。
即可进行采集了。
想要上面提到的采集爬虫软件或者八爪鱼模板，一键直达