Santos R. Guerra Faro

WordPress plugin to keep track of User Agents that come to our website. This information is usually extracted from the server log, but in many cases it is a cumbersome process and a lot of valuable time is lost, so I decided to make a simple plugin that allows you to get the information without consuming resources and easily export it for further analysis.
A User Agent is a text string that identifies the software and hardware used by a client when accessing a website or online service. It typically includes information about:
<ul>
<li>Web browser (type and version)</li>
<li>Operating system</li>
<li>Device (in the case of cell phones or tablets)</li>
<li>Rendering engine</li>
<li>Other client characteristics</li>
</ul>
Example User Agent: 
”’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36””
User Agents’ collection and analysis provides valuable insights for developers, analysts and security professionals, allowing to improve user experience and website effectiveness.
The information collected by this plugin can be used for: 
* Search bots identification: Allows to identify search engine bots (such as Googlebot, Bingbot, etc.) that are crawling your site. 
* Detection of technical problems.* Resource optimization.* Identification of malicious traffic. 
* Verification of SEO tools. 
* Traffic analysis.

Get User-Agents

WordPress plugin tracks User Agents, avoiding server log analysis. Records and exports data easily for further analysis.

mrkwong

wbolt.com

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
<blockquote>
Spider Analyser Pro
这是Spider Analyser的免费版本，包括蜘蛛概况、蜘蛛日志、蜘蛛列表（蜘蛛清单）、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能，则需要升级到Pro版本！ <a href="https://www.wbolt.com/plugins/spider-analyser?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Spider Analyser Pro" rel="friend nofollow ugc">点击了解及购买Spider Analyser Pro版本!</a>
</blockquote>
功能包括：
<h3>1.蜘蛛概况</h3>
支持查看网站日常各大搜索引擎蜘蛛来访的数据；
<ul>
<li>
今日蜘蛛 
方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
</li>
<li>
趋势图 
支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。
</li>
<li>
Top10蜘蛛 
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
</li>
<li>
Top10蜘蛛爬取URL 
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比，方便站长对热门蜘蛛爬取页面URL进行分析。
</li>
<li>
Top10热门文章 
按今天、昨天、最近7天及最近30天查看Top10热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
</li>
</ul>
<h3>2.蜘蛛日志</h3>
支持按今天、最近7天及最近30天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
<blockquote>
ℹ️ Tips
1.应重点关注301/302，及404状态码主流搜索引擎（如百度、谷歌和必应）蜘蛛日志。 
 2.蜘蛛日志分析工作，请查阅<a href="https://www.wbolt.com/how-to-analyze-spider-log.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛日志分析教程" rel="friend nofollow ugc">详细教程</a>。 
 3.301/302状态码内部链接，尽可能修改为最终目标链接。 
 4.404状态码内部链接，应修复或重定向为正确链接。 
 5.重定向可安装<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Smart SEO Tool插件" rel="friend nofollow ugc">Smart SEO Tool插件</a>实现或<a href="https://www.wbolt.com/301-redirects.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress 301重定向" rel="friend nofollow ugc">手动配置</a>。
</blockquote>
<h3>3.蜘蛛列表</h3>
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中：
<ul>
<li>蜘蛛清单 
列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。</li>
</ul>
<blockquote>
ℹ️ Tips
1.蜘蛛清单数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>。 
 2.部分不常见蜘蛛尤其是伪蜘蛛，可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。 
 3.对于无需记录的蜘蛛爬虫，应该选择忽略或者拦截，避免浪费服务器资源。
</blockquote>
<ul>
<li>蜘蛛IP段 
在该列表可以查看不同蜘蛛对应IP段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注：蜘蛛IP段拦截属于泛拦截，应审慎操作。</li>
</ul>
<blockquote>
ℹ️ Tips
1.IP段拦截前，请确保该IP段蜘蛛均是不需要统计的，若要取消拦截，请通过蜘蛛拦截列表取消。 
 2.Pro版本用户可以考虑直接启用智能拦截，则无需执行手动拦截操作。
</blockquote>
<ul>
<li>疑似伪蜘蛛 
协作站长快速发现疑似伪蜘蛛名称及IP地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。</li>
</ul>
<blockquote>
ℹ️ Tips
1.疑似伪蜘蛛数据参考<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>，仅供参考。 
 2.如果您的网站启用了全站CDN（如Cloudflare），真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。
</blockquote>
<ul>
<li>蜘蛛拦截 
蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。</li>
</ul>
<blockquote>
ℹ️ Tips
1.开启智能拦截前，需确定未采用全站CDN，否则可能误判拦截真实蜘蛛。 
 2.部分伪蜘蛛可能会伪装成真实蜘蛛名称，对于伪蜘蛛拦截请使用IP拦截方式。 
 3.按蜘蛛名称拦截，需准确填写蜘蛛名称，区分大小写，否则可能会拦截失败。 
 4.蜘蛛拦截仅对前端页面爬取蜘蛛有效，对后端数据爬取蜘蛛无效。
</blockquote>
<h3>4.访问路径</h3>
支持按今天、最近7天及最近30天查看蜘蛛访问路径（爬取页面URL）具体信息列表，包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
<blockquote>
ℹ️ Tips
1.重点关注主流搜索引擎对文章页及<a href="https://www.wbolt.com/wordpress-sitemap.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress Sitemap" rel="friend nofollow ugc">Sitemap</a>的访问爬取。 
 2.持续更新发布高质量文章内容，以吸引搜索引擎爬取。 
 3.安装<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Smart SEO Tool插件" rel="friend nofollow ugc">Smart SEO Tool插件</a>或其他类似插件，通过sitemap生成配置剔除不重要链接类型。 
 4.对于主流搜索引擎高频次爬取文章页，应该适当地<a href="https://www.wbolt.com/internal-links-optimization.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="内部链接建设" rel="friend nofollow ugc">添加内部链接</a>。
</blockquote>
<h3>5.文章爬取</h3>
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。
<blockquote>
ℹ️ Tips
1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉，蜘蛛访问频率越高，URL被收录索引几率越大。 
 2.蜘蛛访问量频率低且未收录文章，可以尝试<a href="https://www.wbolt.com/republishing-content.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="内容重建" rel="friend nofollow ugc">内容重建</a>及<a href="https://www.wbolt.com/internal-links-optimization.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress内部链接" rel="friend nofollow ugc">增加入链数</a>。 
 3.尽可能降低文章指向其他网站的链接数，又或者<a href="https://www.wbolt.com/what-is-nofollow.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="nofollow属性" rel="friend nofollow ugc">外链增加nofollow属性</a>。 
 4.收录状态数据通过<a href="https://www.wbolt.com/plugins/bsl?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="搜索引擎推送插件" rel="friend nofollow ugc">搜索引擎推送插件</a>引入，建议站长结合这两插件做好链接推送和爬虫分析工作。
</blockquote>
<h3>6.插件设置</h3>
<ul>
<li>记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。</li>
</ul>
<blockquote>
ℹ️ Tips
1.如无需统计某一蜘蛛，可以通过操作修改该蜘蛛状态为忽略即可。 
 2.对于一些非必要蜘蛛，应直接拦截，节省服务器资源。 
 3.此列表的占比计算范围：最近7天的蜘蛛数据。 
 4.蜘蛛名称及类型数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>。
</blockquote>
<ul>
<li>链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型，支持添加自定义或者修改新增现有链接类型的规则。</li>
</ul>
<blockquote>
ℹ️ Tips
1.支持通配符形式链接规则，如 <code>/mp-api/*</code> 
 2.如有不同于预设的链接类型，可以通过添加自定义来新增；否则建议在预设类型基础上修改新增。
</blockquote>
<ul>
<li>日志设置-支持设置插件日志保留时间周期（最近30天、最近3个月、最近6个月、最近1年或永久），日志备份及删除和自定义蜘蛛。</li>
</ul>
<blockquote>
ℹ️ Tips
1.日志保留周期可根据自身实际情况选择，一般保留30天即可。如数据量非常大，改为近7天亦可。 
 2.日志更新方式需写入数据库，为保证服务器性能，可考虑每小时（默认）甚至每天更新。 
 3.如蜘蛛日志数据量非常庞大，建议备份日志并删除，忽略及拦截不必要的蜘蛛。
</blockquote>
Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具，通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件，并结合<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress网站SEO优化插件" rel="friend nofollow ugc">WordPress网站SEO优化插件</a>、<a href="https://www.wbolt.com/plugins/bsl?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="百度推送插件" rel="friend nofollow ugc">百度推送插件</a>和<a href="https://www.wbolt.com/plugins/skt?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="关键词推荐插件" rel="friend nofollow ugc">关键词推荐插件</a>，对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果！
<blockquote>
Spider Analyser插件的蜘蛛爬虫数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛爬虫在线查询" rel="friend nofollow ugc">蜘蛛爬虫查询在线工具</a>。该工具整合了1600+蜘蛛爬虫数据，涵盖的类型包括搜索引擎、营销、快照、监控、信息流、链接检测、爬虫、工具、速度检测和漏洞/病毒扫描等。
您也可以使用该在线工具在线，通过蜘蛛名称、IP地址和用户代理字符串，来查询蜘蛛的详细信息及判断蜘蛛爬虫的真伪！
</blockquote>
<h3>其他WP插件</h3>
Spider Analyser是一款专门为WordPress开发的<a href="https://www.wbolt.com/plugins/spider-analyser?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Spider Analyser插件" rel="friend nofollow ugc">搜索引擎蜘蛛分析插件</a>.
闪电博（<a href="https://www.wbolt.com/?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="闪电博官网" rel="friend nofollow ugc">wbolt.com</a>）专注于原创<a href="https://www.wbolt.com/themes" title="WordPress主题" rel="friend nofollow ugc">WordPress主题</a>和<a href="https://www.wbolt.com/plugins" title="WordPress插件" rel="friend nofollow ugc">WordPress插件</a>开发，为中文博客提供更多优质和符合国内需求的主题和插件。
除了Spider Analyser插件外，目前我们还开发了以下WordPress插件：
<ul>
<li><a href="https://wordpress.org/plugins/baidu-submit-link/" rel="ugc">多合一搜索自动推送管理插件-历史下载安装数190,000+</a></li>
<li><a href="https://wordpress.org/plugins/smart-keywords-tool/" rel="ugc">热门关键词推荐插件-最佳关键词布局插件</a></li>
<li><a href="https://wordpress.org/plugins/imgspider/" rel="ugc">IMGspider-轻量外链图片采集插件</a></li>
<li><a href="https://wordpress.org/plugins/smart-seo-tool/" rel="ugc">Smart SEO Tool-高效便捷的WP搜索引擎优化插件</a></li>
<li><a href="https://wordpress.org/plugins/magicpost/" rel="ugc">MagicPost – WordPress文章管理功能增强插件</a></li>
<li><a href="https://wordpress.org/plugins/wpturbo/" rel="ugc">WPTurbo -WordPress性能优化插件</a></li>
<li><a href="https://wordpress.org/plugins/wp-vk/" rel="ugc">WP VK-WordPress知识付费插件</a></li>
<li>
<a href="https://wordpress.org/plugins/online-contact-widget/" rel="ugc">Online Contact Widget-多合一在线客服插件</a>
</li>
<li>
更多主题和插件，请访问<a href="https://www.wbolt.com/?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="闪电博官网" rel="friend nofollow ugc">wbolt.com</a>!
</li>
</ul>
如果你在WordPress主题和插件上有更多的需求，也希望您可以向我们提出意见建议，我们将会记录下来并根据实际情况，推出更多符合大家需求的主题和插件。
<h3>WordPress资源</h3>
由于我们是WordPress重度爱好者，在WordPress主题插件开发之余，我们还独立开发了一系列的在线工具及分享大量的WordPress教程，供国内的WordPress粉丝和站长使用和学习，其中包括：
1. <a href="https://www.wbolt.com/learn?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress学院</a>: 这里将整合全面的WordPress知识和教程，帮助您深入了解WordPress的方方面面，包括基础、开发、优化、电商及SEO等。WordPress大师之路，从这里开始。
2. <a href="https://www.wbolt.com/tools/keyword-finder?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">关键词查找工具</a>: 选择符合搜索用户需求的关键词进行内容编辑，更有机会获得更好的搜索引擎排名及自然流量。使用我们的关键词查找工具，以获取主流搜索引擎推荐关键词。
3. <a href="https://www.wbolt.com/tools/wp-fixer?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress错误查找</a>: 我们搜集了大部分WordPress最为常见的错误及对应的解决方案。您只需要在下方输入所遭遇的错误关键词或错误码，即可找到对应的处理办法。
4. <a href="https://www.wbolt.com/tools/seo-toolbox?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">SEO工具箱</a>: 收集整理国内外诸如链接建设、关键词研究、内容优化等不同类型的SEO工具。善用工具，往往可以达到事半功倍的效果。
5. <a href="https://www.wbolt.com/tools/seo-topic?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">SEO优化中心</a>: 无论您是 SEO 初学者，还是想学习高级SEO 策略，这都是您的 SEO 知识中心。
6. <a href="https://www.wbolt.com/tools/spider-tool?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">蜘蛛查询工具</a>: 网站每日都可能会有大量的蜘蛛爬虫访问，或者搜索引擎爬虫，或者安全扫描，或者SEO检测……满目琳琅。借助我们的蜘蛛爬虫检测工具，让一切假蜘蛛爬虫无处遁形！
7. <a href="https://www.wbolt.com/tools/wp-codex?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WP开发宝典</a>: WordPress作为全球市场份额最大CMS，也为众多企业官网、个人博客及电商网站的首选。使用我们的开发宝典，快速了解其函数、过滤器及动作等作用和写法。
8. <a href="https://www.wbolt.com/tools/robots-tester?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">robots.txt测试工具</a>: 标准规范的robots.txt能够正确指引搜索引擎蜘蛛爬取网站内容。反之，可能让蜘蛛晕头转向。借助我们的robots.txt检测工具，校正您所写的规则。
9. <a href="https://www.wbolt.com/tools/theme-detector?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress主题检测器</a>: 有时候，看到一个您为之着迷的WordPress网站。甚是想知道它背后的主题。查看源代码定可以找到蛛丝马迹，又或者使用我们的小工具，一键查明。

Spider Analyser – WordPress搜索引擎蜘蛛分析插件

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

Get User-Agents vs Spider Analyser – WordPress搜索引擎蜘蛛分析插件