dizzysoft

Crawler Record logs the last time specific user agents (for search and AI chat/LLMs) accessed your content including:
<ul>
<li>Google</li>
<li>Bing</li>
<li>ChatGPT (OpenAI)</li>
<li>Claude (Anthropic)</li>
<li>Perplexity</li>
<li>DuckDuckGo</li>
<li>Meta</li>
<li>Apple</li>
</ul>
You can view this information:
<ul>
<li>Admin page: a grouped list of all crawlers, with last seen time, last page, and robots status for the crawler. </li>
<li>Admin Bar (front-end): quick-glance status for the current singular or URL context (no dropdowns in wp-admin).</li>
<li>Per Page/Post: From the edit screen on any page or post, you can see that last time each crawler visited that page.</li>
<li>Recent Pages: From the admin page you can select a crawlwer and get a list of the recent pages this UA has visited.</li>
</ul>
Robots-aware: The plugin checks your robots.txt and evaluates Allow/Disallow rules for a given path. If Settings → Reading → “Discourage search engines” is enabled, all agents are shown as blocked with a prominent warning.
Performance-friendly by design: Write-throttling (default 10 minutes) and an auxiliary “last post ID per agent” record avoids heavy admin queries on large sites.
Privacy-friendly: Saves only bot visit timestamps and last URLs crawled — no personal data.
Learn <a href="https://www.dizzysoft.com/crawler-record-plugin-for-wordpress/" rel="nofollow ugc">how to use this plugin</a>.
<h4>Highlights</h4>
<ul>
<li>Supports common user-agent variants for Google, Bing, OpenAI (ChatGPT), Anthropic (Claude), Perplexity, Meta, Apple, and DuckDuckGo.</li>
<li>Robots status computed from local robots.txt (physical or virtual) without outbound requests.</li>
<li>Clear UI with grouped sections, microsecond timestamps, and a small diagnostics toggle showing the matched robots group and rule.</li>
</ul>
<h4>Known limitations</h4>
<ul>
<li>Can only track crawlers from the time the plugin is installed- cannot look into the past.</li>
<li>robots.txt wildcards (<code>*</code>) and end-of-line marker (<code>$</code>) are not interpreted; matching is prefix-based only. Future versions may add full spec support.</li>
<li>To reduce database load and avoid slowing the website, bot tracking is throttled, so not every crawler visit will necessarily be recorded.</li>
</ul>
<h3>Privacy</h3>
This plugin stores: 
– Timestamps of crawler visits (float, with microseconds) 
– Last URL seen per crawler (per-URL records) 
– Last post ID per crawler (for admin performance)
It does not collect or store personal data about site visitors. No data is transmitted to third parties.
<h3>License</h3>
GPLv2 or later. See LICENSE file.

Crawler Record

Crawler Record tells you the last time each of the most common search/chat bots visited (Google, ChatGPT, etc)- and the pages at which they looked.

wbolt.com

mrkwong

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
<blockquote>
Spider Analyser Pro
这是Spider Analyser的免费版本，包括蜘蛛概况、蜘蛛日志、蜘蛛列表（蜘蛛清单）、访问路径等大部分功能。如需使用到蜘蛛IP段、伪蜘蛛判断、蜘蛛拦截及蜘蛛文章爬取分析等功能，则需要升级到Pro版本！ <a href="https://www.wbolt.com/plugins/spider-analyser?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Spider Analyser Pro" rel="friend nofollow ugc">点击了解及购买Spider Analyser Pro版本!</a>
</blockquote>
功能包括：
<h3>1.蜘蛛概况</h3>
支持查看网站日常各大搜索引擎蜘蛛来访的数据；
<ul>
<li>
今日蜘蛛 
方便站长快速了解当日、昨日及30天平均的来访蜘蛛数、爬取URL数及平均爬取URL数。
</li>
<li>
趋势图 
支持按今天、昨天、最近7天及最近30天查看蜘蛛数、爬取URLs总量、响应状态码及热门蜘蛛爬取链接数走势折线图，并可查看上一周期数据，以作对比分析。
</li>
<li>
Top10蜘蛛 
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛的爬取URL数及占比相关数据。
</li>
<li>
Top10蜘蛛爬取URL 
支持按今天、昨天、最近7天及最近30天查看Top10蜘蛛爬取URL的爬取次数及占比，方便站长对热门蜘蛛爬取页面URL进行分析。
</li>
<li>
Top10热门文章 
按今天、昨天、最近7天及最近30天查看Top10热门文章，以便于站长分析热门文章蜘蛛爬取情况以进一步优化文章页SEO。
</li>
</ul>
<h3>2.蜘蛛日志</h3>
支持按今天、最近7天及最近30天查看蜘蛛日志，包括蜘蛛访问时间、状态码、访问链接、蜘蛛IP及蜘蛛名称等参数。
并且支持按蜘蛛名称、状态码及时间进行筛选日志；以及可通过访问URL、蜘蛛IP搜索蜘蛛日志。支持单个或者批量忽略/拦截日志对应蜘蛛。
<blockquote>
ℹ️ Tips
1.应重点关注301/302，及404状态码主流搜索引擎（如百度、谷歌和必应）蜘蛛日志。 
 2.蜘蛛日志分析工作，请查阅<a href="https://www.wbolt.com/how-to-analyze-spider-log.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛日志分析教程" rel="friend nofollow ugc">详细教程</a>。 
 3.301/302状态码内部链接，尽可能修改为最终目标链接。 
 4.404状态码内部链接，应修复或重定向为正确链接。 
 5.重定向可安装<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Smart SEO Tool插件" rel="friend nofollow ugc">Smart SEO Tool插件</a>实现或<a href="https://www.wbolt.com/301-redirects.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress 301重定向" rel="friend nofollow ugc">手动配置</a>。
</blockquote>
<h3>3.蜘蛛列表</h3>
蜘蛛列表包含蜘蛛清单、蜘蛛IP段、疑似伪蜘蛛及蜘蛛拦截四部分的功能，其中：
<ul>
<li>蜘蛛清单 
列表包括蜘蛛名称、蜘蛛类型、蜘蛛地址、最近来访时间、爬取URLs及占比情况等数据，支持按蜘蛛名称、蜘蛛类型及时间段筛选查询；并且支持单个或者批量忽略或者拦截指定蜘蛛。</li>
</ul>
<blockquote>
ℹ️ Tips
1.蜘蛛清单数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>。 
 2.部分不常见蜘蛛尤其是伪蜘蛛，可能类型显示为未知。但站长切勿以此为标准判别该蜘蛛是否为伪蜘蛛。 
 3.对于无需记录的蜘蛛爬虫，应该选择忽略或者拦截，避免浪费服务器资源。
</blockquote>
<ul>
<li>蜘蛛IP段 
在该列表可以查看不同蜘蛛对应IP段及其占比情况，支持按蜘蛛名、时间进行筛选查询。且支持单个或者批量拦截蜘蛛IP段。注：蜘蛛IP段拦截属于泛拦截，应审慎操作。</li>
</ul>
<blockquote>
ℹ️ Tips
1.IP段拦截前，请确保该IP段蜘蛛均是不需要统计的，若要取消拦截，请通过蜘蛛拦截列表取消。 
 2.Pro版本用户可以考虑直接启用智能拦截，则无需执行手动拦截操作。
</blockquote>
<ul>
<li>疑似伪蜘蛛 
协作站长快速发现疑似伪蜘蛛名称及IP地址，便于快速对伪蜘蛛执行单个或者批量拦截操作。站长应该积极对伪蜘蛛进行拦截操作，避免伪蜘蛛的频繁爬取导致服务器性能下降。</li>
</ul>
<blockquote>
ℹ️ Tips
1.疑似伪蜘蛛数据参考<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>，仅供参考。 
 2.如果您的网站启用了全站CDN（如Cloudflare），真实蜘蛛也可能被判断为伪蜘蛛。全站CDN站点应结合CDN路线IP进一步判断蜘蛛的真伪。
</blockquote>
<ul>
<li>蜘蛛拦截 
蜘蛛拦截列表用于站长管理蜘蛛拦截清单，支持站长按名称、IP/IP段或者名称+IP/IP段对蜘蛛进行拦截操作。该拦截列表也支持对拦截动作反操作，即可单个或者批量移除拦截。</li>
</ul>
<blockquote>
ℹ️ Tips
1.开启智能拦截前，需确定未采用全站CDN，否则可能误判拦截真实蜘蛛。 
 2.部分伪蜘蛛可能会伪装成真实蜘蛛名称，对于伪蜘蛛拦截请使用IP拦截方式。 
 3.按蜘蛛名称拦截，需准确填写蜘蛛名称，区分大小写，否则可能会拦截失败。 
 4.蜘蛛拦截仅对前端页面爬取蜘蛛有效，对后端数据爬取蜘蛛无效。
</blockquote>
<h3>4.访问路径</h3>
支持按今天、最近7天及最近30天查看蜘蛛访问路径（爬取页面URL）具体信息列表，包括URL、URL类型、爬取次数及占比情况等数据。
并且支持按蜘蛛名称、类型、状态、时间、访问URL及蜘蛛IP进行筛选查询。同时，站长还可以快速查看各类型的访问路径的蜘蛛爬取占比饼状分布图。
<blockquote>
ℹ️ Tips
1.重点关注主流搜索引擎对文章页及<a href="https://www.wbolt.com/wordpress-sitemap.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress Sitemap" rel="friend nofollow ugc">Sitemap</a>的访问爬取。 
 2.持续更新发布高质量文章内容，以吸引搜索引擎爬取。 
 3.安装<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Smart SEO Tool插件" rel="friend nofollow ugc">Smart SEO Tool插件</a>或其他类似插件，通过sitemap生成配置剔除不重要链接类型。 
 4.对于主流搜索引擎高频次爬取文章页，应该适当地<a href="https://www.wbolt.com/internal-links-optimization.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="内部链接建设" rel="friend nofollow ugc">添加内部链接</a>。
</blockquote>
<h3>5.文章爬取</h3>
此功能模块是为了方便站长按蜘蛛名称、不同状态的文章类型及时间，快速了解网站文章蜘蛛访问量、出链数及入链数。站长再根据这几个指标，对文章进行内链布局处理，提升蜘蛛爬取频率，从而提升网站收录量。
<blockquote>
ℹ️ Tips
1.蜘蛛访问量直接体现搜索引擎对URL的嗅觉，蜘蛛访问频率越高，URL被收录索引几率越大。 
 2.蜘蛛访问量频率低且未收录文章，可以尝试<a href="https://www.wbolt.com/republishing-content.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="内容重建" rel="friend nofollow ugc">内容重建</a>及<a href="https://www.wbolt.com/internal-links-optimization.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress内部链接" rel="friend nofollow ugc">增加入链数</a>。 
 3.尽可能降低文章指向其他网站的链接数，又或者<a href="https://www.wbolt.com/what-is-nofollow.html?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="nofollow属性" rel="friend nofollow ugc">外链增加nofollow属性</a>。 
 4.收录状态数据通过<a href="https://www.wbolt.com/plugins/bsl?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="搜索引擎推送插件" rel="friend nofollow ugc">搜索引擎推送插件</a>引入，建议站长结合这两插件做好链接推送和爬虫分析工作。
</blockquote>
<h3>6.插件设置</h3>
<ul>
<li>记录管理-支持自定义蜘蛛类型及设置蜘蛛记录状态。</li>
</ul>
<blockquote>
ℹ️ Tips
1.如无需统计某一蜘蛛，可以通过操作修改该蜘蛛状态为忽略即可。 
 2.对于一些非必要蜘蛛，应直接拦截，节省服务器资源。 
 3.此列表的占比计算范围：最近7天的蜘蛛数据。 
 4.蜘蛛名称及类型数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛查询工具" rel="friend nofollow ugc">蜘蛛查询工具</a>。
</blockquote>
<ul>
<li>链接自定义-允许通过设置链接规则来区分蜘蛛爬取URL链接类型，支持添加自定义或者修改新增现有链接类型的规则。</li>
</ul>
<blockquote>
ℹ️ Tips
1.支持通配符形式链接规则，如 <code>/mp-api/*</code> 
 2.如有不同于预设的链接类型，可以通过添加自定义来新增；否则建议在预设类型基础上修改新增。
</blockquote>
<ul>
<li>日志设置-支持设置插件日志保留时间周期（最近30天、最近3个月、最近6个月、最近1年或永久），日志备份及删除和自定义蜘蛛。</li>
</ul>
<blockquote>
ℹ️ Tips
1.日志保留周期可根据自身实际情况选择，一般保留30天即可。如数据量非常大，改为近7天亦可。 
 2.日志更新方式需写入数据库，为保证服务器性能，可考虑每小时（默认）甚至每天更新。 
 3.如蜘蛛日志数据量非常庞大，建议备份日志并删除，忽略及拦截不必要的蜘蛛。
</blockquote>
Spider Analyser插件非常适合站长作为网站SEO优化的辅助工具，通过数据统计深入了解更大搜索引擎蜘蛛爬取页面URL的行为习惯。WordPress站长可以利用该插件，并结合<a href="https://www.wbolt.com/plugins/sst?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="WordPress网站SEO优化插件" rel="friend nofollow ugc">WordPress网站SEO优化插件</a>、<a href="https://www.wbolt.com/plugins/bsl?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="百度推送插件" rel="friend nofollow ugc">百度推送插件</a>和<a href="https://www.wbolt.com/plugins/skt?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="关键词推荐插件" rel="friend nofollow ugc">关键词推荐插件</a>，对WordPress网站内容的搜索引擎收录及排名优化可以做到事半功倍的效果！
<blockquote>
Spider Analyser插件的蜘蛛爬虫数据引自<a href="https://www.wbolt.com/tools-spider?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="蜘蛛爬虫在线查询" rel="friend nofollow ugc">蜘蛛爬虫查询在线工具</a>。该工具整合了1600+蜘蛛爬虫数据，涵盖的类型包括搜索引擎、营销、快照、监控、信息流、链接检测、爬虫、工具、速度检测和漏洞/病毒扫描等。
您也可以使用该在线工具在线，通过蜘蛛名称、IP地址和用户代理字符串，来查询蜘蛛的详细信息及判断蜘蛛爬虫的真伪！
</blockquote>
<h3>其他WP插件</h3>
Spider Analyser是一款专门为WordPress开发的<a href="https://www.wbolt.com/plugins/spider-analyser?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="Spider Analyser插件" rel="friend nofollow ugc">搜索引擎蜘蛛分析插件</a>.
闪电博（<a href="https://www.wbolt.com/?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="闪电博官网" rel="friend nofollow ugc">wbolt.com</a>）专注于原创<a href="https://www.wbolt.com/themes" title="WordPress主题" rel="friend nofollow ugc">WordPress主题</a>和<a href="https://www.wbolt.com/plugins" title="WordPress插件" rel="friend nofollow ugc">WordPress插件</a>开发，为中文博客提供更多优质和符合国内需求的主题和插件。
除了Spider Analyser插件外，目前我们还开发了以下WordPress插件：
<ul>
<li><a href="https://wordpress.org/plugins/baidu-submit-link/" rel="ugc">多合一搜索自动推送管理插件-历史下载安装数190,000+</a></li>
<li><a href="https://wordpress.org/plugins/smart-keywords-tool/" rel="ugc">热门关键词推荐插件-最佳关键词布局插件</a></li>
<li><a href="https://wordpress.org/plugins/imgspider/" rel="ugc">IMGspider-轻量外链图片采集插件</a></li>
<li><a href="https://wordpress.org/plugins/smart-seo-tool/" rel="ugc">Smart SEO Tool-高效便捷的WP搜索引擎优化插件</a></li>
<li><a href="https://wordpress.org/plugins/magicpost/" rel="ugc">MagicPost – WordPress文章管理功能增强插件</a></li>
<li><a href="https://wordpress.org/plugins/wpturbo/" rel="ugc">WPTurbo -WordPress性能优化插件</a></li>
<li><a href="https://wordpress.org/plugins/wp-vk/" rel="ugc">WP VK-WordPress知识付费插件</a></li>
<li>
<a href="https://wordpress.org/plugins/online-contact-widget/" rel="ugc">Online Contact Widget-多合一在线客服插件</a>
</li>
<li>
更多主题和插件，请访问<a href="https://www.wbolt.com/?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" title="闪电博官网" rel="friend nofollow ugc">wbolt.com</a>!
</li>
</ul>
如果你在WordPress主题和插件上有更多的需求，也希望您可以向我们提出意见建议，我们将会记录下来并根据实际情况，推出更多符合大家需求的主题和插件。
<h3>WordPress资源</h3>
由于我们是WordPress重度爱好者，在WordPress主题插件开发之余，我们还独立开发了一系列的在线工具及分享大量的WordPress教程，供国内的WordPress粉丝和站长使用和学习，其中包括：
1. <a href="https://www.wbolt.com/learn?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress学院</a>: 这里将整合全面的WordPress知识和教程，帮助您深入了解WordPress的方方面面，包括基础、开发、优化、电商及SEO等。WordPress大师之路，从这里开始。
2. <a href="https://www.wbolt.com/tools/keyword-finder?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">关键词查找工具</a>: 选择符合搜索用户需求的关键词进行内容编辑，更有机会获得更好的搜索引擎排名及自然流量。使用我们的关键词查找工具，以获取主流搜索引擎推荐关键词。
3. <a href="https://www.wbolt.com/tools/wp-fixer?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress错误查找</a>: 我们搜集了大部分WordPress最为常见的错误及对应的解决方案。您只需要在下方输入所遭遇的错误关键词或错误码，即可找到对应的处理办法。
4. <a href="https://www.wbolt.com/tools/seo-toolbox?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">SEO工具箱</a>: 收集整理国内外诸如链接建设、关键词研究、内容优化等不同类型的SEO工具。善用工具，往往可以达到事半功倍的效果。
5. <a href="https://www.wbolt.com/tools/seo-topic?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">SEO优化中心</a>: 无论您是 SEO 初学者，还是想学习高级SEO 策略，这都是您的 SEO 知识中心。
6. <a href="https://www.wbolt.com/tools/spider-tool?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">蜘蛛查询工具</a>: 网站每日都可能会有大量的蜘蛛爬虫访问，或者搜索引擎爬虫，或者安全扫描，或者SEO检测……满目琳琅。借助我们的蜘蛛爬虫检测工具，让一切假蜘蛛爬虫无处遁形！
7. <a href="https://www.wbolt.com/tools/wp-codex?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WP开发宝典</a>: WordPress作为全球市场份额最大CMS，也为众多企业官网、个人博客及电商网站的首选。使用我们的开发宝典，快速了解其函数、过滤器及动作等作用和写法。
8. <a href="https://www.wbolt.com/tools/robots-tester?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">robots.txt测试工具</a>: 标准规范的robots.txt能够正确指引搜索引擎蜘蛛爬取网站内容。反之，可能让蜘蛛晕头转向。借助我们的robots.txt检测工具，校正您所写的规则。
9. <a href="https://www.wbolt.com/tools/theme-detector?utm_source=wp&utm_medium=link&utm_campaign=spider-analyser" rel="nofollow ugc">WordPress主题检测器</a>: 有时候，看到一个您为之着迷的WordPress网站。甚是想知道它背后的主题。查看源代码定可以找到蛛丝马迹，又或者使用我们的小工具，一键查明。

Spider Analyser – WordPress搜索引擎蜘蛛分析插件

Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。

Crawler Record vs Spider Analyser – WordPress搜索引擎蜘蛛分析插件