AI CRAWL MONITOR · 2026-10-04
UTC+8 15:06 · 每 5 分钟自动拉取

Crawl Monitor

AI 爬虫抓取监控
Crawler Hits Today 今日核心度量
0 次
— —
Total 近 14 天累计
0 次
今日 — 种爬虫到访 —
Active Crawlers 今日活跃
0 种爬虫
最多 — 今日
Crawler Distribution 今日占比
近 14 天合计: — 自动采集

近 14 天每日抓取量 · 按爬虫分层

每个爬虫一层,堆叠高度 = 当天总抓取次数

* 数据来源:服务器访问日志(爬虫 UA 识别) —

爬虫抓取占比 · 近 14 天

Share %
Top Harvester — —
数据来源:双站访问日志 每日自动更新

抓取量概览 (Crawl Volume Overview)

今日 / 近 7 天 / 近 14 天 / 单日峰值 四个口径

数据采集于 15:06
今日抓取 —
—
近 7 天 —
—
近 14 天 —
—
单日峰值 —
—

AI 抓取热度 · URL 级

哪些页面被 AI 爬虫反复读取——总抓取 n · 覆盖 d 天 · v 已验证真爬虫 / u 未通过 IP 验证(疑似扫描器伪装)

# 页面 URL 热度 总抓取 覆盖天数 主要爬虫 深抓包 未验证
AI 抓走的数据去了哪(三类抓取,去向不同)
  • · 训练型(ClaudeBot / GPTBot / GoogleOther / 豆包 Bytespider):进模型训练语料——影响未来模型对品牌的「先天认知」;不带引用、生效以月计。
  • · 索引型(OAI-SearchBot / Claude-SearchBot / Googlebot / 必应 / 百度 / PerplexityBot):进搜索库——用户提问时可能被检索、被引用,是「被 AI 提到」的直接前置。
  • · 用户触发型(ChatGPT-User / Claude-User):有人此刻在 AI 里问到相关话题,AI 实时来读——最直接的「被关注」信号。
这份榜怎么用
  • · 热度高 = AI 读得多 → 这些页面是 AI 认识你的入口,内容准确性优先改这里。
  • · 覆盖天数 = 被反复回访 → 天数越多,越是 AI 的长期信息源,内容更新更早被吸收。
  • · 深抓包(RSC)= 对方在做渲染级深读,不是路过。
  • · 未验证 = 疑似扫描器伪装——已全量计入统计,但它不代表 AI 关注度。
  • · 趋势比单点重要:抓取量跳升/骤降 = 发现渠道打开/关闭(如 301 导流后的暴涨)。
— 覆盖天数越多 = 被反复回访 · 深抓包 = RSC 数据请求(渲染级抓取)

爬虫 × URL · 首访与回访

每个 URL 被哪家反复读、从哪天开始、最近 14 天什么节奏——首访=窗口内第一次被抓的日子,覆盖=累计被抓的天数

按总抓取排序 · 前 20
# 页面 URL 首访 覆盖 豆包 Claude ChatGPT Google 其他 近 14 天 总抓取
— 首访早 + 覆盖长 = 持续回访 · 首访新 = 新页面被首次发现

最近抓取的页面

来自两站访问日志的最新抓取记录

受访页面 URL 主爬虫 抓取时间 状态
— 点击单行查看抓取详情

最新抓取流水 (Recent Ledger)

FEED ACTIVE: 0 笔抓取已归档 采集于 15:06