OnCrawl

OnCrawl 是由 Cogniteev SAS 创建和发布的云端技术 SEO 平台，帮助 SEO 和数字团队抓取网站、分析页面与链接数据、检查服务器日志、连接分析与搜索数据，并建立用于技术和自然搜索决策的看板。当前条款将 Crawler 定义为收集页面响应、内容结构、内部链接、JavaScript 渲染结果和性能信号；符合条件的方案还可通过 Log Analyzer 监测搜索引擎、AI 爬虫和自然访问者如何访问网站。平台用于技术 SEO 审计和搜索可观测分析。

✨ 主要功能

• 技术 SEO 爬虫：抓取网站页面，分析响应数据、内容结构、内部链接、JavaScript 渲染和性能信号。
• JavaScript 抓取与审计：渲染 JavaScript 页面并运行配置的审计，消耗的抓取令牌高于标准抓取。
• Log Analyzer 日志分析：分析搜索引擎、AI 爬虫和自然访问者的服务器日志活动；当前条款将其列为 Core 和 Scale 方案功能。
• AI 爬虫监测：在启用日志分析和相关报告功能时，追踪和报告 AI 爬虫如何访问网站。
• 抓取对比：比较两次抓取结果，识别变化并理解网站更新的影响。
• Data Explorer 数据探索器：使用 Oncrawl Query Language 筛选数据集、自定义列、计算聚合值、保存视图并导出报告。
• 看板与报告：使用内置或自定义看板，通过可配置指标和页面分组可视化抓取与 SEO 数据。
• Chart Builder 图表构建器：使用指标、维度、筛选器、颜色、图例和趋势线创建卡片图、环形图及条形图。
• 页面分组：利用抓取字段和导入数据对页面分组，分析网站分区、模板和内容类型。
• 搜索与分析数据增强：将抓取信息与 Google Search Console、Google Analytics/GA4、Adobe、排名、收入和其他数据源关联。
• 数据导入：导入 CSV 等第三方数据，将自定义字段按 URL 关联到抓取结果中，补充 SEO KPI。
• Looker Studio 连接器：在订阅包含该功能时，将抓取数据导入 Looker Studio，制作混合数据报告。
• 告警与监测：根据 Data Explorer 筛选条件创建抓取告警，持续监测技术问题。
• API 与开发者访问：使用文档化 API 和可导出字段，将抓取数据接入自定义报告系统。
• 按月抓取令牌额度：根据 URL 数量和抓取配置计量使用量；当前帮助文档说明标准抓取每个 URL 消耗 1 个令牌，JavaScript 抓取消耗 3 个，启用一个或多个 JavaScript 审计消耗 5 个。
• 企业支持与工作坊：订阅条款说明客户成功支持，SEO Workshops 为与有效协议关联的可选付费服务。

💳 价格与方案

Oncrawl 提供付费 Basic、Core 和 Scale 订阅。Basic 包含爬虫和核心平台，Core 与 Scale 包含 Log Analyzer；价格和抓取 token 额度以订单约定为准。

REST API 在所有方案中提供。Content Lens 等高级模块、额外年度抓取容量及 SEO 工作坊可能单独收费；客户成功支持按订阅方案包含。有效订阅期间月度抓取额度会补充，token 消耗取决于 URL 数量与配置。可联系销售确认当前价格、额度和可选模块条款。

⚖️ 同类产品对比

🎯 应用场景

• 技术 SEO 审计：抓取网站并发现响应、内容、链接、渲染和性能问题。
• 迁移与发布监测：比较上线前后的抓取结果，发现回归、重定向、断链和结构变化。
• 抓取预算分析：结合抓取数据和服务器日志，了解搜索引擎及 AI 爬虫如何访问重要页面。
• AI 爬虫可观测：在启用相关功能时监测 AI 爬虫活动，并与自然访问者和搜索引擎行为对照。
• SEO 表现关联分析：将抓取问题与 Search Console、分析、排名、收入或转化数据混合分析。
• 大型网站分组分析：大规模分析页面组、模板、内容类型、国家和业务分区。
• 代理机构报告：建立看板、安排导出，并连接多个项目或数据源进行客户报告。
• 自定义 SEO 数据管道：导入 CSV 或其他第三方数据，并通过 API 或 Looker Studio 连接器继续分析。
• 持续技术告警：将 Data Explorer 筛选器转换为告警，跟踪需要持续处理的问题。

抓取和日志结论取决于抓取配置、JavaScript 渲染、日志完整性、商品匹配、已连接数据源和额度。做出 SEO 或业务决策前应验证样本和日期范围。AI 爬虫的标签与行为会随爬虫演进而变化，应将平台视为可观测辅助，而不是搜索或 AI 可见性的保证。