从发现到报告

这是概念流程,并不表示每家供应商采用同一种实现。通过案例区分缺失数据、过时证据与复查失败。

使用保留域名编写的虚构示例。未连接供应商,也未验证当前链接。

  1. 发现

    输入: 候选URL与已知引用。

    输出: 待尝试访问的页面队列。

    仍然未知的内容: 未被发现的页面也可能存在真实链接。

  2. 访问

    输入: 队列中的URL和抓取许可。

    输出: 响应、重定向或失败请求。

    仍然未知的内容: 访问失败不能证明链接已删除。

  3. 提取

    输入: 页面可访问的表示形式。

    输出: 报告的来源与目标引用及属性。

    仍然未知的内容: 渲染支持和提取规则因供应商而异。

  4. 规范化

    输入: 提取的URL及重复观察。

    输出: 供应商自身的分组或去重结果。

    仍然未知的内容: 不要假定不同来源采用同一计数单位。

  5. 存储与复查

    输入: 带时间戳的观察。

    输出: 历史记录及后续观察。

    仍然未知的内容: 最后一次成功观察可能已经过时。

  6. 报告与导出

    输入: 存储记录、范围和筛选条件。

    输出: 选定表格、样本或下载文件。

    仍然未知的内容: 导出不是整个互联网完整且实时的地图。

三个证据案例

没有观察

虚构索引没有这一来源的观察。这里没有检查真实页面。

来源URL
https://publisher.example/unobserved
目标URL
https://target.example/resource
最后成功观察
未知/未检查
复查尝试
未知/未检查
HTTP结果
未知/未检查
当前是否存在
未知/未检查

下一步检查: 先调查发现与覆盖范围,再判断链接是否不存在。

旧观察

示例在1月10日被观察,1月14日导出。没有记录新的成功检查。

来源URL
https://publisher.example/stale
目标URL
https://target.example/resource
最后成功观察
2026-01-10T09:00:00Z
复查尝试
未知/未检查
HTTP结果
未知/未检查
当前是否存在
未知/未检查

下一步检查: 保留观察日期;新导出的文件不能证明当前仍存在。

复查失败

先前观察之后,示例复查返回HTTP 503。这个响应不能确认引用已被移除。

来源URL
https://publisher.example/failed
目标URL
https://target.example/resource
最后成功观察
2026-01-10T09:00:00Z
复查尝试
2026-01-14T09:00:00Z
HTTP结果
503
当前是否存在
未知/未检查

下一步检查: 通过正常授权流程重新检查,并单独保留先前证据。