这是概念流程,并不表示每家供应商采用同一种实现。通过案例区分缺失数据、过时证据与复查失败。
使用保留域名编写的虚构示例。未连接供应商,也未验证当前链接。
输入: 候选URL与已知引用。
输出: 待尝试访问的页面队列。
仍然未知的内容: 未被发现的页面也可能存在真实链接。
输入: 队列中的URL和抓取许可。
输出: 响应、重定向或失败请求。
仍然未知的内容: 访问失败不能证明链接已删除。
输入: 页面可访问的表示形式。
输出: 报告的来源与目标引用及属性。
仍然未知的内容: 渲染支持和提取规则因供应商而异。
输入: 提取的URL及重复观察。
输出: 供应商自身的分组或去重结果。
仍然未知的内容: 不要假定不同来源采用同一计数单位。
输入: 带时间戳的观察。
输出: 历史记录及后续观察。
仍然未知的内容: 最后一次成功观察可能已经过时。
输入: 存储记录、范围和筛选条件。
输出: 选定表格、样本或下载文件。
仍然未知的内容: 导出不是整个互联网完整且实时的地图。
虚构索引没有这一来源的观察。这里没有检查真实页面。
下一步检查: 先调查发现与覆盖范围,再判断链接是否不存在。
示例在1月10日被观察,1月14日导出。没有记录新的成功检查。
下一步检查: 保留观察日期;新导出的文件不能证明当前仍存在。
先前观察之后,示例复查返回HTTP 503。这个响应不能确认引用已被移除。
下一步检查: 通过正常授权流程重新检查,并单独保留先前证据。