Концептуальная схема, а не общий алгоритм всех поставщиков. Случаи разделяют отсутствие данных, старое наблюдение и неудачную проверку.
Учебные вымышленные примеры на зарезервированных доменах. Поставщики не опрашивались, текущие ссылки не проверялись.
Вход: Кандидатные URL и известные ссылки.
Выход: Очередь страниц для попытки обхода.
Что остаётся неизвестным: Необнаруженная страница может содержать реальную ссылку.
Вход: URL из очереди и разрешения обхода.
Выход: Ответ, перенаправление или неудачный запрос.
Что остаётся неизвестным: Ошибка не доказывает удаление.
Вход: Доступное представление страницы.
Выход: Сообщаемые связи источник-цель и атрибуты.
Что остаётся неизвестным: Поддержка рендеринга и правила различаются.
Вход: Извлечённые URL и повторные наблюдения.
Выход: Группировка или удаление дублей поставщиком.
Что остаётся неизвестным: Не предполагается общая единица подсчёта.
Вход: Наблюдение с временной меткой.
Выход: История и последующие наблюдения.
Что остаётся неизвестным: Последняя успешная проверка может быть старой.
Вход: Записи, область и фильтры.
Выход: Выбранная таблица, выборка или файл.
Что остаётся неизвестным: Выгрузка не является полной текущей картой интернета.
В вымышленном индексе нет наблюдения этого источника. Реальная страница здесь не проверялась.
Следующая проверка: Исследуйте обнаружение и охват, прежде чем утверждать отсутствие.
Пример наблюдался 10 января и выгружен 14 января. Новая успешная проверка не записана.
Следующая проверка: Сохраните дату наблюдения; свежий файл не доказывает текущее наличие.
После прежнего наблюдения проверка возвращает HTTP 503. Это не подтверждает удаление ссылки.
Следующая проверка: Повторите обычную разрешённую проверку и отдельно сохраните прежнее доказательство.