# Codex x 网页采集: 定时抓取并入库

## 适合谁

适合定期追踪公开网页、作者主页、公告页、价格页的人。

## 准备输入

- 目标 URL。
- 抓取字段。
- 去重规则。
- 输出位置。

## 提示词

```text
请写一个网页采集脚本，抓取目标页面的新文章标题、链接和发布时间。
要求：只抓公开内容；用 state.json 去重；失败写 logs/errors.jsonl。
```

## Codex 应该做什么

- 检查 robots 和页面结构。
- 写采集脚本。
- 加去重。
- 加日志。
- 给出定时运行方式。

## 验证

- 首次扫描有结果。
- 第二次扫描不会重复写入。
- 错误有日志。

## 风险

- 抓取频率过高。
- 页面结构变化。
- 抓取需要登录的私密内容。