Codex x 网页采集: 定时抓取并入库

适合谁

适合定期追踪公开网页、作者主页、公告页、价格页的人。

准备输入

  • 目标 URL。
  • 抓取字段。
  • 去重规则。
  • 输出位置。

提示词

请写一个网页采集脚本，抓取目标页面的新文章标题、链接和发布时间。
要求：只抓公开内容；用 state.json 去重；失败写 logs/errors.jsonl。

Codex 应该做什么

  • 检查 robots 和页面结构。
  • 写采集脚本。
  • 加去重。
  • 加日志。
  • 给出定时运行方式。

验证

  • 首次扫描有结果。
  • 第二次扫描不会重复写入。
  • 错误有日志。

风险

  • 抓取频率过高。
  • 页面结构变化。
  • 抓取需要登录的私密内容。