Sitemap 的更新频率应跟随真实 URL 和内容变化,而不是固定追求每天、每周或每月。新页面发布、旧页面主体内容重写、规范 URL 改变、页面删除或合并时,就应该让 sitemap 同步。基础设置可参考这篇Sitemap 更新频率,执行时要把“文件更新”“Google 读取”“URL 被抓取”“URL 被索引”分开看。
先判断发生了什么变化
- 新增可索引页面:把最终 canonical URL 加入 sitemap。
- 主体内容明显更新:更新该 URL 的
lastmod,例如正文、结构化数据、关键内链或重要资源发生实质变化。 - 只改页脚、版权年份、广告位或无关模板:通常不应把每个 URL 的
lastmod改成今天。 - URL 合并或替代:旧 URL 做 301 到最相关的新 URL,并从 sitemap 移除旧 URL。
- 页面永久消失且没有替代:返回 404 或 410,并从 sitemap 移除。
- 页面需要保留给用户但不希望被索引:保持爬虫可访问并使用
noindex,同时不要把它列入希望索引的 sitemap;如果被 robots.txt 阻挡,Google 可能看不到noindex。
lastmod 写真实的重要更新时间
Google 的 sitemap 指南说明,Google 会在 lastmod 持续、可验证地准确时使用它。这个值应该代表页面最后一次重要更新,而不是 sitemap 文件重建时间。把全站所有 URL 每天改成当天日期,会降低这个信号的可信度。
priority 和 changefreq 不应当成抓取调度开关。Google 当前文档说明会忽略这两个值;与其维护它们,不如保证 URL 规范、可访问、状态码正确、没有误用 noindex 或 robots 阻挡。
按站点类型安排生成方式
- 新闻、招聘、活动、库存类站点:随发布、下架、活动结束或库存状态变化自动更新,并把频繁变化的 URL 放到对应子 sitemap。
- 博客和内容站:发布、重写、改路径、合并文章时更新;没有内容变化时不必重建所有
lastmod。 - 企业官网:服务页、案例页、FAQ 有变化时更新;如果 CMS 每天自动重建文件,也要保持每个 URL 的
lastmod真实。 - 电商和目录站:商品上新、下架、规范 URL 改变、重要属性页开放索引时同步;重复参数页不要混入 sitemap。
大站点先满足文件规则
单个 sitemap 文件最多 50,000 个 URL 或 50MB(未压缩),超过后应拆成多个 sitemap 并用 sitemap index 管理。分页页和不同语言 URL 不天然是噪音:如果它们是独立 canonical、可访问、希望被索引的页面,可以纳入;如果只是重复参数、排序页、筛选重复页或非规范版本,就不应放入。
读懂 Search Console 的字段
Search Console 的站点地图报告说明把提交和读取分开显示:Submitted 是最后一次通过报告提交 sitemap 的日期,不证明 Google 已经成功读取;Last read 只有在 Google 成功抓取该 sitemap 后才会出现。Discovered pages 是从 sitemap 中解析出的页面 URL 数量,不保证这些 URL 已被抓取或进入索引。
排查时可按这个顺序看:
- 打开 sitemap URL,确认返回 200、XML 有效、未被登录或防火墙拦截。
- 在 GSC 看 sitemap 状态是否 Success,以及 Last read 是否更新。
- 如果成功读取但 URL 未索引,再查 Page indexing、URL Inspection、canonical、noindex、robots、服务器状态码和页面质量。
- 不要把 Submitted 日期、Discovered pages 或 sitemap 成功状态当成收录结果。
提交和重新抓取的边界
Google 请求重新抓取说明说明,抓取可能需要几天到几周,请求抓取不保证立即或一定进入搜索结果。少量关键页面可用 URL Inspection 请求重新抓取;大量 URL 变化适合通过 sitemap 发现。Google 关于 sitemap ping 端点的更新说明 Google 已弃用 sitemap ping 端点,旧请求会返回 404。应使用固定 sitemap 地址、robots.txt 中列出 sitemap,并在 Search Console 中提交需要跟踪的文件。
怎样判断你的更新机制是否正常
可以在一次真实发布时做小范围核对:发布前保存当前 sitemap,发布后确认新 URL 已加入、修改文章的 lastmod 对应本次实质改动,而未改文章的时间保持原值。若 CMS 源文件已更新,但公网还是旧版本,继续检查 sitemap 的页面缓存、反向代理和 CDN 缓存;先让公开地址返回新 XML,再观察 Google 的读取记录。
例如,企业官网只在周三重写了一个服务页,就更新该 URL 的重要修改时间;周四只改了页脚年份,不需要把所有服务页都标成周四更新。这比设一个“每天刷新全站日期”的定时任务更符合 lastmod 的含义。