老网站改版整理旧页面,最稳妥的做法是先冻结一份完整URL清单,再按“保留、合并、重定向、删除”逐条给出处置结论,最后用抓取与日志验证。最关键的一步是建立旧URL到新URL的一对一映射表,没有这张表,后面的301、内链替换和提交都会失控。
不要直接打开后台删栏目。先用可核对的方式拿到旧站全量URL:从服务器访问日志提取、从XML站点地图读取、用爬虫工具抓取,再把三份结果去重合并。日志能暴露站点地图里没有的孤立页面,爬虫能发现导航里藏得深的页面,两者互补。
对每条URL记录这些字段:
link:类查询辅助判断)判断依据要写进表格而不是留在脑子里。有搜索点击、有外链、有转化的页面,处置优先级最高;三者都没有、内容又过时的页面,才进入删除候选。
把旧页面分成四类,每类对应一种动作:
映射表至少包含三列:旧URL、新URL、处置类型。上线前逐条核对,重点检查是否有旧URL指向404、是否有多个旧URL指向同一新URL且语义不符。
改版上线后不要只看首页。用爬虫工具重新抓取全站,检查项包括:
同时看服务器日志,确认搜索引擎抓取旧URL时拿到的是301,而不是被robots.txt挡住或返回200的空页面。索引层面,用站点地图提交新URL,并观察旧URL在搜索结果中是否逐步替换为新地址。这个过程需要时间,不要因为几天没变化就反复改动重定向规则。
改版不是一次性事件。上线后每周检查一次404日志,把因内链、外链或用户收藏产生的死链补进映射表并处理。新增内容时沿用已确定的URL规则,避免再次积累需要大规模整理的旧页面。
如果改版涉及栏目调整,先在小范围验证重定向规则,确认无误再全量放开。判断是否成功的标准不是“页面能打开”,而是旧URL能稳定跳到语义最接近的新页面,且这条链路在日志和抓取中都能被验证。
下一步:打开旧站的访问日志,导出最近30天的URL列表,按上面的字段建一张表,先完成“保留、合并、重定向、删除”四类标注,再动手改任何一条URL。