内页同样保留多入口,蜘蛛从任意报告页都能继续进入同域名更多查询页。
按当前域名生成 www、m、api、cdn、news、shop 等常见二级前缀查询入口。
按当前域名前缀组合 online、site、app、vip、cloud 等词和多种后缀,形成可继续抓取的长尾域名页。
把已收录内页继续导向不同 list/sitemap 分桶,扩大蜘蛛二次抓取覆盖面。
内页刷新也会轮换链接池,增加蜘蛛横向爬取机会。