日前,必应表示,希望内容的发布者将其发布的新内容或者更新的内容提交到必应的 URL 提交工具中,此工具可以主动要求必应抓取网址,而不是依靠必应的爬虫机器人从其他的网页发现网址 … 目前,搜索引擎通常通过抓取页面来查找新的内容和更新既有内容。当搜索引擎的爬虫机器人登录一个网页时,它会抓取这个页面上的链接,然后跟踪它们,再抓取随后页面上的链接,最后形成一个庞大的网站索引 … 如果利用必应的工具或 API 来提交 URL 可以减少必应对爬虫机器人的依赖,从而减少所需的资源量。
更多体验
前往小程序
24 小时
资讯推送
进群体验