Phone Data Set

网站抓取失败，则可能意味着我们的抓取工具被您的服务器阻止、您的 robots.txt 文件无法访问，或者您的广告系列设置不正确。提供的错误消息应指示抓取失败的原因；查看指示的原因，然后让我们的抓取工具重新尝试抓取。有关抓取失败的更多帮助，我们的帮助中心提供了大量资源，可帮助您解决抓取网站时出现的问题。 网站抓取中要检查的另一个方面是成功抓取的页面数。网站抓取概览将显示每次抓取完成后抓取的页面数。


此数量是高于还是低于您对网站的预期？如果数量较低，则可能表明存在以下情 秘鲁电话号码库 况之一： 您的广告系列的页面抓取限制设置得太低 - 如果是这种情况，您可以在广告系列设置中调整它，正如我们在本文前面所概述的那样。 您的 robots.txt 文件阻止了我们的爬虫程序访问您网站的某些区域 - 请查看您的 robots.txt 文件以确保我们的爬虫程序阻止了正确的区域，或者如果有必要，请与您的网站开发人员讨论当前设置。


4xx 或 5xx 错误导致我们的抓取工具停止运行 - 如果我们的抓取工具收到关键页面的 404 响应，或者一组页面出现服务器错误，这将导致我们的抓取工具无法继续运行并抓取其他页面。您可以在“网站抓取”的“关键抓取工具问题”部分查看这些错误。 您可能看到页数低于预期的原因还有很多。如果您需要更多调查帮助，我们的帮助中心提供了故障排除指南，其中概述了其他一些常见问题。另一方面，如果您看到的页数远高于预期，则可能表明以下情况： 您的 robots.txt 文件未正确配置，无法阻止我们的爬虫访问您网站的某些部分 - 请检查您的 robots.txt 文件以确保我们的爬虫阻止了正确的区域，或者如果有必要，请与您的网站开发人员讨论当前设置。