这是一篇值得珍藏的百度Spider抓取，网站日志分析说明书，日志中常常看到一堆的IP以及状态码感觉特别懵逼，从中分析Spider的爬行规律，并且投其所好摒弃不足之处，与Spider谈恋爱，只有从细节开始~日志分析就是最好的一个突破点，定期观察能节约不少的优化成本。日志的分...