第2章　爬虫原理和网络基础

根据We Are Social和Hootsuite的2018年全球数字新报告，全球互联网用户数量超过40亿，比2017年增长7%。人们正在以前所未有的速度转向互联网，我们在互联网上所做的很多行为产生了大量的“用户数据”，比如微博、购买记录等。互联网成了海量信息的载体；互联网目前是分析市场趋势、监视竞争对手或者获取销售线索的最佳场所，数据采集以及分析能力已成为驱动业务决策的关键技能。如何有效地提取并利用这些信息成了一个巨大的挑战，而网络爬虫是一种很好的自动采集数据的通用手段。本章将会对爬虫的类型、爬虫的抓取策略以及深入学习爬虫所需的网络基础等相关知识进行介绍。