有宝贝图⽚
之前⽤四篇很啰嗦的⼊门级别的⽂章，带着⼤家⼀起去了解并学习在编写爬⾍的过程中，最基本的⼏个库的⽤法。
那么今天，我们就正式开始我们的第⼀篇实战内容，爬取⼀整个淘宝店铺⾥的所有宝贝的详情页，并且把详情页⾥的宝贝图⽚保存下来。我⾃⼰刚开了⼀个⼩⽹店，当时写出这个爬⾍，也是真真正正的为我⾃⼰服务了⼀回呢。
在写之前，我先把这个爬⾍的代码分析⼀下，⽅便⼤家在看代码的时候，理解整个流程是怎么样的。
爬⾍框架我⼀直是使⽤Scrapy的，在⽤Scrapy抓取店铺信息的时候，因为淘宝的反爬机制，发现了机器⼈，所以获取不到任何信息，当时我赶着⽤宝贝图⽚，所以我使⽤了之前介绍的selenium来获取⽹页信息，并且通过我们上⼀篇介绍的lxml框架来提取信息。最主要的库就是这两个，那么我针对这个爬⾍，编写了⼀个叫做taobaoShop的爬⾍类。
之后，我们⾸先进⼊店铺的⾸页，抓取⾸页所有商品的资料，并⽤他们的宝贝名，来⽣成⽂件夹，⽅便存储对应的详情图⽚，然后爬⾍进⼊宝贝的详情页，从详情页中提取详情照⽚，并且保存在宝贝名称对应的
⽂件夹中，在该页⾯所有的宝贝爬取完成后，咱们后检查是否有分页，如果还有下⼀页的宝贝，那么进⼊下⼀页的宝贝接着爬，过程就和刚刚描述的⼀样了。
所以我们的淘宝店铺爬⾍类的初始化代码是这样的：def __init__(self):
"""初始化构造函数
"""
self.site_url = 'shop67309167.taobao/?spm=a230r.7195193.1997079397.2.xPZZS0'
self.driver = webdriver.Chrome()
self.sleep_time = 10
self.save_img_path = '/Users/Lix/Documents/tbshop/'
初始化中我们设置了要爬取的店铺url（这就是我的⼩店，如果可以的话，请各位⼤佬帮忙点个关注），另外是启动selenium中webdriver 的代码，我⽤Chrome打开，静默的话可以选择Phantomjs打开，另外有个间歇时间，因为爬取的过快，会被淘宝判定为爬⾍，弹出登录框，最后的save_img_path⾃然就是我保存图⽚的路径了。
在初始化的构造函数完成之后，我们⾸先获取的是淘宝店铺页⾯的⽹页信息：def getPage(self):
"""获取淘宝店铺页⾯代码
"""
(self.site_url)
time.sleep(self.sleep_time)
content = self.driver.de('utf-8') print self.driver.title
# 保存html代码debug
# self.saveHtml('taobaoshop', content)
# 分析该页⾯的每个宝贝
在获取到店铺的⽹页信息后，我们调⽤getItem()函数，获取每个宝贝的信息:def getItem(self):
"""爬取当前页⾯的每个宝贝，
提取宝贝名字，价格，标题等信息
"""
html = self.driver.de('utf-8')
selector = etree.HTML(html)
itemList = selector.xpath("//div[@class='item3line1']")
# 循环遍历该页所有商品
index = 0
for item3line1 in itemList:
dl = item3line1.xpath("./dl") for item in dl:
link = 'https:' + item.xpath("./dt/a/@href")[0]
photo = 'https:' + item.xpath("./dt/a/img/@src")[0]
title = item.xpath("./dd/a/text()")[0]
res = { 'link' : link, 'photo' : photo, 'title' : title
} # 进⼊宝贝详情页 开始爬取⾥⾯的图⽚资料
# 获取分页信息
pagination = selector.xpath("//div[@class='pagination']/a[contains(@class, 'J_SearchAsync') and contains(@class,
'next')]/@href") print pagination print '正在准备切换分页'
if len(pagination) == 0: print '没有下⼀页了'
else: print '加载下⼀页内容'
self.site_url = 'https:' + pagination[0] print self.site_url
在这⾥，我们看到我们已经获取到了宝贝的链接，封⾯图，标题。并且执⾏了getItemDetail(self, link, save_img_path)函数去爬取宝贝的详情页了，最后我们还在循环结束之后，分析了分页数据。
那么最后，我们就来看看最关键的getItemDetail()函数，看看是怎么爬取宝贝信息的:def getItemDetail(self, link, save_img_path):
"""从宝贝的详情链接⾥ 爬取图⽚
Arguments:
link {String} -- [宝贝详情链接]
"""
newDriver = webdriver.Chrome()
<(link)
time.sleep(self.sleep_time) print newDriver.title
img_dir_path = self.save_img_path + de('utf-8') if True == self.mkdir(img_dir_path): print '创建宝贝⽬录成功'
html = newDriver.de('utf-8')
selector = etree.HTML(html) # 封⾯图
J_ULThumb = selector.xpath("//div[@class='tb-gallery']/ul/li")
index = 0
for li in J_ULThumb: # 替换图⽚ 从50*50 ⾄ 400 * 400
if len(li.xpath("./div/a/img/@data-src")) < 1: continue
small_pic = li.xpath("./div/a/img/@data-src")[0]
common_pic = 'https:' + place('50x50', '400x400')
thumb_title = str('封⾯图') + str(index) print thumb_title # self.saveImg(img_dir_path, common_pic, thumb_title.decode('utf-
8'))
index += 1
# 爬取⾥⾯所有图⽚
all_img = selector.xpath("//div[@id='J_DivItemDesc']//descendant::img/@src") print all_img
index = 0
for img in all_img:
imglink = img if img.startswith('http') is True:
imglink = img else:
imglink = 'https:' + img
self.saveImg(img_dir_path, imglink, str(index))
index += 1
newDriver.quit()
注释都写在代码⾥了，⼤家看看就好，这⾥有很多地⽅的代码不够优雅，那是我当天急着⽤，所以后来也没有去优化了。
开淘宝店流程在这个核⼼解析代码的完成之后，宝贝图⽚就已经稳稳的存储到我们的硬盘上了，可以开箱即⽤了。完整的代码我也放在了Github上了，如果对您有帮助，请帮忙star⼀下。
作者：Originalee
发布评论