我和书的故事300字
求职自我介绍 上一篇写了天眼查公司详情页单页面爬取公司基本信息（简单爬取天眼查数据），这里改进一步。需求提供公司名称，需要获取公司工商注册信息，欲查的公司名称存储在excel里。步骤分解1.读取excel数据（1）打开工作簿import xlrddef open_excel(: book = xlrd.open_workbook( bookexcept Exception as e:print ('打开工作簿'+file+'出错：'+str(e))（2）读取工作簿中所有工作表def read_sheets(: book = open_excel(file) sheets = book.sheets()return sheetsexcept Exception as e:print ('读取工作表出错：'+str(e))（3）读取某一工作表中数据某一列的数据def read_data(sheet, n=0): dataset = []for r in ws): col = ll(r, n).value dataset.append(col)return dataset2.打开浏览器因为是采用selenium+浏览器，首先先打开浏览器（可用火狐、谷歌等浏览器，只要配置好环境），这里采用了phantomjs这个无头浏览器，并使用了useragent代理。此外，service_args参数可调用ip代理。from selenium import webdriverfrom selenium.webdrivermon.desired_capabilities import DesiredCapabilitiesdef driver_open(): dcap = dict(DesiredCapabilities.PHANTOMJS) dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Windows NT 6.1; WOW64) Appl
教师节祝福语50字>傅明宪个人资料eWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36' ) service_args = ['--proxy=122.228.179.178:80','--proxy-type=http' ] open_driver = webdriver.PhantomJS(executable_path='D:/', desired_capabilities=dcap# , service_args=service_args # ip代理 )return open_driver3.获取网页源代码根据提供的url和等待加载时间，返回网页源码的BeautifulSoup对象。欲获取源代码的网页url有两种类型，一种是搜索结果页面的url，一种是公司详情页的url。根据分析，公司详情页的url末尾是一串数字，表示公司的id，这个id是要保存下来，作为唯一识别码，因此增加一步判断，判断url是否为公司详情页的url（最后一个'/'后面全是数字）， 如果是，同时返回公司的id。import timefrom bs4 import BeautifulSoupdef get_content(url, waiting=3): open_driver = driver_open() (url)# 等待waiting秒，使js加载，时间可延长 time.sleep(waiting)# 获取网页内容 content = open_driver.de('utf-8')print content open_driver.close() res_soup = BeautifulSoup(content, 'lxml') com_id = url.split('/')[-1]if com_id.isdigit():return res_soup, com_idelse:return res_soup4.根据搜索词搜索如果输入的公司名，能查到完全对应的公司名（可能是曾用名），则返回其url地址，nct中国成员
发布评论