专利名称：数据爬取方法、装置、计算机设备及存储介质专利类型：发明专利
发明人：蔡俊
申请号：CN201810594254.9
申请日：20180611
如何申请域名公开号：CN108897788A
公开日：
20181127
专利内容由知识产权出版社提供
摘要：本发明公开了一种数据爬取方法、装置、计算机设备及存储介质，所述方法包括，通过采用网络标识信息访问第一网页，若访问成功，且第一网址为非域名，则对第一网址进行解析，得到第一网址对应的域名，访问域名对应的第一网站的首页，若访问成功，且所述第一网址为域名或访问域名对应的第一网站的首页成功，则遍历各个第二网页，若访问成功，对第二网页内容进行解析，得到需要爬取的数据，若访问第一网址对应的第一网页不成功，或者访问域名对应的第一网站的首页不成功，或者遍历各个第二网页不成功，则采用Tornado分派新的网络标识信息至标识频道，返回执行采用网络标识信息访问对应的第一网页的步骤，从而提高了数据爬取的稳定性。
申请人：平安科技(深圳)有限公司
地址：518000 广东省深圳市福田区八卦岭工业区平安大厦六楼
国籍：CN
代理机构：深圳众鼎专利商标代理事务所(普通合伙)
代理人：胡志桐
更多信息请下载全文后查看