天眼查爬取企业信息-企业信用信息查询系统-天眼查爬虫

# tianyancha 天眼查爬取企业信息-企业信用信息查询系统-天眼查爬虫 ------ 运行main_all.py即可爬取90%的天眼查公司 运行main_top100.py只爬取96个行业的前100家公司 运行main_search.py根据你的公司名搜索进行爬取指定公司 注意： 1，代理IP请自费或自力更生建免费IP池 2，本项目自带云数据库，可直接使用，用你的电脑直接加入爬虫计划，我愿称之为 “分布式”爬虫 3，如果想用自己的数据库，配置信息在 config.py里 修改为你的数据库和蘑菇代理appkey即可 4，此程序随时可停，随时可继续从上次停止的地方开始，不会重复爬取 5, 如果有其他问题，或者想要数据，加Q群： 231436610 **步骤1**： 查看data文件夹，看数据是否满足你的数据分析要求。 - **公司信息.xlsx** 超过2万条的企业信息 - **行业TOP100.sql** 各个行业Top100的企业信息 大概9000条记录。 **步骤2**： 如果数据不满足你的要求，你想操练一下，花点钱爽爽。 1. 安装好mysql,建好表，sql文件夹下有建表脚本。 2. 买好蘑菇代理或者其他代理池的代理 3. 修改config.py 里面的配置，与数据库配置以及蘑菇代理API 的appkey，还有爬虫容错重试次数 4. 根据你的要求运行main_all.py和main_top100.py 5. 跑test.main 之前需要跑一次 find_industry.py这个脚本：把96个行业*5页的行业记录初始化好。 6. 如果有错误，请一步步调试，get_html.py 和find_info.py底下有注释掉的调试代码，按需修改运行 7. 能正常跑的话，请你动手点个star哈,祝你爬虫监狱之旅快乐 (๑•̀ㅂ•́)و✧