爬虫工程师
主要职责:
- 负责公司网站及各类应用程序的爬取数据工作;
- 编写爬虫程序,使用爬虫库进行开发,实现爬取目标网站的特定信息;
- 了解互联网行业动态,维护和更新爬虫库,保持爬取效率及稳定性;
- 负责对爬取数据进行清洗、处理、存储,进行数据分析;
- 对数据安全负有一定的责任,确保爬取到的数据遵守相关法律法规;
- 根据项目需求,进行项目计划,完成项目进度;
- 负责与其他部门的沟通和协调,进行数据对接工作;
- 负责爬虫系统的维护和升级。
- 对爬取数据进行清洗、处理、存储,进行数据分析;
职位要求:
英语6级
- 本科及以上学历,计算机相关专业优先
- 精通Python编程,熟练掌握Scrapy、Selenium等爬虫框架;熟悉数据库操作、如MySQL、MongDB等;了解Linux系统,具备基本的Shell脚本编写能力
3628 7182-59|175 7195 2152 24薪酬面议。