Python爬虫工程师

数据采集 · 爬虫开发 · 反爬虫技术 · 数据处理

负责各类网站数据采集系统的设计与开发，运用先进的爬虫技术为公司业务提供数据支撑。

• 负责各类网站数据采集系统的设计、开发和维护
• 研究和应对各种反爬虫机制，提高数据采集成功率
• 优化爬虫性能，提升数据采集效率和稳定性
• 设计和实现分布式爬虫系统，处理大规模数据采集任务
• 对采集的数据进行清洗、去重和格式化处理
• 监控爬虫运行状态，及时处理异常情况
• 与数据分析团队协作，确保数据质量满足业务需求

• 本科及以上学历，计算机相关专业
• 3年以上Python开发经验，熟练掌握爬虫相关技术
• 熟悉Scrapy、BeautifulSoup、Selenium等爬虫框架
• 掌握多线程、异步编程，了解分布式系统设计
• 熟悉HTTP协议、HTML/CSS/JavaScript等Web技术
• 了解常见的反爬虫机制及应对策略
• 熟悉MySQL、MongoDB等数据库操作
• 具备良好的问题分析和解决能力
• 有大规模数据采集项目经验者优先

• 具有竞争力的薪资待遇和完善的福利体系
• 接触前沿技术和大数据处理的学习机会
• 开放包容的技术团队文化和广阔的发展空间
• 参与核心业务系统建设，提升技术影响力
• 弹性工作制度和良好的工作环境
• 完善的培训体系和职业发展通道