岗位职责： 1. 负责采集公开数据，一些相关信息的提取，优化爬虫策略，进行多平台信息的抓取和分析 2. 设计爬虫策略和防屏蔽规则，完成对复杂网站的信息抓取 3. 参与业务功能需求探讨，数据分析处理落地，并提供后端接口 4.优先考虑会逆向手段来突破一些反爬措施，包括但不限于cookie信息认证，参数加密，响应数据加密等等 任职资格： 1. 熟悉 web抓取原理及技术，熟悉常用的爬虫网络框架及重要组件； 2. 熟悉 Python编程语言，熟练掌握 MySQL、Redis、MongoDB等数据库的使用 3. 了解常见的反爬机制，能够破解常见的反爬机制，有对常见的验证码的逆向经验 4. 了解抓包调试技巧，突破抓包验证 5. 具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于分析问题解决问题