招聘岗位：工程技术人员

招聘人数：1名

聘用方式

项目聘用A

招聘条件

大学专科和专科学校及以上学历,无学位要求

大专以上学历，985/211优先。1.从事数据爬虫领域至少3年以上，专科及以上学历，有较为系统的海量数据爬虫、反爬虫研发经验；2.有从事分布式数据获取经验，精通python开发，熟悉使用scrapy、selenuim等常用开源爬虫框架；；3.熟悉HTTP协议、HTML、DOM，并有一定的JavaScript能力；4.熟练使用Xpath、正则表达式或BeautifulSoup任一种解析框架；5.有丰富的应对反爬虫的经验，例如合理使用IP池、验证码识别技术等；6.熟练使用splash、浏览器内核等工具解析动态页面；7.熟悉多线程、网络编程以及分布式爬虫架构开发场景8.熟悉使用Redis和任意一种常见的分布式消息队列；9.熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段；10.熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；11.熟练使用Mysql，熟悉Nosql数据库等，有大数据开发相关经验更佳；12.熟悉Ubuntu等Linux系统，熟练使用shell工具；13.有业务sense，责任心强，做事细致，具备较强的沟通协作能力、自我驱动能力，能够通过梳理设计业务模型发现业务问题，并驱动业务目标实现；14.有学术、科研经验优先。

岗位职责

1.管理建设数据获取、爬虫平台框架，负责爬虫系统规划以及相应架构设计；2.负责设计和开发网络爬虫应用，包括调度、抓取、入库等内容；2.负责现有爬虫核心算法和策略优化；3.网络爬虫架构设计、功能开发及优化；4.参与建设平台治理统一的数据体系，能独立完成项目的系统分析，根据开发规范和数据模型设计实现数据开发任务，保证数据质量；5.参与数据仓库的设计和研发，进行海量数据模型设计、数据ETL开发；7.参与数据产品及应用的数据研发，发觉数据业务价值，助力数据化运营业务。

岗位待遇

提供竞争性的薪酬待遇，可面议。与师生共同工作，缴纳五险一金。研究中心将视情况提供额外的激励措施和必要的工作开展条件。

其他

有意者请网上应聘，同时请将“岗位名称+姓名+个人简历+高校人才网”发送至联系人邮箱：wangfeng07@sjtu.edu.cn

联系方式

联系人：甘老师

TEL：；E-mail：wangfeng07@sjtu.edu.cn

联系地址：