岗位职责：

1、 三年以上Python网络爬虫开发经验，熟悉python java JavaScript等编程语言；

2、负责公司有关网络抓取方面的工作，处理网络数据抓取规划、汇总，具备搭建数据采集平台，建立爬虫系统，对数据的抓取、解析、调度、存储、维护等开发工作；

3、爬虫核心算法和策略优化,熟悉采集系统的调度策略，分析爬虫系统瓶颈设计实现相应策略和算法，提升爬虫的抓取效率和质量；

4、负责服务器的网络设置、维护和优化、安全监控、设备系统性能管理和优化、网络性能管理和优化保障服务器与数据库安全等。


任职要求：

1、熟悉熟悉 Python generator, lucence ， scrapy，pyspider，Selenium 等框架及系統，掌握基本的Xpath，Selenium等用法及Requests，lxml库，Selenium；或熟悉httpclient、htmlparser、lucene、slor等相关技术，Lucene/Nutch/等开源工具；

2、 精通抓包工具至少一种，熟悉使用网页抓取原理及技术，异步编程， 多线程，多进程编程, 事件驱动编程；

3、 熟悉Windows和linux系统，基本网络设备的简单配置和管理及计算机硬件、操作系统维护；

4、 具有较强的分析和解决问题能力，以解决技术难题为乐趣，有想法，敢于挑战；

5、熟悉MySQL，MongoDB及有集群数据库开发经验；

6、 有 simPy 仿真经验者优先。

职位类别： 大数据挖掘

举报