Java 开发工程师（爬虫类项目）

岗位职责

1、负责公司数据类移动应用端产品的后台接口设计；

2、负责数据采集，参与爬虫架构的设计与研究；
3、编写新的数据抓取程序，提高网页抓取的效率和质量等问题；
4、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略；
5、负责网页信息抽取优化
任职要求

1、计算机相关专业,精通数据结构和数据算法；

2、熟悉网页抓取原理及技术，熟悉基于Cookie的网站登录原理，

3、熟悉基于正则表达式、XPath、CSS等网页信息抽取技术

4、至少3年以上大规模网页爬虫开发经验,熟悉JS,ajax,网页消重；

5、熟悉熟练使用Struts、Spring、Hibernate、Ajax等相关开源框架进行项目开发；

6、熟悉分布式系统的设计和应用

7、熟悉HttpClient等爬虫组件者及有模拟登录网站抓取经验者优先

8、有5年以上Java 和 MySQL工作经验，熟练掌握 Java和HTML

9、有良好的沟通和学习能力、有较强的团队协作能力以及快速解决问题的能力

职位类别： 软件工程师

举报