职位详情

Java 开发工程师（爬虫类项目）
岗位职责
1、负责公司数据类移动应用端产品的后台接口设计；
2、负责数据采集，参与爬虫架构的设计与研究；
3、编写新的数据抓取程序，提高网页抓取的效率和质量等问题；
4、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略；
5、负责网页信息抽取优化
任职要求
1、计算机相关专业,精通数据结构和数据算法；
2、熟悉网页抓取原理及技术，熟悉基于Cookie的网站登录原理，
3、熟悉基于正则表达式、XPath、CSS等网页信息抽取技术
4、至少3年以上大规模网页爬虫开发经验,熟悉JS,ajax,网页消重；
5、熟悉熟练使用Struts、Spring、Hibernate、Ajax等相关开源框架进行项目开发；
6、熟悉分布式系统的设计和应用
7、熟悉HttpClient等爬虫组件者及有模拟登录网站抓取经验者优先
8、有5年以上Java 和 MySQL工作经验，熟练掌握 Java和HTML
9、有良好的沟通和学习能力、有较强的团队协作能力以及快速解决问题的能力