岗位要求:
1.对爬虫、图形验证码识别等技术有较深入研究
2. 计算机或相关专业专科以上学历,3年以上爬虫工作经验
3. 掌握网络爬虫开发原理,对互联网各种类型数据交互模式数据,知道如何处理需登录网站、动态页面、封账号IP等各种情况下的数据采集方法
4. 熟悉大规模网页爬取,深度网页爬取,熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技术平台和主要框架,精通Java开发,能熟练应用spring,MyBatis, MQ等主流技术框架;
4. 对数据库有充分了解,熟悉Oracle、MySQL、NonSQL等技术
5. 熟悉分布式系统开发和存储技术,如Redis、Memcache、Ehcache等
6. 学习能力强,对新技术研究狂热,有很强独立研究能力
岗位职责:
1.参与爬虫系统的设计和开发,负责爬虫系统的框架设计
2.负责网页信息抽取、数据清洗等研发和优化工作
3.对互联网海量业务进行整合、分析挖掘
4.与技术团队进行沟通,负责爬虫数据与业务系统的整合对接
5.能主导部门新技术研究、开发
1.对爬虫、图形验证码识别等技术有较深入研究
2. 计算机或相关专业专科以上学历,3年以上爬虫工作经验
3. 掌握网络爬虫开发原理,对互联网各种类型数据交互模式数据,知道如何处理需登录网站、动态页面、封账号IP等各种情况下的数据采集方法
4. 熟悉大规模网页爬取,深度网页爬取,熟悉Nutch、Scrapy、Lucene、Heritrix、Solr、Sphinx等工具
3. 熟悉J2EE技术平台和主要框架,精通Java开发,能熟练应用spring,MyBatis, MQ等主流技术框架;
4. 对数据库有充分了解,熟悉Oracle、MySQL、NonSQL等技术
5. 熟悉分布式系统开发和存储技术,如Redis、Memcache、Ehcache等
6. 学习能力强,对新技术研究狂热,有很强独立研究能力
岗位职责:
1.参与爬虫系统的设计和开发,负责爬虫系统的框架设计
2.负责网页信息抽取、数据清洗等研发和优化工作
3.对互联网海量业务进行整合、分析挖掘
4.与技术团队进行沟通,负责爬虫数据与业务系统的整合对接
5.能主导部门新技术研究、开发
职位类别: 其他
举报- 公司规模:50 - 99人
- 公司性质:民营企业
- 所属行业:网络运营公司
- 所在地区:广东-深圳市-南山区
- 联系人:陈小姐
- 手机:会员登录后才可查看
- 邮箱:会员登录后才可查看
- 邮政编码:
工作地址
- 地址:科兴科学园B4栋1401