首页  |  职位搜索  | 客服热线:400-884-1001  |  APP下载
广州中地会资讯发展有限公司
地址:广东-广州市
五险一金
爬虫开发工程师
1.2-2.5万/月
  • 学历要求: 不限
  • 工作经验: 不限
  • 更新时间: 2019-06-25
  • 招聘人数: 2
  • 招聘对象: 社会人才
  • 工作地区: 广东-广州市
  • 年龄要求: 不限
1.负责分布式网络爬虫系统的架构设计与开发;
2.互联网站、网页、链接的特征挖掘,根据业务要求负责抓取互联网各种形式数据,如网页、pdf、word等数据抓取、数据提取、清洗、入库;
3. 负责爬虫核心算法的策略优化研究,充分利用资源,提升网页抓取的效率和质量;
4.优化搜索、匹配、抓取等关键程序的性能及效率;
5.取业务需求相关网页、pdf等形式数据,能够总结分析不同网站的结构特点与规律;
6、负责爬虫体系和平台管理及任务安排,包括任务管理、代码管理、代码审核、爬虫运行监控及管理、问题反馈及解决等;
7.进行技术分享与人员培训。
任职要求:
1.本科以上学历,2年以上爬虫开发相关工作经验,有大规模网络爬虫开发经验优先;
2.精通Python;
3.熟悉多线程、网络编程、云服务,精通网页抓取原理及技术,精通正则表达式,能从结构化的和非结构化的数据中获取信息;
4.熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程;
5.具备信息检索、web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抓取、网页分类中至少一种程序开发经验;
6.熟练使用数据库,至少精通一种关系型数据库的开发,处理过千万级别以上数据,掌握Redis、MongoDB、Hive等常用NoSQL技术并具有实战经验,熟悉 hadoop 者优先;
7.精通至少一种开源爬虫框架,如Scrapy、Webmagic、Nutch、Heritrix等,有开发爬虫框架经验优先;
8. 熟悉防采集、验证码识别、图像识别、封IP等反爬技术;
9. 具有文本分析、数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
10.熟悉Java或 C++ 语言优先。

职位类别: 软件工程师

举报
  • 相似职位
查看更多>
全选 申请职位
  • .net软件开发工程师(爬虫)
    湖北-武汉市-江夏区 | 经验不限 | 学历不限
    福禄网络
    0.8-1.2万/月
    申请职位
    职位描述: 1、互联网站,网页,链接的特征挖掘 ,对指定的多个网站的网页进行网页抓取、数据的提取、清洗、入库; 2、对搜索、匹配、同步等后台守护程序进行性能优化等; 3、负责系统日常运营资源..
  • 爬虫开发工程师
    广东-深圳市-南山区 | 3年以上 | 学历不限
    深圳前海增信通信息服务有限公司
    1.5-2.5万/月
    申请职位
    岗位要求: 1.对爬虫、图形验证码识别等技术有较深入研究 2. 计算机或相关专业专科以上学历,3年以上爬虫工作经验 3. 掌握网络爬虫开发原理,对互联网各种类型数据交互模式数据,知道如何处理需登..
广州中地会资讯发展有限公司
  • 公司规模:20-99人
  • 公司性质:民营企业
  • 所属行业:土木建筑
  • 所在地区:广东-广州市