职位详情

职位描述：
1、互联网站，网页，链接的特征挖掘 ,对指定的多个网站的网页进行网页抓取、数据的提取、清洗、入库；
2、对搜索、匹配、同步等后台守护程序进行性能优化等；
3、负责系统日常运营资源调度优化及运营指标分析调优，并能实时监控爬虫的进度和警报反馈；
4、负责特殊网页采集任务的分析及采集方案设计
职位要求：
1.精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息。
2.精通搜索引擎和网络爬虫相关技术
3.精通.NET框架,精通C#、ASP.NET、ADO.NET等开发技术,并能够熟练使用VS.NET等开发工具；
4.精通SQL,能熟练使用SQL Server数据库；
5.有网络爬虫或分布式采集开发经验者优先。