职位要求
1、精通爬虫相关技术,如:httpClient/jSoup/xpath/正则表达式/验证码加密处理/代理池等
2、精通Core Java相关知识,如:常用集合类/泛型/反射/IO/注解/多线程等
3、掌握常用开源框架,如:Spring、MyBatis、Spring Boot等
4、掌握常用数据库(如:MySQL)及相应DDL/DML,熟悉索引及常规SQL调优
5、掌握常用开发管理工具及应用服务器,如:Eclipser、Maven、Git/SVN、Tomcat、Nginx等
6、熟悉行为验证码识别、模拟登陆、数据清洗、去重、入库等
7、熟悉HTTP协议,掌握HTML/CSS/JS/JQUERY/AJAX等相关知识
8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技术
9、了解Linux系统及Linux常用命令
10、了解Hadoop、HBase、HDFS、KAFKA等大数据相关知识
11、有运营商网站爬取或逆向经验尤佳
3年以上经验