大数据开发工程师

岗位职责:

1.    参与基于hadoop(CDH5)大数据系统平台核心模块设计、开发;

2.    Hadoop及相关组件FlumeHiveHbaseSpark的监控、故障处理和性能优化;

3.    基于Map/ReduceFlumeHive(UDF)等的大数据开发;

4.    基于Hive的分布式数据仓库ETL

5.    为数据挖掘算法、数据产品等提供运行环境;

任职资格:

1.    本科及以上学历,计算机、统计学等相关专业,2年以上相关工作经验;

2.    熟悉MysqlOracle等数据库及sql数据查询;

3.    熟悉Linux开发环境和shell脚本;

4.    熟悉Java开发,有实际项目经验;

5.    熟悉分布式数据存储和计算理论;