主要工作职责:
1. 参与基于hadoop(CDH5)大数据系统平台核心模块设计、开发;
2. Hadoop及相关组件Flume、Hive、Hbase、Spark的监控、故障处理和性能优化;
3. 基于Map/Reduce、Flume、Hive(UDF)等的大数据开发;
4. 基于Hive的分布式数据仓库ETL;
5. 为数据挖掘算法、数据产品等提供运行环境;
岗位要求:
1. 本科及以上学历,计算机、统计学等相关专业,2年以上相关工作经验;
2. 熟悉Mysql、Oracle等数据库及sql数据查询;
3. 熟悉Linux开发环境和shell脚本;
4. 熟悉Java开发,有实际项目经验;
5. 熟悉分布式数据存储和计算理论;