作为Hadoop工程师,平时负责搭建和维护大数据分析平台,根据业务需求开发数据处理程序,并优化现有系统架构以提高数据处理效率。详细的Hadoop工程师岗位职责如下:
1.负责Hadoop数据分析集群的搭建和维护;
2.根据需求开发、优化MapReduce数据处理;
3.负责项目技术架构、系统设计、核心代码开发。
除了上述职责,Hadoop工程师最好还熟悉以下内容1:
1.熟悉spark等一种或几种分布式计算平台,理解MapReduce原理;
2.熟悉javajvm内存管理,有分布式任务开发经验;
3.了解hbase等,了解集群资源管理yarn等;
4.理解Mapredcue计算过程,能根据业务需求设计出适合MapReduce计算模型的计算方法。
相关阅读推荐:实施工程师岗位职责 液晶显示工程师岗位职责