hadoop运维岗位职责

hadoop运维工程师杭州麦歌算法科技有限公司杭州麦歌算法科技有限公司,麦歌算法,麦歌算法

任职要求:职位描述:

1.根据业务需求和落地环境确定大数据平台的方案和具体搭建

2.负责大数据平台及相关业务系统的(Hadoop/Spark/Elasticsearch/Zeppelin/Jupyter等)的运维工作

3.对大数据基础平台系统稳定性负责,负责故障应急响应及指挥,做好故障发现和预防,为其持续优化提供建设性意见

4.与数据组合作,帮助处理优化项目中数据处理工作(数据采集、清洗、汇总、集成等),保证数据的准确性和稳定性

岗位要求:

1.精通scala或python至少一门编程语言,两种都熟悉优先

2.精通shell脚本编程

3.熟悉Hadoop/Hive/Hbase/Spark等分布式计算环境进行海量数据分析与计算;

4.做过数据仓库,对数据治理、数据标准及元数据有很好理念及实施经验的优先;

5.熟悉devops等自动化运维工具;

6.有过10台以上集群运维的经验

7.良好的沟通能力和团队精神,具备创新意识;

8.以结果为导向,具有强烈的责任心、钻研精神和良好的团队沟通能力。

关键词:Hadoopspark