大数据主管岗位职责

大数据技术主管广东智慧电子信息产业股份有限公司广东智慧电子信息产业股份有限公司,广东智慧电子,广东智慧电子公司,智慧电子职责描述:

1.负责基于hadoop/storm/spark生态的大数据存储平台搭建和部署;

2.参与数据抽取、清洗、转化等数据处理程序开发;

3.参与数据仓库的设计以及基于大数据平台上业务数据挖掘。

4.参与大数据分布式应用系统服务器端或客户端软件开发工作。

5.参与用户建模等算法设计和优化;

6.分析用户行为数据,设计合理的算法模型及策略;

7.协助完成日常数据分析;

岗位要求:

1.大学本科或以上学历,计算机相关专业,两年以上工作经验,spark/hadoop全栈优先,精通任意一栈者也可;

2.熟悉hadoop、spark、spark生态圈及hadoop生态圈中的常用组件,如Spark、Hive、zookeeper、Kafka、Storm、Redis、HBase、Presto等全部或者部分组件;

3.熟悉数据库开发例如:Oracle、MySQL;

4.熟悉Java开发,有大数据平台相关开发经验;

5.掌握至少一种NoSQL数据库;

6.熟悉linux环境和命令,能编写简单的shell脚本;

7.工作积极主动,具备较强的沟通能力;具有良好的学习能力和团队合作精神