下面是小编为大家带来的数据仓库工程师的具体职责(共含14篇),希望大家能够喜欢!同时,但愿您也能像本文投稿人“utanyan”一样,积极向本站投稿分享好文章。
Responsibility
1、负责建设数据仓库架构,包括元数据管理、ETL调度、数据集成、OLAP等子系统的设计和开发;
2、制定和推广数据字典,建立完善的元数据管理规范,负责数据质量监控设计;
3、搭建和维护数据仓库表,解决业务人员在仓库系统流程、工具使用、数据处理等遇到的问题;
4、深入了解网易游戏、CC直播、藏宝阁、网易大神等业务,负责数据仓库和其它业务系统接口。
5、基于对数据的理解和业务需求,对数据进行整理、分析和用户画像搭建。
Requirements
1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验;
2、熟悉SQL、Shell等相关技术,有海量数据处理、ETL及任务调度优化、数据仓库建模等经验;
3、熟悉Linux环境,了解Java/Python服务端系统开发;
4、熟悉Hadoop/Spark/Hive/Hbase/Kafka/Flume等大数据技术者优先;
5、逻辑清晰、对数据敏感,良好的沟通能力和协作能力,敢于接受挑战,能够承受压力;
职责:
1、负责数据仓库(HADOOP)ETL工作以及数据运营;
2、负责数据产品的业务需求梳理、数据开发以及维护;
3、负责数据仓库的维度建模以及设计相关的脚本调度;
4、负责维度模型的数据处理的脚本开发,程序开发以及接口对接。
职位要求:
1. 本科以上学历,信息管理、计算机相关专业,两年以上ETL、数据仓库和大数据相关经验;
2. 熟悉数据仓库架构,了解HADOOP等大数据平台;
3. 有ORACLE\DB2等大型的数据仓库的开发经验;
4. 能够用HIVE的SQL,HADOOP的MAPREDUCE和SPARK去处理数据;
5. 熟悉关系数据库,并有HIVE的SQL的开发经验;
6. 熟悉Linux的shell编程;
7. 有银行和运营商相关的大数据或者数据仓库相关经验的优先
8. 热爱技术工作,具有较强的团队协作意识,数据安全意识;
9. 工作严谨、责任心强,能承受工作压力。
职责:
1、负责大数据平台搭建及数据仓库建模;
2、负责数据库管理及数据优化;
3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作;
4、维护大数据平台并能解决相关问题, 保障平台正常运行;
5、学习和研究新技术以满足系统需求。
任职资格:
1、本科及以上学历,计算机、通信等相关专业;
2、有相关工作经验者优先;
3、对互联网产品有见解,关注前沿技术,有较强的学习能力、分析能力和动手能力;
4、熟悉Linux操作系统及ORACLE、MySQL及MongoDB等数据库,了解SQL优化,熟悉ER模型和相关数据建模技术,能够熟练使用Java或Python、SHELL;
5、熟悉Hadoop的体系架构和运行原理,有大数据处理方面经验
6、具有大型数据仓库和ETL开发、HIVE经验优先
7、个性乐观开朗,沟通能力强,具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率。
职责:
1、学习并理解励步云学***业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;
2、进行数据仓库设计、模型开发、数据质量校验,报表开发;
3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;
4、进行数据查询优化,解决跑数性能问题。
任职资格:
1、本科以上学历,数学、统计、计算机相关专业优先;
2、3年以上互联网相关行业数据开发经验;
3、精通数据仓库建设思路,并有相关实施经验,特别是通用汇总层建设经验;
4、较强的数据开发能力,熟悉Hadoop相关技术,深刻理解MapReduce原理和过程;
5、精通Hive SQL,进行数据处理及模型开发;
6、有较强的学习能力,能快速学习和理解业务知识及数据需求;
职责:
1、参与数据仓库建设,负责数据仓库模型设计;
2、开发高质量可扩展的底层数据仓库体系;
3、负责数据仓库系统与业务系统的接口设计和确认工作;
4、负责数据平台相关的管理工作,如数据研发规范、数据质量及稳定性保证等建设;
5、参与公司各个业务线BI、数据产品与应用的数据研发,发觉数据潜在价值。
岗位要求:
1.大学本科及以上学历,计算机、经济、金融、数学专业背景,有3年以上工作经验;
2.熟悉数据仓库建模理论,以及数仓数据层级关系,具备大型数仓逻辑模型和物理模型设计经验;
3.熟悉一种ETL开发工具(sqoop,datax等), 熟悉ETL开发实施流程和原理;
4.掌握CDH版的hadoop环境,掌握hiveQL,有调优经验;
5.有一定的编程语言基础,不限制于java,python,shell等;
6.有元数据管理、数据质量管理工作经验的优先考虑;
7.工作认真,负责,仔细,有良好的团队合作精神。
职责:
1、负责数据仓库架构、元数据、数据质量、血缘分析等环节的设计与实现,构建可扩展的数据仓库和分析解决方案;
2、负责将BI、运营、产品、客服等业务部门的需求抽象成数仓模型并落地;
3、负责参与智能用户画像体系开发与建设;
4、负责数据工具、数据产品及其他数据需求的开发。
技能要求:
1、有数据仓库需求调研和需求分析经验,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量,熟悉kimball架构;
2、精通sql开发,有较丰富的Hive sql性能调优经验优先;
3、熟悉spark structured streaming、flink中至少一种流式处理计算框架,有相关开发经验;
4、熟悉大数据存储处理组件,包括但不限于Hive/HDFS/HBASE/presto/Druid/kylin/impala;
5、熟练掌握Linux各种命令行工具,良好的shell功底。
职责:
1. 针对业务问题进行分析,深入了解业务需求,为业务部门提供数据支持;
2. 搭建业务分析模型或业务分析指标体系,统一数据指标分析口径;
3. 参与报表需求调研和需求分析;
4. 参与报表开发工作;
5. 参与ELT相关的设计方案和开发;
岗位要求
1.4年及以上BI开发经验;
2.熟悉数据仓库建模理论,有建模经验;
3.熟悉掌握SQL语言吗,熟悉PL/SQL编程,熟练掌握存储过程开发;
4.具有较强的业务理解能力,沟通能力;
5.熟悉常用ETL技术;
6.熟悉Hive、HBase、Spark等大数据者优先;
职责:
1. 负责企业级数据仓库架构设计、建模以及ETL开发,构建可扩展的数据仓库解决方案;
2.负责公司日常运营报表开发维护,和业务及分析部门沟通协作,提供多层面数据服务;
3.提供完善的数据保障体系,包括元数据管理、数据质量、数据安全等;
岗位要求
1. 计算机或相关专业本科及以上学历 ;
2. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验;
3. 熟悉SQL,有一定的SQL性能优化经验;
4. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一;
5. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情;
6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;
职责:
1、构建数据挖掘模型,推动业务精确营销实践;
2、根据业务需求开展数据分析与建模工作,提供相关的模型和算法支撑;
3、构建数据挖掘与建模解决方案,指导应用设计与开发;
任职要求:
1、具有数学统计、计算机相关专业的本科及以上学历
2、两年以上相关工作经验;
3、精通各种分类、聚类、预测、关联模型算法与原理;
4、精通SAS、MATLAB、CLEMENTINEL等主流数据挖掘工具的使用方法,并具有大型数据挖掘项目的成功实施经验;
5、对数据与业务有足够敏感性,具有极强的利用数据分析、挖掘,解决业务问题的能力;
6、对数据挖掘方法论有较深刻的理解,能独立规划数据挖掘模型解决方案并实施;
7、熟悉linux环境和命令,能编写简单的shell脚本。
8、熟悉MySQL、Oracle、SqlServer、PostgreSQL、NoSql、NewSql等主流数据库,精通mysql,oracle者优先。
职责:
1、参与数据仓库架构设计、建模和ETL开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、计算机、数学、统计相关专业专科及以上学历,其中2年以上数据仓库开发经历;
2、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
3、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少TB以上级大数据处理经验;
4、对数据敏感,认真细致,善于从数据中发现疑点;
5、善于沟通,具备优秀的技术与业务结合能力。
6、有电力行业经验者优先
职责:
1、根据公司业务需求,构建可扩展的数据仓库,负责数据模型的规划设计实现和优化。
2、负责业务数据的采集,清洗,特征抽取。
3、负责ETL的维护工作,发现故障及时诊断、定位、分析和调试,保证数据准确、稳定。
4、根据业务需要,提供面向业务的报表、数据提取等数据服务。
5、参与业务数据分析体系的数据统计、分析及建模。
任职资格:
1、统招本科及以上学历,三年以上数据仓库、BI开发经验;至少两年
2、熟练使用oracle、mysql、Postgres等关系型数据库及Hive、Hbase、spark、impala等基于hadoop集群的组件、编写优秀的存储过程、熟悉shell脚本语言,有良好的代码习惯
3、熟悉数据仓库建设的流程及方法论、理解维度建模,有实际的模型设计经验及ETL相关开发经验;
4、熟悉二种以上开源或商业的BI工具,有报表及可视化开发经验,熟悉帆软开发优先;
5、互联网金融工作经验优先,汽车金融行业经验优先
5、较强的逻辑思维能力和学习能力,对数据有敏锐的认知力,工作态度踏实、认真、积极主动,有良好的团队协作能力、执行力以及抗压工作能力和心态,乐于沟通交流和分享。
职责
1.负责数据ETL开发,优化ETL流程设计;
2.负责数据质量问题的分析、跟进、解决,进行数据质量监测、校验和提升;
3.负责ETL开发实施文档的编写;
4.负责梳理公司数据仓库/数据集市数据清单、数据映射关系,优化现有数据仓库模型;
5.完善和梳理数据指标体系,完成和维护数据字典的工作;
6.参与数据标准的制定、数据标准管理和数据安全管理工作;
7.参与公司大数据平台的建设,包括Sugar报表或神策接口配置,用户画像标签体系的开发等
任职要求:
1.有shell或Python脚本开发经验;
2.有传统数据库SQL Server和MySQL,有存储过程编写能力;
3.熟悉Hadoop生态相关技术并有相关实践经验,包括但不限于Sqoop、Hive、HBase、Kylin等开发经验;
4.有kettle、azkaban或oozie工作流调度经验;
5.熟悉Hive SQL或Flink SQL的开发;
6.有数据仓库模型设计,有使用kafka+Flink Streaming实时数据处理经验优先;
7.有Sugar、神策或Tableau使用经验,有用户画像或客户召回标签工作经验优先;
8.对数据挖掘和机器学习有所了解,包括常用的机器学习算法和数据建模过程的优先
职责:
1.负责VIVO公司级的数据集市和数据仓库的设计和开发
2.负责基于用户行为的用户标签探索和开发
3.负责基于业务需求的数据中间层和可视化开发
4.负责各类分类和预测模型的开发
任职资格:
1.本科学历,数统、计算机相关专业。
2.了解hadoop\spark生态,有完整仓库设计和开发经验。
3.精通hql调优,shell\python,熟练使用常规机器学习算法。
职责:
1、负责公司大数据平台建设、开发
2、依据业务需求,进行数据产品的规划和设计开发,为数据分析和运营等人员搭建友好高效的数据产品,如报表、BI系统等
3、协助对业务数据进行分析、建模,为业务部门的数据化运营提供支持
任职要求:
1、本科或以上学历,2年以上大数据开发或数据仓库或BI经验,熟练掌握Java或者Python开发语言
2、熟悉Hadoop或Hadoop生态圈相关技术,如Hive、Spark等,或者大数据云服务技术。
3、对业务有敏锐的洞察力,有较强的业务理解与分析能力;
4、具备良好的团队合作精神,有较好的沟通交流能力,善于主动思考和行动,乐于解决具有挑战性的问题;
5、具有电商领域大数据开发、推荐系统研发经验的优先考虑。
★ 部门经理具体职责
★ 人事具体职责
★ 项目经理具体职责