数据仓库工程师的基本职责

| 收藏本文 下载本文 作者:None

下面就是小编整理的数据仓库工程师的基本职责(共含16篇),希望大家喜欢。同时,但愿您也能像本文投稿人“None”一样,积极向本站投稿分享好文章。

数据仓库工程师的基本职责

篇1:数据仓库工程师的基本职责

职责:

1、根据公司业务需求,构建可扩展的数据仓库,负责数据模型的规划设计实现和优化。

2、负责业务数据的采集,清洗,特征抽取。

3、负责ETL的维护工作,发现故障及时诊断、定位、分析和调试,保证数据准确、稳定。

4、根据业务需要,提供面向业务的报表、数据提取等数据服务。

5、参与业务数据分析体系的数据统计、分析及建模。

任职资格:

1、统招本科及以上学历,三年以上数据仓库、BI开发经验;至少两年

2、熟练使用oracle、mysql、Postgres等关系型数据库及Hive、Hbase、spark、impala等基于hadoop集群的组件、编写优秀的存储过程、熟悉shell脚本语言,有良好的代码习惯

3、熟悉数据仓库建设的流程及方法论、理解维度建模,有实际的模型设计经验及ETL相关开发经验;

4、熟悉二种以上开源或商业的BI工具,有报表及可视化开发经验,熟悉帆软开发优先;

5、互联网金融工作经验优先,汽车金融行业经验优先

5、较强的逻辑思维能力和学习能力,对数据有敏锐的认知力,工作态度踏实、认真、积极主动,有良好的团队协作能力、执行力以及抗压工作能力和心态,乐于沟通交流和分享。

篇2:数据仓库工程师的基本职责

职责:

1.负责VIVO公司级的数据集市和数据仓库的设计和开发

2.负责基于用户行为的用户标签探索和开发

3.负责基于业务需求的数据中间层和可视化开发

4.负责各类分类和预测模型的开发

任职资格:

1.本科学历,数统、计算机相关专业。

2.了解hadoop\spark生态,有完整仓库设计和开发经验。

3.精通hql调优,shell\python,熟练使用常规机器学习算法。

篇3:数据仓库工程师的基本职责

职责:

1、负责公司大数据平台建设、开发

2、依据业务需求,进行数据产品的规划和设计开发,为数据分析和运营等人员搭建友好高效的数据产品,如报表、BI系统等

3、协助对业务数据进行分析、建模,为业务部门的数据化运营提供支持

任职要求:

1、本科或以上学历,2年以上大数据开发或数据仓库或BI经验,熟练掌握Java或者Python开发语言

2、熟悉Hadoop或Hadoop生态圈相关技术,如Hive、Spark等,或者大数据云服务技术。

3、对业务有敏锐的洞察力,有较强的业务理解与分析能力;

4、具备良好的团队合作精神,有较好的沟通交流能力,善于主动思考和行动,乐于解决具有挑战性的问题;

5、具有电商领域大数据开发、推荐系统研发经验的优先考虑。

篇4:数据仓库工程师的基本职责

职责:

1. 独立完成ETL 需求分析、设计、开发及部署工作

2. 独立完成BI分析报表等应用的需求分析、模型设计、数据处理、报表开发等工作;

3. 配合开发经理完成BI分析报表等项目的过程管理、元数据管理、质量管理;

4. 完成实时大数据处理系统及批处理系统的架构设计及实现;

5、负责BI分析报表等应用的系统部署及运维

任职要求:

1. 计算机相关专业本科及以上学历,3年以上相关开发经验;

2. 精通主流关系型数据库,精通SQL优化、ETL问题定位,能够从模型设计层面做ETL优化;

3. 精通ETL架构的设计,精通BI/DW,精通数据仓库模型设计;

4. 熟悉Hadoop、Map/Reduce的原理,能够选用合适的工具设计、编写Hadoop的ETL程序;

5. 熟悉Shell/Perl/Python等脚本语言;

6. 熟悉kettle及sqoop; 精通元数据管理、数据质量分析和处理设计。

篇5:数据仓库工程师的基本职责

职责:

1、负责全平台流量及业务数据开发,参与数据模型体系构建及数据主题设计,为BI数据报表提供底层数据支持;

2、理解产品、业务人员的数据需求,提供OLAP、数据提取等数据服务;

3、参与数据仓库模型设计,负责元数据建设、数据融合、多维度事实表及维表的数据仓库开发;

4、参与项目ETL的设计、开发、调度、执行、处理,进行模型性能及ETL流程调优;

任职要求:

1、大学本科及以上学历,5年以上工作经验;

2、熟悉ORACLE、MYSQL、SQL Server等主流数据库,熟练使用Power designer、kettle、Data service等数据仓库及ETL工具,了解Dashboard、Smart BI、Power BI、Cognos等前端开发工具;

3、熟悉Data Cube,并精通SQL,熟练使用Hive、Spark-SQL, python、Shell等进行数据开发,具备开发复杂业务逻辑的数据处理及分析能力;

4、熟悉数据仓库理论,掌握Kimball维度建模方法,有ETL开发和数仓模型设计经验;

5、有很强的自我驱动力,对开源技术非常感兴趣并具有一定的研究能力;

篇6:数据仓库工程师岗位的基本职责

职责:

1、负责金融行业数据仓库开发工作

2、负责与多个应用对接的接口和框架设计

3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。

岗位要求:

1. 从事数据仓库及商业智能(BI)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;

2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;

3.有主流商业/开源ETL工具(Informatica、Datastage、Kettle等)使用经验者优先;

4. 熟悉Hadoop生态相关技术并有相关实践经验,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具备海量数据加工处理(ETL)相关经验;

5. 熟练使用java语言,对微服务架构有一定了解;

6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;

7、有团队管理经验优先。

篇7:数据仓库工程师岗位的基本职责

职责:

负责大数据数据仓库的建设,根据数据仓库及BI项目的需求,制定相关的设计方案和开发计划;

参与数据的分析处理和数据统计内容的架构设计与研发;

组织项目组成员完成数据仓库的开发和运维等;

负责公司数据规范、数据标准、数据指标梳理与定义;

协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;

组织开展对数据平台各模块的内容进行培训;

制定和审计业务系统数据数据库模型设计规范;

任职资格:

有一定的互联网数据仓库经验;

深入了解 Hadoop 生态系统,熟悉HBase、Hive、Storm、spark等大数据开发工具中一种或几种;

具备大型数据仓库架构设计、模型设计、ETL 设计的相关经验;

关系型数据库原理基础扎实,熟悉 MySQL/PostgreSQL等的使用和调优;

有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;

篇8:数据仓库工程师岗位的基本职责

职责:

1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;

2、针对业务需求,参与数据仓库需求分析,制定ETL相关设计方案和开发计划;

3、负责数据同步,数据整合清洗,以及数据质量的治理;

4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。

任职资格:

1、重点院校统招本科及以上学历,计算机基础扎实;

2、具有2年以上金融贷款类业务经验;

3、熟悉数据仓库理论和数据库建模,有redshift和AWS经验优先;

4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;

5、熟练掌握python/shell语言。

篇9:数据仓库工程师岗位的基本职责

职责:

1、负责大数据开发工作;

2、负责公司数据服务接口平台的建设;

3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;

5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。

岗位要求:

1、本科以上学历,计算机、数学、统计学等相关专业;

2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/Maxcompute;

3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;

4、熟悉常见的离线、实时、流式数据应用场景及架构;

5、至少掌握一门开发语言,Java/Python;

6、具备良好的沟通能力和设计文档编写能力;

7、懂数据挖掘、知识图谱的构建者优先。

篇10:数据仓库工程师岗位的基本职责

职责:

1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;

3.参与数据产品与应用的数据研发;

4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;

5.编写Python程序,或ETL技术完成日常数据抽取和整理任务,可独立进行数据分析;

岗位要求:

1.熟悉ETL开发、数据仓库设计流程,熟悉Oracle, MS SQL Server 等主流数据库,表结构设计,存储过程编写;

2.熟练掌握常用Linux命令,具备shell编程能力,熟练掌握Python编程语言

3.具有较强的语言表达和沟通能力,良好的团队合作精神

4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;

5.具有高度的责任感和敬业精神,能够承受较大的工作压力

篇11:数据仓库工程师的职责精选

职责:

1、负责数据仓库架构、元数据、数据质量、血缘分析等环节的设计与实现,构建可扩展的数据仓库和分析解决方案;

2、负责将BI、运营、产品、客服等业务部门的需求抽象成数仓模型并落地;

3、负责参与智能用户画像体系开发与建设;

4、负责数据工具、数据产品及其他数据需求的开发。

技能要求:

1、有数据仓库需求调研和需求分析经验,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量,熟悉kimball架构;

2、精通sql开发,有较丰富的Hive sql性能调优经验优先;

3、熟悉spark structured streaming、flink中至少一种流式处理计算框架,有相关开发经验;

4、熟悉大数据存储处理组件,包括但不限于Hive/HDFS/HBASE/presto/Druid/kylin/impala;

5、熟练掌握Linux各种命令行工具,良好的shell功底。

篇12:数据仓库工程师的职责精选

职责:

1. 针对业务问题进行分析,深入了解业务需求,为业务部门提供数据支持;

2. 搭建业务分析模型或业务分析指标体系,统一数据指标分析口径;

3. 参与报表需求调研和需求分析;

4. 参与报表开发工作;

5. 参与ELT相关的设计方案和开发;

岗位要求

1.4年及以上BI开发经验;

2.熟悉数据仓库建模理论,有建模经验;

3.熟悉掌握SQL语言吗,熟悉PL/SQL编程,熟练掌握存储过程开发;

4.具有较强的业务理解能力,沟通能力;

5.熟悉常用ETL技术;

6.熟悉Hive、HBase、Spark等大数据者优先;

篇13:数据仓库工程师的职责精选

职责:

1. 负责企业级数据仓库架构设计、建模以及ETL开发,构建可扩展的数据仓库解决方案;

2.负责公司日常运营报表开发维护,和业务及分析部门沟通协作,提供多层面数据服务;

3.提供完善的数据保障体系,包括元数据管理、数据质量、数据安全等;

岗位要求

1. 计算机或相关专业本科及以上学历 ;

2. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验;

3. 熟悉SQL,有一定的SQL性能优化经验;

4. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一;

5. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情;

6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;

篇14:数据仓库工程师的职责精选

职责:

1、构建数据挖掘模型,推动业务精确营销实践;

2、根据业务需求开展数据分析与建模工作,提供相关的模型和算法支撑;

3、构建数据挖掘与建模解决方案,指导应用设计与开发;

任职要求:

1、具有数学统计、计算机相关专业的本科及以上学历

2、两年以上相关工作经验;

3、精通各种分类、聚类、预测、关联模型算法与原理;

4、精通SAS、MATLAB、CLEMENTINEL等主流数据挖掘工具的使用方法,并具有大型数据挖掘项目的成功实施经验;

5、对数据与业务有足够敏感性,具有极强的利用数据分析、挖掘,解决业务问题的能力;

6、对数据挖掘方法论有较深刻的理解,能独立规划数据挖掘模型解决方案并实施;

7、熟悉linux环境和命令,能编写简单的shell脚本。

8、熟悉MySQL、Oracle、SqlServer、PostgreSQL、NoSql、NewSql等主流数据库,精通mysql,oracle者优先。

篇15:数据仓库工程师的职责精选

职责:

1、参与数据仓库架构设计、建模和ETL开发;

2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;

3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。

任职要求:

1、计算机、数学、统计相关专业专科及以上学历,其中2年以上数据仓库开发经历;

2、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;

3、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少TB以上级大数据处理经验;

4、对数据敏感,认真细致,善于从数据中发现疑点;

5、善于沟通,具备优秀的技术与业务结合能力。

6、有电力行业经验者优先

篇16:数据仓库工程师的具体职责

Responsibility

1、负责建设数据仓库架构,包括元数据管理、ETL调度、数据集成、OLAP等子系统的设计和开发;

2、制定和推广数据字典,建立完善的元数据管理规范,负责数据质量监控设计;

3、搭建和维护数据仓库表,解决业务人员在仓库系统流程、工具使用、数据处理等遇到的问题;

4、深入了解网易游戏、CC直播、藏宝阁、网易大神等业务,负责数据仓库和其它业务系统接口。

5、基于对数据的理解和业务需求,对数据进行整理、分析和用户画像搭建。

Requirements

1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验;

2、熟悉SQL、Shell等相关技术,有海量数据处理、ETL及任务调度优化、数据仓库建模等经验;

3、熟悉Linux环境,了解Java/Python服务端系统开发;

4、熟悉Hadoop/Spark/Hive/Hbase/Kafka/Flume等大数据技术者优先;

5、逻辑清晰、对数据敏感,良好的沟通能力和协作能力,敢于接受挑战,能够承受压力;

数据仓库工程师的具体职责

系统集成工程师的基本职责

高级测试工程师工作的基本职责

高级算法工程师的基本职责概述

高级web前端开发工程师的基本职责

文员基本职责

文秘人员基本职责

保洁员基本职责

基本会计工作职责

项目工程师职责

数据仓库工程师的基本职责(精选16篇)

欢迎下载DOC格式的数据仓库工程师的基本职责,但愿能给您带来参考作用!
推荐度: 推荐 推荐 推荐 推荐 推荐
点击下载文档 文档为doc格式
点击下载本文文档