下面就是小编整理的数据仓库工程师的基本职责(共含16篇),希望大家喜欢。同时,但愿您也能像本文投稿人“None”一样,积极向本站投稿分享好文章。
职责:
1、根据公司业务需求,构建可扩展的数据仓库,负责数据模型的规划设计实现和优化。
2、负责业务数据的采集,清洗,特征抽取。
3、负责ETL的维护工作,发现故障及时诊断、定位、分析和调试,保证数据准确、稳定。
4、根据业务需要,提供面向业务的报表、数据提取等数据服务。
5、参与业务数据分析体系的数据统计、分析及建模。
任职资格:
1、统招本科及以上学历,三年以上数据仓库、BI开发经验;至少两年
2、熟练使用oracle、mysql、Postgres等关系型数据库及Hive、Hbase、spark、impala等基于hadoop集群的组件、编写优秀的存储过程、熟悉shell脚本语言,有良好的代码习惯
3、熟悉数据仓库建设的流程及方法论、理解维度建模,有实际的模型设计经验及ETL相关开发经验;
4、熟悉二种以上开源或商业的BI工具,有报表及可视化开发经验,熟悉帆软开发优先;
5、互联网金融工作经验优先,汽车金融行业经验优先
5、较强的逻辑思维能力和学习能力,对数据有敏锐的认知力,工作态度踏实、认真、积极主动,有良好的团队协作能力、执行力以及抗压工作能力和心态,乐于沟通交流和分享。
职责:
1.负责VIVO公司级的数据集市和数据仓库的设计和开发
2.负责基于用户行为的用户标签探索和开发
3.负责基于业务需求的数据中间层和可视化开发
4.负责各类分类和预测模型的开发
任职资格:
1.本科学历,数统、计算机相关专业。
2.了解hadoop\spark生态,有完整仓库设计和开发经验。
3.精通hql调优,shell\python,熟练使用常规机器学习算法。
职责:
1、负责公司大数据平台建设、开发
2、依据业务需求,进行数据产品的规划和设计开发,为数据分析和运营等人员搭建友好高效的数据产品,如报表、BI系统等
3、协助对业务数据进行分析、建模,为业务部门的数据化运营提供支持
任职要求:
1、本科或以上学历,2年以上大数据开发或数据仓库或BI经验,熟练掌握Java或者Python开发语言
2、熟悉Hadoop或Hadoop生态圈相关技术,如Hive、Spark等,或者大数据云服务技术。
3、对业务有敏锐的洞察力,有较强的业务理解与分析能力;
4、具备良好的团队合作精神,有较好的沟通交流能力,善于主动思考和行动,乐于解决具有挑战性的问题;
5、具有电商领域大数据开发、推荐系统研发经验的优先考虑。
职责:
1. 独立完成ETL 需求分析、设计、开发及部署工作
2. 独立完成BI分析报表等应用的需求分析、模型设计、数据处理、报表开发等工作;
3. 配合开发经理完成BI分析报表等项目的过程管理、元数据管理、质量管理;
4. 完成实时大数据处理系统及批处理系统的架构设计及实现;
5、负责BI分析报表等应用的系统部署及运维
任职要求:
1. 计算机相关专业本科及以上学历,3年以上相关开发经验;
2. 精通主流关系型数据库,精通SQL优化、ETL问题定位,能够从模型设计层面做ETL优化;
3. 精通ETL架构的设计,精通BI/DW,精通数据仓库模型设计;
4. 熟悉Hadoop、Map/Reduce的原理,能够选用合适的工具设计、编写Hadoop的ETL程序;
5. 熟悉Shell/Perl/Python等脚本语言;
6. 熟悉kettle及sqoop; 精通元数据管理、数据质量分析和处理设计。
职责:
1、负责全平台流量及业务数据开发,参与数据模型体系构建及数据主题设计,为BI数据报表提供底层数据支持;
2、理解产品、业务人员的数据需求,提供OLAP、数据提取等数据服务;
3、参与数据仓库模型设计,负责元数据建设、数据融合、多维度事实表及维表的数据仓库开发;
4、参与项目ETL的设计、开发、调度、执行、处理,进行模型性能及ETL流程调优;
任职要求:
1、大学本科及以上学历,5年以上工作经验;
2、熟悉ORACLE、MYSQL、SQL Server等主流数据库,熟练使用Power designer、kettle、Data service等数据仓库及ETL工具,了解Dashboard、Smart BI、Power BI、Cognos等前端开发工具;
3、熟悉Data Cube,并精通SQL,熟练使用Hive、Spark-SQL, python、Shell等进行数据开发,具备开发复杂业务逻辑的数据处理及分析能力;
4、熟悉数据仓库理论,掌握Kimball维度建模方法,有ETL开发和数仓模型设计经验;
5、有很强的自我驱动力,对开源技术非常感兴趣并具有一定的研究能力;
职责:
1、负责金融行业数据仓库开发工作
2、负责与多个应用对接的接口和框架设计
3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。
岗位要求:
1. 从事数据仓库及商业智能(BI)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;
2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;
3.有主流商业/开源ETL工具(Informatica、Datastage、Kettle等)使用经验者优先;
4. 熟悉Hadoop生态相关技术并有相关实践经验,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具备海量数据加工处理(ETL)相关经验;
5. 熟练使用java语言,对微服务架构有一定了解;
6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;
7、有团队管理经验优先。
职责:
负责大数据数据仓库的建设,根据数据仓库及BI项目的需求,制定相关的设计方案和开发计划;
参与数据的分析处理和数据统计内容的架构设计与研发;
组织项目组成员完成数据仓库的开发和运维等;
负责公司数据规范、数据标准、数据指标梳理与定义;
协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;
组织开展对数据平台各模块的内容进行培训;
制定和审计业务系统数据数据库模型设计规范;
任职资格:
有一定的互联网数据仓库经验;
深入了解 Hadoop 生态系统,熟悉HBase、Hive、Storm、spark等大数据开发工具中一种或几种;
具备大型数据仓库架构设计、模型设计、ETL 设计的相关经验;
关系型数据库原理基础扎实,熟悉 MySQL/PostgreSQL等的使用和调优;
有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;
职责:
1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;
2、针对业务需求,参与数据仓库需求分析,制定ETL相关设计方案和开发计划;
3、负责数据同步,数据整合清洗,以及数据质量的治理;
4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。
任职资格:
1、重点院校统招本科及以上学历,计算机基础扎实;
2、具有2年以上金融贷款类业务经验;
3、熟悉数据仓库理论和数据库建模,有redshift和AWS经验优先;
4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;
5、熟练掌握python/shell语言。
职责:
1、负责大数据开发工作;
2、负责公司数据服务接口平台的建设;
3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;
5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。
岗位要求:
1、本科以上学历,计算机、数学、统计学等相关专业;
2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/Maxcompute;
3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;
4、熟悉常见的离线、实时、流式数据应用场景及架构;
5、至少掌握一门开发语言,Java/Python;
6、具备良好的沟通能力和设计文档编写能力;
7、懂数据挖掘、知识图谱的构建者优先。
职责:
1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;
2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;
3.参与数据产品与应用的数据研发;
4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;
5.编写Python程序,或ETL技术完成日常数据抽取和整理任务,可独立进行数据分析;
岗位要求:
1.熟悉ETL开发、数据仓库设计流程,熟悉Oracle, MS SQL Server 等主流数据库,表结构设计,存储过程编写;
2.熟练掌握常用Linux命令,具备shell编程能力,熟练掌握Python编程语言
3.具有较强的语言表达和沟通能力,良好的团队合作精神
4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;
5.具有高度的责任感和敬业精神,能够承受较大的工作压力
职责:
1、负责数据仓库架构、元数据、数据质量、血缘分析等环节的设计与实现,构建可扩展的数据仓库和分析解决方案;
2、负责将BI、运营、产品、客服等业务部门的需求抽象成数仓模型并落地;
3、负责参与智能用户画像体系开发与建设;
4、负责数据工具、数据产品及其他数据需求的开发。
技能要求:
1、有数据仓库需求调研和需求分析经验,能根据业务需求设计数据仓库模型,并对数据仓库数据模型进行管理,保证数据质量,熟悉kimball架构;
2、精通sql开发,有较丰富的Hive sql性能调优经验优先;
3、熟悉spark structured streaming、flink中至少一种流式处理计算框架,有相关开发经验;
4、熟悉大数据存储处理组件,包括但不限于Hive/HDFS/HBASE/presto/Druid/kylin/impala;
5、熟练掌握Linux各种命令行工具,良好的shell功底。
职责:
1. 针对业务问题进行分析,深入了解业务需求,为业务部门提供数据支持;
2. 搭建业务分析模型或业务分析指标体系,统一数据指标分析口径;
3. 参与报表需求调研和需求分析;
4. 参与报表开发工作;
5. 参与ELT相关的设计方案和开发;
岗位要求
1.4年及以上BI开发经验;
2.熟悉数据仓库建模理论,有建模经验;
3.熟悉掌握SQL语言吗,熟悉PL/SQL编程,熟练掌握存储过程开发;
4.具有较强的业务理解能力,沟通能力;
5.熟悉常用ETL技术;
6.熟悉Hive、HBase、Spark等大数据者优先;
职责:
1. 负责企业级数据仓库架构设计、建模以及ETL开发,构建可扩展的数据仓库解决方案;
2.负责公司日常运营报表开发维护,和业务及分析部门沟通协作,提供多层面数据服务;
3.提供完善的数据保障体系,包括元数据管理、数据质量、数据安全等;
岗位要求
1. 计算机或相关专业本科及以上学历 ;
2. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验;
3. 熟悉SQL,有一定的SQL性能优化经验;
4. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一;
5. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情;
6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;
职责:
1、构建数据挖掘模型,推动业务精确营销实践;
2、根据业务需求开展数据分析与建模工作,提供相关的模型和算法支撑;
3、构建数据挖掘与建模解决方案,指导应用设计与开发;
任职要求:
1、具有数学统计、计算机相关专业的本科及以上学历
2、两年以上相关工作经验;
3、精通各种分类、聚类、预测、关联模型算法与原理;
4、精通SAS、MATLAB、CLEMENTINEL等主流数据挖掘工具的使用方法,并具有大型数据挖掘项目的成功实施经验;
5、对数据与业务有足够敏感性,具有极强的利用数据分析、挖掘,解决业务问题的能力;
6、对数据挖掘方法论有较深刻的理解,能独立规划数据挖掘模型解决方案并实施;
7、熟悉linux环境和命令,能编写简单的shell脚本。
8、熟悉MySQL、Oracle、SqlServer、PostgreSQL、NoSql、NewSql等主流数据库,精通mysql,oracle者优先。
职责:
1、参与数据仓库架构设计、建模和ETL开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、计算机、数学、统计相关专业专科及以上学历,其中2年以上数据仓库开发经历;
2、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
3、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少TB以上级大数据处理经验;
4、对数据敏感,认真细致,善于从数据中发现疑点;
5、善于沟通,具备优秀的技术与业务结合能力。
6、有电力行业经验者优先
Responsibility
1、负责建设数据仓库架构,包括元数据管理、ETL调度、数据集成、OLAP等子系统的设计和开发;
2、制定和推广数据字典,建立完善的元数据管理规范,负责数据质量监控设计;
3、搭建和维护数据仓库表,解决业务人员在仓库系统流程、工具使用、数据处理等遇到的问题;
4、深入了解网易游戏、CC直播、藏宝阁、网易大神等业务,负责数据仓库和其它业务系统接口。
5、基于对数据的理解和业务需求,对数据进行整理、分析和用户画像搭建。
Requirements
1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验;
2、熟悉SQL、Shell等相关技术,有海量数据处理、ETL及任务调度优化、数据仓库建模等经验;
3、熟悉Linux环境,了解Java/Python服务端系统开发;
4、熟悉Hadoop/Spark/Hive/Hbase/Kafka/Flume等大数据技术者优先;
5、逻辑清晰、对数据敏感,良好的沟通能力和协作能力,敢于接受挑战,能够承受压力;
★ 文员基本职责
★ 文秘人员基本职责
★ 保洁员基本职责
★ 基本会计工作职责
★ 项目工程师职责