下面是小编为大家整理的大数据开发工程师的工作职责（共含18篇），欢迎大家借鉴与参考，希望对大家有所帮助。同时，但愿您也能像本文投稿人“尭堯”一样，积极向本站投稿分享好文章。
职责：
1、独立负责工作小组，并对下级成员进行监督;
2、具备资源整合以及对软件项目全局把控的能力;
3、负责软件项目的系统设计和需求分析;
4、制定软件项目开发计划，并按时完成功能模块的设计、开发以及编程任务;
5、积极配合并完成主管下达的任务，并能够对软件部门的发展规划提出意见;
任职条件
1、大数据相关开发经验3年以上，至少具备2年以上java开发经验;
2、有基于hadoop的数据抽取、转换、加载的开发相关经验;
3、熟练掌握hadoop生态的相关知识，如hive,hbase,flume.kafka,storm,spark，mapreduce等;
4、熟悉Linux操作系统。熟悉linux各项基本操作，至少掌握一门脚本语言;
5、熟练数据仓库，对多维数据建模有深入理解;
6、有BI数据平台、数据仓库、日志采集、多维数据仓库设计、开发、架构经验者优先;
7、思维敏捷，有较强的钻研学习能力，较好的沟通能力、团队合作;
职责
1、负责公司大数据平台建设工作，完成Hdaoop/Spark搭建部署，根据业务需要进行开发;
2、开发实现网络爬虫并爬取所需数据，有效存储到大数据平台;
3、对平台数据做预处理，满足数据展现及后续机器学习等系统使用;
4、根据业务需要，应用大数据实时分析技术、可视化技术等，并对平台发展规划进行设计。
任职资格
1、本科及以上学历，计算机相关专业;
2、熟悉数据仓库和数据建模相关技术细节，有编程经验，熟悉SQL/Hadoop/Hive/Hbase/Spark等大数据工具;
3、具备海量数据处理经验，或有互联网行业数据挖掘工作经验;
4、1年以上岗位经验优先，本科应届有意向的，可优先培养。
职责：
1、参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);
2、参与ETL Mapping设计及开发工作;
3、参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。
资质要求：
1.计算机相关专业本科及以上学历，优秀者放宽至大专;
2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验，有Sybase IQ\HIVE\Spark SQL开发经验者优先;
3、有较强的SQL编程能力,熟练编写存储过程，能设计各种复杂的业务处理、统计分析语句，精通sql性能优化;
4、具有数据仓库、ods、BI商务智能项目经验者优先，具有金融行业项目背景者优先;
5、较好的沟通理解能力，态度踏实，积极上进。
1、负责数据仓库和大数据处理模块的架构设计和开发;
2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;
3、负责Spark技术研究和通用数据平台的性能调优;
4、负责大数据项目中，基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。
5、熟悉Scala/Java语言，对Scala/Java原理、底层技术有深入研究者优先;
6、有过海量数据系统开发经验者优先;
7、熟悉Hadoop/Spark生态系统组件的使用，至少有2年以上的Spark开发经验;
8、写过推荐系统的优先考虑
职责：
1.负责金融银行大数据系统相关模块的数据架构及研发实施工作
2.依据业务场景、分析需求提供技术解决方案并加以实现;
3.与客户业务部门对接，解决数据建模、报表和报告在系统开发遇到的问题;
任职资格：
1.具备3年以上DW系统建设经验，了解BI系统，有数据管理经验，有维度建模相关经验，了解数据仓库建设过程中的挑战与问题
2.精通多系统数据融合、清洗、转换、整合，具备海量数据加工处理相关经验
3.熟悉业界数据仓库建模方法、元数据管理、数据质量体系管理
4.掌握大型数据库开发技术(ORACLE/DB2等)，有丰富的数据库模型设计和优化经验
5.熟练掌握Unix/Linux常规命令、工具及Shell编程
6.掌握一门或多门编程语言优先，如Java、Python、scala等
7.熟悉Hadoop、spark、kafka等大数据生态相关技术，有相关实践经验着优先8.良好的语言沟通与表达能力和自我驱动动力9.具备银行项目设计、开发、优化等经验者加分
职责：
1、负责该领域的业务需求讨论，完成技术方案及数据开发;
2、负责数据仓库的体系建设及落地实现;
3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;
4、负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。
招聘要求：
1、计算机、电子通信、自动化等专业，本科及以上学历;
2、五年以上研发经验，其中二年以上大数据开发的相关工作经验;
3、熟练JAVA开发语言;熟悉微服务及Spring框架;
4、熟练熟练Hive、Impala、ES性能调优，关注细节，学习能力强;
5、能配合团队完成该领域的工作，自我管理能力强，能承受工作中的各种压力，具备很好的团队意识
6、熟练主流大数据平台产品部署及运维，如CDH、HDP平台。
7、对机器学习和深度学习等方面有一定的了解;
8、有汽车制造业及相关行业的大数据开发经验优先。
职责：
1、负责数据中心和大数据处理平台的搭建
2、在线和离线海量数据分析平台的开发;
3、研究大数据前沿技术，提升系统的运维效率;
4、参与大数据的采集、存储、处理，分析等开发
5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现
【任职要求】：
1、计算机或相关专业本科学历及以上，2年工作经验以上
2、熟悉Java/Scala等至少一门语言，能对分布式常用技术进行合理应用，解决实际架构问题
3、熟练使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大数据开发组件
4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发;
5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;
6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。
7. 有BI开发经验的优化考虑。
职责：
1.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;
2.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求;
3.积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接;
4.完成上级交办的工作或任务。
岗位要求
1.计算机相关专业大专以上学历;
2.2年以上大数据产品或项目开发经验，精通Hadoop生态圈，熟练使用Spark，HBase、Hive、Kafka、Redis等;
3.精通SQL，熟练使用HSQL实现复杂数据处理逻辑，并具备数据处理调优的能力;
4.熟悉Linux开发环境，熟悉Linux的shell命令。
5.具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力;
6.良好的团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳;
7.有大数据项目或产品背景者优先;
8.有使用Spark SQL进行数据处理，并具有Spark SQL优化经验者优先。
9.有Python或者Shell脚本开发经验优先
职责：
1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;
2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;
3、负责大数据平台的规划升级、平台维护和优化 ;
4、和其他部门或团队沟通、资源协调并落实工作。
任职要求
1、本科及以上学历;
2、3年以上大型大数据平台建设实施经验 ;
3、掌握常用大数据组件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和调优 ;
4、具备较强技术功底，精通Java、Scala、Python等至少一种开发语言，能根据需求给出技术架构 ;
5、有数据仓库、元数据管理和治理的开发经验优先 ;
6、善于沟通，思维活跃、责任感强、工作积极主动，有良好的团队协作意识。
职责：
1、负责完成业务和产品的对接，支持业务需求研发;
2、负责完成产品的迭代升级以及底层架构的升级研发;
3、完成团队安排的其他相关日常工作任职要求;
4、负责产品的实时业务和离线业务的研发;
5、支持开源大数据技术在数据系统中的使用，修复、优化增强大数据技术;
岗位要求：
1、具有分布式系统架构开发能力，熟练使用storm、spark hbase者优先。
2、能够使用实时计算平台，进行实时业务数据的研发。
3、能够基于已有平台进行离线业务的开发。
4、有大数据应用产品研发经验，具有数据决策产品研发经验者优先。
职责：
1、负责基于Hadoop框架的海量数据平台建设
2、参与大数据平台的数据架构设计，完成从业务模型到数据模型的设计
3、基于海量数据的数据仓库，为业务搭建通用的查询和分析解决方案
4、管理并优化存储&计算资源利用效率、监控并维护例行ETL任务
5、梳理整体业务指标，可视化报表开发
应聘要求：
1、计算机本科及以上学历，5年以上大型数据仓库架构设计、模型设计、ETL设计相关经验
2、熟悉Hadoop生态，熟悉Oracle、SQL数据库中的一个或多个，有一定的性能优化经验
3、熟练掌握Java语言，MapReduce编程，Python/Shell等脚本语言，Linux操作系统
4、具备大数据云平台、计算存储平台、可视化开发平台经验
5、业务理解力强，对数据敏感，有互联网行业产品数据分析经验者优先
职责：
1、根据工作安排高效、高质地完成代码编写，确保符合规范的前端代码规范;
2、负责公司现有项目和新项目的前端修改调试和开发工作;
3、与设计团队紧密配合，能够实现实现设计师的设计想法;
4、与后端开发团队紧密配合，确保代码有效对接，优化网站前端性能;
5、页面通过标准校验，兼容各主流浏览器。
任职要求:
1. 本科及以上学历，熟悉j2ee，精通web开发有5年工作经验以上(学习能力好放宽至4年)，熟悉jsp，spring框架;
2.悉主流移动web开发框架,并有过实际项目开发经验;
3.有kylin,atlas,oozie,azkaban,spark,ranger任意一种使用项目使用经验。
职责：
1. 负责公司大数据业务集群的运维工作确保高可用;
2. 负责基础运维、故障定位、容量规划、扩容及性能优化;
3. 设计实现大规模分布式集群的运维、报警监控和管理平台;
4. 参与业务架构设计，在设计阶段给出可运维性改进建议;
5. 深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向。
任职资格：
1.大专以上学历，2年及以上大数据运维工作经验，熟悉hadoop/hbase/hive/Yarn/Spark等分布式相关技术，熟悉源码尤佳，至少掌握python/shell中的一种语言，接受优秀应届毕业生;
2.了解大数据平台应用架构，具备常见问题的基本分析和解决能力;
3.熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;
4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。
职责：
1、负责公司大数据基础平台产品开发工作;
2、完成产品/项目划分的研发任务，按需求规范进行研发;
3、具备良好的需求分析能力、业务建模能力，参与产品和项目相关模块的需求讨论，概要、详细设计;
4、具备良好的架构分析能力与设计能力，积极参与前期设计;
5、能根据设计方案和计划进行编码实现，在进度和质量上符合方案和计划的要求;
6、及时对BUG库中的软件问题进行跟踪修正。
岗位要求：
1、三年以上工作经验，一年以上大数据平台架构及ETL相关经验，可独立搭建/运维CDH/Spark整套平台架构;
2、精通Python/Java/Scala/SQL/Shell等语言中两种以上，熟悉Spark/Hadoop/Hive/MR/Hbase/ZK/YARN等三种以上开源框架的原理和源码;
3、熟悉容器平台开发或者开发优先考虑，有docker、kubernetes相关开发经验更佳;
4、学习能力强，适应能力好，有丰富的问题原因定位及运维技术支持经验;
5、有市场上成熟的大数据平台产品实际架构/开发经验优先。
职责：
1、负责公司c端产品以及广告数据的平台数据基础建设;
2、大数据平台的搭建与维护;
3、优化算法提高执行效率;
4、数据挖掘相关开发。
职位要求：
1. 本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业;
2. 熟悉JAVA语言及JAVA生态下的开发,了解多线程并发,能独立完成应用开发和部署;
3. 3年及以上大数据流程架构经验，熟悉Hbase/Hive/Hadoop/Spark或等主流分布式开发平台，有高性能集群设计和开发经验;
4. 能熟练操作Linux,熟练掌握SQL数据库语言 HiveSQL/Mysql/Sqlserver;
5. 对有广告营销大数据算法/开发经验者优先，有大型数据项目经验优先，有用户行为分析、用户建模、业务建模经验者优先;
6. 具有良好的逻辑分析能力、沟通能力和协调能力;
职责：
1、负责异构数据系统和大数据平台的集成与融合;
2、负责数据挖掘算法的设计及对海量数据进行挖掘分析;
3、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统开发;
4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模;
5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率;
6、完成领导交办的其他任务。
任职资格：
1、计算机及其相关专业，大专及以上学历。两年以上大数据应用经验;
2、具备实时处理框架的设计和开发能力，熟练掌握Storm、Spark streaming等大数据实时处理框架中的一种;
3、熟悉Spark 、R、Hadoop、Hbase、Hive、Elastic Search/Solr等相关技术;
4、熟悉Scala、熟悉Linux开发环境，能进行shell脚本的编写;
5、具有较强的逻辑分析能力，高度的责任心及团队合作精神;
6、具有实际大数据项目的成功经验者优先考虑。
职责:
1、负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等;
2、结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理等;
3、负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发;
4、负责公司业务数据仓库模型建设及全业务数据域打通;
5、负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;
任职资格:
1、熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验;
2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等;
3、有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;
4、精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，如Java、Python、Shell和scala等;
5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常问题的能力，具备ETL开发经验优先;
6、良好的语言沟通与表达能力，有丰富的数据开发经验，较强的数据、平台、技术理解能力;
7、具备数学类、计算机类等相关专业统招本科及以上学历，具有3年及以上大数据开发工作经验，有互联网行业背景优先。
职责：
1、数字货币领域数据统计分析，负责数字货币量化投资策略的设计、管理以及实际投资运作
2、与交易员对接，制定切实可行的的策略测试计划，开展新策略模型的开发和验证
3、协助交易员进行交易、风险管理，并对实际交易结果进行量化的绩效分析，推动交易自动化
4、上级交办的其他工作
任职要求：
1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理论基础
2、有量化实盘交易经验，具备丰富的数学建模经验及较强的数据处理能力优先
3、对金融市场的价格波动有独特理解和深入的量化分析，具备一定对冲策略研究经验;
4、对数字货币领域感兴趣，结果导向;
5、有网页抓取和爬虫程序编写经验者优先。
