以下是小编收集整理的大数据运维工程师的职责精选（共含14篇），欢迎阅读与借鉴。同时，但愿您也能像本文投稿人“RaquelY”一样，积极向本站投稿分享好文章。
职责：
1、负责大数据平台Hawq数据库运维;
2、负责大数据平台Tbase数据库运维;
3、负责传统数据(Oracle、MySQL等数据库)数据迁移、数据同步;
4、负责日常数据库的监控及问题分析排查;
5、负责OGG、Kafafa等组件数据传输同步日常运维;
6、负责数据库的优化、SQL语句的优化调优;
7、负责数据同步的检验与异常处理，确保数据的一致性、完整性、及时性;
8、负责制定数据同步方案及实施。
任职要求：
1、大专或以上学历，计算机或统计类相关专业
2、有3年以上技术类或数据类的开发经验;
3、熟练linux 系统操作及linux 运维监控、软件安装配置;
4、熟悉大数据技术，如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流数据库mysql/sql serverl/oracle/postgreSQL等，精通SQL语句，对复杂SQL能进行优化，能熟练编写存储过程;
6、熟练Linux SHELL，可以进行运维SHELL开发;
7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系统，有Shell脚本编写经验的优先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)数据仓库的实际运维经验或3年以上 HIVE、SPARK 实际项目运维经验
10、在实际项目中，有异构数据库迁移经验，从传统ORACLE,MYSQL迁移至MPP数据仓库的实战经验.
职责:
1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;
2. 负责集群容量规划、扩容及集群性能优化;
3. 基于大数据应用需求，持续优化Hadoop框架及组件的配置，提升性能;
任职资格：
1.大专以上计算机，通信和网络相关专业;
2.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验;
3.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验;
4.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验;
5.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作;
6.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作;
7.能维护Hadoop源码，有Hadoop 源代码BUG修复或者源代码优化经验者优先;
8.有Cloudera的CM使用经验尤佳。
职责：
1负责政务云平台、政务应用系统中数据库业务的日常运维，保障平台及应用系统服务7*24稳定可靠高效运行
2负责数据库性能调优，了解锁与隔离机制，协助客户解决数据库性能瓶颈
3制定数据库使用规范，制定数据库备份、升级、迁移规划并部署实施
4参与数据库设计工作，提高数据库维护自动化水平
5熟悉Linux操作系统，熟练使用Python，Go，Shell等至少一种语言
岗位要求：
1) 5年以上 Oracle/MySQL DBA 从业经验;
2) 熟练掌握 Oracle/MySQL 数据库的基础理论知识、运行机制、体系架构、高可用方案、备份机制、容灾机制等;
3) 熟练掌握数据库性能优化，了解主流的分布式数据库 Spanner/Cassandra;
4) 熟悉 Linux/Unix 操作系统，对服务器硬件有一定了解;
5) 熟练掌握 golang、Python、Java 等语言中的一种;
6) 熟悉阿里云产品线，具备ACP认证者优先考虑;
职责：
- 负责局点大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;
- 深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;
- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
- 负责Hadoop/spark/Kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。
要求：
- 4年以上运维相关工作经验，有大数据平台运维相关工作经验优先;
- 具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议;
- 熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具;
- 熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;
- 熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;
- 熟悉掌握常用的安全协议和组件服务，对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;
- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;
- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;
- 具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力;
- 有大数据开发经验和阅读源码能力者优先
职责：
1、负责银行各类应用系统的运维标准制定和运维管理等工作;
2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;
3、负责银行各类应用系统的应用监控、应用运维体系工具的建设和维护工作;
4、负责银行各类应用系统的自动化脚本编写和测试工作。
招聘要求：
1、全日制一本以及以上学历，理工类专业;
2、具备2年及以上应用系统运维或应用系统开发经验，有银行应用系统运维或开发经验者优先;
3、具备较强的文档编写、英语文档阅读能力;
4、具备良好的沟通表达能力和团队合作精神，具有较强的工作责任心和主动性;
5、至少具备以下二项技能：
(1)熟悉银行应用系统体系架构、应用运维标准化流程;
(2)熟悉AIX、LInux操作系统相关运维工作，具备熟练的SHELL脚本编程能力;
(3)熟悉应用软件持续集成和持续发布交付项目的整体流程，熟悉Jenkins、Nexus等相关Devops工具;
(4)熟练使用容器平台相关技术，有容器平台管理工作、应用容器打包的相关经验;
(5)熟练使用Golang或者Python编程。
职责:
1、技术保障各底层支撑系统的可靠性与稳定性;
2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;
3、负责技术文档手册编写，更新，经验总结沉淀，培训分享;
4、负责对新技术和方案进行调研，评估和引进，用技术去提升运维生产效率
任职资格:
1、熟悉常见的应用服务部署和调优(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、负载均衡集群的规划与搭建;
2、熟练使用Linux、TCP/IP网络协议栈，了解常用的Troubleshooting手段和常见性能指标
3、具有车联网平台运维的经验，精于容量规划、架构设计、性能优化;
4、熟悉主流PaaS云产品的使用，具有运维平台开发经验者、参与过开源产品的开发者优先;
5、优秀的沟通能力，出色的学习与钻研能力，良好的问题分析与解决能力;
6、对行业技术敏感度高且细致，善于思考，乐于发现，对解决具有挑战性问题充满激情。
职责：
1.负责Hadoop、spark、hbase、oozie、hive等平台运营和优化工作，保障平台服务运行稳定、高效。
2.负责大数据方案架构及方案落地;
3.开发Hadoop大数据管理平台与监控建设;
3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;
4.负责集群网络架构、机器管理等。
任职资格：
1. 全日制本科以上学历，三年以上后台系统运营工作经验;
2. 熟悉hadoop原理，具有Hadoop平台应用及管理经验，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;
3. 熟悉linux操作系统及调优;熟悉sql编程，熟悉Shell/Python/Java/Perl语言的一种或多种，有开发经验优先， 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;
4. 对大数据和自动化运维开发有浓厚兴趣，有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。
职责:
1、负责Hadoop平台搭建，运维，管理，故障处理。
2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。
3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。
4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。
岗位要求:
1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;
2、至少精通 Perl/Python/Shell脚本语言中的一种;
3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;
4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。
5、有独立分析问题和解决问题的能力，能出差。
职责：
1. 负责大数据平台的稳定性和性能优化;
2. 负责大数据项目的运维工作;
3. 针对业务需求制定统一的运维解决方案;
4. 完善自动监控报警系统，对业务层面关键指标进行监控与报警通知;
任职要求：
1、熟练掌握hadoop平台搭建、维护，有平台优化经验;
2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等组件的原理，有阅读源码能力者优先;
3、熟悉腾讯云产品，有腾讯云EMR使用经验者优先考虑;
4、熟练掌握java、python语言，熟练使用SQL，并有一定的优化能力
职责：
1、负责数据平台的运维管理工作(部署、监控、优化、故障处理);
2、负责Hadoop/Spark/Flink/Elasticsearch/Kafka等系统的架构审核、容量规划、成本优化;
3、负责大数据平台的用户管理、权限分配、资源分配;
4、参与数据挖掘、机器学习的平台的设计、并给出可执行的运维方案;
5、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等);
6、深入理解数据平台架构，发现并解决故障隐患及性能瓶颈;
7、ETL工具、调度工具、关系型数据库的运维。
任职资格：
1、本科以上学历，计算机软件相关专业;
2、1年以上大数据相关组件运维经验(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP维护经验，3年以上系统运维相关经验;
3、深入理解Linux系统，能独立部署开源软件，熟练掌握一门以上脚本语言(shell/perl/python等)，熟悉python开发语言优先;
4、逻辑思维能力强，做事有条理，责任心强，工作积极主动，执行力强，有良好的团队协作意识。
职责：
1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;
2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;
3、负责和参与自动化运维系统及平台的建设;
4、负责优化部门运维流程提升运维效率。
任职要求：
1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;
2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;
4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;
5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;
6、具备较好的沟通能力、主动性和团队合作精神。
职责：
1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;
2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;
4、设计实现大规模分布式集群的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;
6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。
岗位要求：
1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;
2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;
3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;
5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;
6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;
职责：
1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;
2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;
3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;
4. 参与开源社区建设，提升公司开源影响力;
任职条件：
1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、Alluixo、Kudu等开源组件的搭建、维护以及问题定位;
2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;
3. 熟练掌握shell/python/java;
4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;
5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;
6. 有大数据平台维护经验优先;
7. 掌握dockerfile，了解大数据与k8s结合者优先;
8. 参与开源社区，有代码贡献或者高质量博客文章者优先;
职责：
1、负责大数据平台架构的规划、设计、搭建;
2、负责大数据平台的运维保障工作;
3、负责运维相关数据分析，以及报表产出;
4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;
5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;
6、研究跟进大数据架构领域新技术并分享。
工作要求：
1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;
2、精通Linux/Unix系统;
3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;
4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;
5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;
6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。
