下面就是小编给大家整理的大数据架构师的具体职责(共含15篇),希望您能喜欢!同时,但愿您也能像本文投稿人“花信風”一样,积极向本站投稿分享好文章。
职责:
1、负责企业大数据平台的基础建设、管理及制定拓展规划;
2、负责大数据平台相关自动化服务工具的设计、开发;
3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;
4、对平台特殊场景化的数据应用制定相关实践方案;
5、大数据团队的搭建。
任职资格:
1、统招本科以上学历,计算机等相关专业,5年以上工作经验;
2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;
3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;
4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;
5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;
6、熟悉爬虫常用框架以及反爬技术;
7、具有良好的沟通能力、分析问题与攻关问题的能力;
8、有责任心,工作积极,对新领域新技术有热情。
职责:
负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;
负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;
负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;
负责协助策略和算法工作,保障数据挖掘建模和工程化;
负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;
负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;
负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能
任职要求:
本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;
精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr 、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;
熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;
熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;
熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。
具备源码级问题解决和集群优化改造能力者优先;
能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;
逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。
具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;
具备良好的文档撰写能力和技术团队管理能力
职责:
1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;
2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;
3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;
4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;
3、良好的编程开发能力,精通PHP及其他开发语言;
4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;
5、熟练掌握Linux常规命令与工具,精通shell, perl, python等脚本语言至少一种;
6、软件基础理论知识扎实,具有良好的数据结构、算法功底;
7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;
职责:
1、数据分析软件平台架构搭建
2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;
3、指导开发人员开发,并解决系统出现的问题,理解物业需求;
4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;
任职要求:
1、硕士以上,计算机或先关专业;
2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,
3、具备良好的组件级建模能力,熟悉HTTP、TCP等协议
4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL, VISIO等一种设计工具.
5、精通至少一种编程语言,熟悉 Linux 相关技术,能独立在上面进行开发、测试和部署
6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术
职责:
1. 负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;
2. 负责实时计算平台基础架构设计、部署、监控、优化升级;
3. 制定项目/数据仓库设计及实现规范,指导设计研发和部署;
4. 协助策略和算法团队工作,保障数据挖掘建模和工程化;
5. 深入研究大数据相关技术和产品,跟进业界先进技术;
任职要求:
1. 全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;
2. 精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;
3. 具备良好的系统分析能力、故障诊断能力;
4 有大数据策略、算法、可视化经验优先。
职责:
1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。
2.负责制定大数据平台调用约束和规范;
3.负责大数据方向技术难题的解决,以及代码质量的把控;
4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。
任职要求:
1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;
2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;
3.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;
4.精通Java服务器编程,熟悉JVM原理,对数据结构和算法设计有较为深刻的理解;
5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底层架构,熟悉原理、源码、集群部署,包括参数优化、Bug修复,贡献过代码或提交过bug者优先
6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;
7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;
8.具有良好的文档编写能力,可进行方案设计、架构设计。
职责:
1.负责过多个大数据项目的架构;
2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;
3.精通大数据实时流式处理的设计和应用;
3.熟悉大数据平台调优,具备大数据生产平台调优经验;
4.金融行业,运营商行业大数据架构经验更优;
5.研究大数据技术的最新发展,并引入到公司技术架构;
6.指导大数据工程师的日常工作,并培养技术骨干。
任职资格:
1.计算机相关专业本科或以上学历;
2.具有5年以上大数据相关开发经验;
3.具有2年以上带团队经验
4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;
5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;
6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;
7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;
8.沟通顺畅,重点突出,高效。
职责:
1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发
2.梳理公司各业务线常用的指标和维度,统一指标定义口径
3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率
4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性
5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地
岗位要求:
1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验
2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具
3.精通一种主流关系数据库(如mysql等),熟悉Hive开发
4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先
5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;
完成上级领导交办的其它各项工作。
任职资格:
985/211本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;
良好的团队合作精神,较强的沟通能力和学习能力 ;
职责:
1、大数据平台的规划、设计、实施,并优化数据库;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、对数据库性能分析与调优,排错,保证数据正确率;
4、配合其他部门进行的数据处理、查询,统计和分析工作;
5、完成公司下达的项目开发任务。
任职要求:
1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;
2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;
3、熟悉linux基本命令,精通SQL脚本的编写,有丰富的数据库管理、运维调优经验;
4、熟悉C++、Java、C#等开发语言;
5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;
6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;
7、快速处理系统突发事件的能力,较强的学习和创新能力;
8、良好的沟通能力和团队合作精神。
职责:
1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;
2、负责实时计算平台基础架构设计、部署、监控、优化升级;
3、制定项目数据仓库设计及实现规范,指导设计研发和部署;
4、协助策略和算法团队工作,保障数据挖掘建模和工程化;
5、深入研究大数据相关技术和产品,跟进业界先进技术。
任职要求:
1、3年以上大数据系统架构经验;
2、精通Hadoop HBase Hive Spark Flink Kafka Redis技术及其生态圈;
3、具备Java Scala Python等开发经验,熟悉数据挖掘和分析的策略与算法;
4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。
5、具备良好的系统分析能力、故障诊断能力;
6、有大数据策略、算法、可视化经验优先;
7、有在华为云存储产品和大数据产品的开发使用经验优先。
职责:
1、负责公司的大数据平台的数仓架构、系统架构设计;
2、负责带领团队完成舆情分析相关的挖掘方案设计;
3、负责大数据研发组团队管理;
4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;
5、负责研发规范制定,研究行业前沿技术;
6、参与产品规划及设计讨论。
任职要求:
1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有NLP或AI相关经验;
2、有很强的架构设计能力和良好的表达能力;
3、有一定的项目管理及团队管理能力;
4、精通Hadoop、Spark生态圈中的常用组件原理及应用;
6、理解媒体业务,精通数据仓库的规划和设计;
5、精通掌握Java或Python编程,有性能调优能力;
4、熟悉NLP算法原理及应用;
6、对新生事物或者新技术有浓厚兴趣,学习能力强。
职责
1、参与打造数据中内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;
2、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据公共层;
3、参与数据产品与应用的数据研发,发掘数据商业价值,打造极致体验的数据产品;
4、深入理解数据产品的使用场景,为业务方在可用性、成本上做更好的设计做参考;
5、团队成员的搭建与培养,任务划分,进度监控,代码规范,质量保证。
任职要求
1、熟悉数据仓库建模理论,3年以上相关领域实践经验;
2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;
3、精通Java、Python、Scala、go等开发语言中的1到2种;
4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;
5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;
6、对olap,多维分析及kylin熟悉的更好;
7、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;
8、对新技术,新事物有很好的探索和求知欲;
9、熟悉常规的机器学习算法:降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。
职责
1、负责公司大数据平台的整体架构设计,包含数据收集、数据存储、数据挖掘、数据输出;
2、负责规划从数据源到数据应用的整体流程,并参与用户产品和数据产品的决策;
3、负责海量数据分析、用户行为分析,构建用户数据模型;
4、负责解决核心技术问题,对技术方案进行决策;
5、技术团队管理。
6、熟悉手机IOS、安卓系统APP开发
任职资格
1、计算机相关专业毕业,本科以上学历;
2、5年以上相关工作经验,具备软件产品架构设计经验,熟练掌握高性能、高扩展性架构设计方法;
3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;
4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大数据技术,并能够基于上述项目开发大数据相关应用;
5、熟悉基本数据挖掘方法和技术;
6、强烈的敬业精神,良好的沟通与协调能力,能有效组织协调团队完成各类开发工作;
7、热爱技术,相信数据的价值,对大数据有深刻的理解。
职责:
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护,以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;
2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;
4、具有机器学习相关项目经验者优先。
★ 部门经理具体职责
★ 人事具体职责
★ 项目经理具体职责
★ 保安具体职责
★ 会计人员具体职责