大数据架构师岗位的基本职责
大数据架构师需要负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性。以下是学习啦小编整理的大数据架构师岗位的基本职责。
大数据架构师岗位的基本职责1
职责:
1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;
2、负责掌握第三方接口的调用和功能实现,持续优化服务性能和容量,并保证产品的兼容性和执行效率;
3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护,确保项目进度和质量;
4、协助制定测试计划,及时发现并修复BUG,实现服务端的性能优化。
任职资格:
1、大学本科3年以上工作经验,计算机相关专业;
2、熟悉软件项目开发流程,具有良好编码风格及文档编写能力;
3、熟悉Linux服务器相关技术,能够独立完成服务器部署,具有相关经验;
4、熟悉Hadoop/Spark框架,JAVA基础扎实;
5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式数据库;
6、熟悉SpringCloud,SSM,Docker,redis开发者优先;
7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;
8、了解Socket网络编程、MQTT等,有相应实践经验者优先;
9、有智能语音语义、知识图谱服务端开发经验者优先。
大数据架构师岗位的基本职责2
职责:
负责公司大数据产品架构的设计与实现;
配合大数据产品经理完成产品的快速研发与交付;
负责大数据产品架构的持续优化设计;
负责大数据产品核心组件设计;
负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;
为应用开发团队提供技术支撑。
任职要求:
本科及以上学历,3年以上的大数据开发经验、
2年以上大数据架构设计经验;
丰富的JAVA研发经验,精通JAVA,熟悉Python Scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;
熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);
精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有数据挖掘、机器学习相关应用或研究背景;
沟通能力较好,积极主动意识较强,责任心较强。
大数据架构师岗位的基本职责3
职责:
1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;
2、开发大数据平台的核心代码,负责大数据平台的搭建,完成系统调试、集成与实施,技术难题的解决,保证大数据产品的上线运行 ;
3、根据业务需求持续优化数据架构,保证产品的可靠性、稳定性 ;
4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现 ,分享技术经验;
5、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;
6、深入研究大数据相关技术和产品,跟进业界先进技术;
任职资格:
1.本科及以上学历,数学或计算机相关专业毕业,不少于5年的工作经验,具有扎实的计算机基础理论知识;
2.有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术
3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等,具备实际项目设计及开发经验;
4.熟悉sparkstreaming等相关的实时计算技术;
5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术,并具备多年的实际工作经验;
6.熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库,熟悉pl/sql编程;精通Linux操作系统,熟练使用Java;熟悉常用框架.如Spring、MyBatis等;
7.具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;
大数据架构师岗位的基本职责4
职责:
1、负责大数据项目或产品中架构设计、数据仓库公共层与应用层建模;
2、负责大数据项目或产品中业务需求的需求理解、数据指标维度需求梳理、数据探查和分析,指导技术团队进行工作;
3、负责大数据项目中的具体技术管理工作,完成验收目标。
4、发现并解决数据质量问题,推动整体数据质量提升。
任职要求:
1、计算机相关专业,3年以上数据研发与数据仓库相关开发经验;
2、熟练掌握维度建模方法,有大型数仓构建经验优先;
3、精通Oracle/DB2/Teradata等主流数据库编程,有较好的SQL性能调优经验;
4、扎实的编程基础和动手能力,精通至少一门编程语言,有大数据、分布式开发经验尤佳;
5、有良好沟通协调能力,有带领小团队或项目管理工作经验;
6、具备很强的责任心,做事细致、严谨,同时需要具备较强的沟通和学习能力,能快速理解行业的需求,对农业等行业数据应用有经验者优先;
7、能够接受出差。
大数据架构师岗位的基本职责5
职责:
1、负责大数据项目技术架构评估与设计;
2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;
3、负责对使用关键技术的预研和选型,完成PoC;
4、指导工程师完成开发工作,并能分享技术经验。
任职要求:
1、3年以上相关工作经验,其中具有1年以上架构设计经验
2、熟悉商业智能系统相关技术,如 ETL、数据仓库、OLAP开发;
3、精通设计模式,熟悉面向服务架构(SOA)以及其它常用软件架构思想,有SOA方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。
4、相关技术栈:Java /Scala/Flume/Hive/Kafka/HBase/ Spark/Storm/Redis;
5、有扎实的计算机基础,熟悉Java等编程语言;