大數據開(kāi)發(fā)工程師崗位的主要職責概述
在充滿(mǎn)活力，日益開(kāi)放的今天，越來(lái)越多地方需要用到崗位職責，崗位職責具有提高內部競爭活力，更好地發(fā)現和使用人才的作用。想必許多人都在為如何制定崗位職責而煩惱吧，以下是小編精心整理的大數據開(kāi)發(fā)工程師崗位的主要職責概述，僅供參考，希望能夠幫助到大家。
大數據開(kāi)發(fā)工程師崗位的主要職責概述1
職責：
1、規劃及建設大數據平臺;
2、負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發(fā)以及維護、優(yōu)化工作;
3、負責分析、挖掘、對抗各種產(chǎn)品安全層面的惡意行為;
4、參與項目的系統設計和核心代碼開(kāi)發(fā)，指導和培訓其他工程師;
5、 整理和提交技術(shù)文檔，負責核心功能模塊的代碼編寫(xiě)和測試工作。
崗位要求：
1、計算機、統計學(xué)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，具有深厚的數學(xué)、統計學(xué)和計算機相關(guān)知識，精通數據倉庫和數據挖掘的相關(guān)技術(shù)，3年以上大數據開(kāi)發(fā)相關(guān)經(jīng)驗;
2、具有非常扎實(shí)的Java基礎，熟悉Shell、Python、R、Scala等一種以上語(yǔ)言;
3、算法基礎扎實(shí)，熟悉常見(jiàn)的數據結構，了解分布式算法和分布式系統的技術(shù)原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數據相關(guān)軟件有充分的了解，并且有實(shí)踐經(jīng)驗，能解決應用中的復雜問(wèn)題;
5、熟悉大數據處理相關(guān)技術(shù)，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過(guò)Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務(wù)中進(jìn)行定制改造者優(yōu)先;
7、具有海量數據處理、數據挖掘、數據分析相關(guān)項目的工作經(jīng)驗者優(yōu)先。
大數據開(kāi)發(fā)工程師崗位的主要職責概述2
職責：
1、參與大數據架構的.規劃設計，參與業(yè)務(wù)建模及數據化運營(yíng)平臺的搭建、運維，對業(yè)務(wù)流程與大數據的結合提出建議和解決方案;
2、完成基于大數據平臺的業(yè)務(wù)項目的開(kāi)發(fā)、實(shí)施和維護工作;
3、負責解決大數據平臺建設過(guò)程中的技術(shù)難點(diǎn)和性能調優(yōu)工作;
4、參與數據倉庫設計，根據業(yè)務(wù)需求實(shí)現高效率高靈活性的查詢(xún)，數據分析，數據挖掘;
5、負責高吞吐高可用數據實(shí)時(shí)和離線(xiàn)采集，高并發(fā)的大數據業(yè)務(wù)架構設計
6、負責研發(fā)技術(shù)發(fā)展方向，新技術(shù)領(lǐng)域的探索，引入并驗證數據平臺領(lǐng)域新技術(shù)，提供系統效能
7、對大數據技術(shù)及開(kāi)源框架充滿(mǎn)熱情，具有鉆研精神，能自我學(xué)習。
任職資格：
1、具有5年Java開(kāi)發(fā)經(jīng)驗，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。
2、具有2年以上的大數據開(kāi)發(fā)經(jīng)驗，熟悉大數據、數據倉庫，分布式架構技術(shù)理論，具有大數據整體系統架構設計和實(shí)戰經(jīng)驗，熟悉CDH、HDP、TDH至少一款大數據產(chǎn)品，有從無(wú)到有建設大數據平臺經(jīng)驗者優(yōu)先;
3、熟悉大數據組件的開(kāi)發(fā)、搭建、維護以及性能優(yōu)化;
4、較強的開(kāi)發(fā)能力，必須熟練使用相關(guān)開(kāi)發(fā)語(yǔ)言(Java/Python/Scala/Shell等)，熟悉大數據生態(tài)、關(guān)系數據庫和NOSQL數據庫、Linux等相關(guān)知識，能夠獨立完成并指導初級開(kāi)發(fā)人員完成大數據相關(guān)的技術(shù)實(shí)現和調優(yōu);
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術(shù)，能閱讀源碼跟蹤問(wèn)題。
6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實(shí)際項目開(kāi)發(fā)經(jīng)驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術(shù)和組件，熟練應用開(kāi)發(fā)，必須熟悉復雜數據查詢(xún)性能調優(yōu)，包括實(shí)時(shí)查詢(xún)和離線(xiàn)批處理查詢(xún)，服務(wù)器和生態(tài)組件的參數優(yōu)化。
8、精通高級算法并有與業(yè)務(wù)結合落地優(yōu)先;
9、扎實(shí)的獨立分析問(wèn)題、解決問(wèn)題的能力，具備良好的需求理解能力、溝通協(xié)調能力和團隊合作精神;有很強的數據設計抽象能力，善于從復雜的數據問(wèn)題中找到關(guān)鍵路徑，并且擅于跟業(yè)務(wù)團隊就業(yè)務(wù)問(wèn)題進(jìn)行良好的溝通，能推動(dòng)業(yè)務(wù)的指標化、量化;
10、有較好的學(xué)習能力、團隊協(xié)作精神，認真細心，有強烈的責任心，愛(ài)崗敬業(yè)，有較高抗壓能力，有較好的工作穩定性。
大數據開(kāi)發(fā)工程師崗位的主要職責概述3
職責：
1、參與大規模數據快速查詢(xún)系統的架構設計和開(kāi)發(fā);
2、大規模數據挖掘和機器學(xué)習算法的實(shí)現;
3、在線(xiàn)和離線(xiàn)海量數據分析平臺的開(kāi)發(fā);
4、研究大數據前沿技術(shù)，提升系統的運維效率;
5、實(shí)現大數據基礎架構平臺的自動(dòng)化運維。
任職要求：
1、計算機相關(guān)專(zhuān)業(yè),具有3年以上大數據開(kāi)發(fā)經(jīng)驗，熟悉Java,Linux;
2、熟悉Hadoop大數據處理系統的開(kāi)發(fā),搭建及部署者優(yōu)先
3、熟練地處理數據模型、數據ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進(jìn)行Mapreduce程序開(kāi)發(fā)者優(yōu)先;
5、熟悉分布式系統概念、架構，有大規模分布式系統設計、實(shí)現、部署等經(jīng)驗;
6、有較強的書(shū)面與口頭溝通表達能力，獨立分析、解決問(wèn)題的能力。
【大數據開(kāi)發(fā)工程師崗位的主要職責概述】相關(guān)文章：
融資總監崗位的主要職責概述09-15
大數據開(kāi)發(fā)工程師的基本職責-崗位職責01-22
產(chǎn)品開(kāi)發(fā)工程師工作的主要職責01-24
Java初級開(kāi)發(fā)工程師的主要職責09-06
融資經(jīng)理的主要職責概述10-28