- 相關(guān)推薦
大數據開(kāi)發(fā)工程師崗位職責
在現實(shí)社會(huì )中，接觸到崗位職責的地方越來(lái)越多，崗位職責是指工作者具體工作的內容、所負的責任，及達到上級要求的標準，完成上級交付的任務(wù)。相信很多朋友都對制定崗位職責感到非�？鄲腊�，以下是小編精心整理的大數據開(kāi)發(fā)工程師崗位職責，歡迎閱讀與收藏。
1、參與大數據平臺相關(guān)的數據整合清洗、數據應用的設計和開(kāi)發(fā)
2.協(xié)助用戶(hù)完成用戶(hù)測試，解決測試發(fā)現的問(wèn)題。
任職要求：
1、本科及以上學(xué)歷，計算機或相關(guān)專(zhuān)業(yè)，2年以上DW/BI項目實(shí)施和開(kāi)發(fā)經(jīng)驗
2、熟悉大數據開(kāi)源產(chǎn)品的架構和技術(shù)細節，具有Hadoop、Mapreduce、HBase、Hive、Spark、Kafka、Redis等大數據平臺開(kāi)發(fā)經(jīng)驗
3、有金融、互聯(lián)網(wǎng)金融、電商、廣告等行業(yè)數據倉庫，數據挖掘經(jīng)驗
4、精通SQL，熟練使用至少一種數據庫，如Oracle、MySQL、PostgreSQL等
1、3年以上工作經(jīng)驗；至少有一個(gè)數據倉庫/數據集市/ODS項目開(kāi)發(fā)經(jīng)驗；
2、精通oracle數據庫的開(kāi)發(fā)（view/TRIGER/function/procedure/package）及SQL調優(yōu)，熟悉oracle數據庫的基礎原理；
3、精通ETL工具datastage開(kāi)發(fā)；
4、熟悉linux/Unix系統，有shell/Perl腳本開(kāi)發(fā)能力；
5、具備良好的分析能力和溝通協(xié)調能力，能夠承受較高的壓力，工作認真負責，積極主動(dòng)，有較高的效率；
6、熟悉一種主流商用調度工具TWS/control-M/AUTOSYS優(yōu)先；
7、熟悉Python開(kāi)發(fā)優(yōu)先；
崗位職責:
1、參與大數據平臺的搭建、開(kāi)發(fā)和維護工作；
2、負責大數據采集、清洗、整合等工作；
3、負責大數據平臺文本挖掘分析等工作；
4、負責BI以及報表開(kāi)發(fā)；
5、參與新技術(shù)選型和調研，解決不斷增長(cháng)的海量數據帶來(lái)的存儲和計算挑戰。
任職資格:
1、本科以上學(xué)歷，計算機、信息管理等相關(guān)專(zhuān)業(yè)；
2、深厚的Java功底，3年及以上的并發(fā)編程經(jīng)驗，參與過(guò)分布式高性能服務(wù)的設計開(kāi)發(fā)過(guò)程，有大規模分布式系統的實(shí)踐經(jīng)驗；
3、熟悉hadoop/kafka/flume/storm/spark/zookeeper等相關(guān)技術(shù)；
4、熟悉常見(jiàn)數據庫如oracle/mysql，有Nosql數據庫如mongoDb等經(jīng)驗者優(yōu)先；
5、熟悉redis或memcache者優(yōu)先；
6、對于分布式系統有一定了解，有海量數據處理經(jīng)驗；
7、具備較強學(xué)習能力，良好的溝通能力和團隊合作意識
1、負責基于Hadoop/Spark/Hive/Storm/kafka等分布式計算平臺實(shí)現離線(xiàn)分析、實(shí)時(shí)分析的計算框架；
2、負責平臺數據倉庫的選型、設計、開(kāi)發(fā)、維護工作；
3、負責上述計算平臺系統的可用性、容量、性能、監控、發(fā)布、安全等運維管理工作，確保系統持續穩定、高效運行；
4、協(xié)調大數據團隊高效的進(jìn)行數據處理、分析、統計、挖掘工作；
崗位要求：
1、熟悉服務(wù)器/存儲/網(wǎng)絡(luò )/OS等基礎架構基本元素，熟悉linux操作系統，具備較強的調優(yōu)排障能力；
2、熟悉Hadoop、Spark等大數據框架，有大型分布式計算開(kāi)發(fā)、部署等相關(guān)經(jīng)驗；
3、熟悉shell/python或其他腳本語(yǔ)言中的任意一門(mén)，有扎實(shí)的Java開(kāi)發(fā)基礎，了解jvm的運行機制以及相應調優(yōu)；
4、能夠獨立完成項目的系統分析、設計，并主導完成詳細設計和編碼的任務(wù)。
5、注重性能，良好的代碼管理及重構意識。具備獨立溝通需求，設計，架構，開(kāi)發(fā)的能力；
6、熟悉主流的數據存儲產(chǎn)品，有開(kāi)發(fā)經(jīng)驗者優(yōu)先。如：HBase，Hive，Redis，MongoDB，MySQL等；
7、有團隊管理經(jīng)驗者優(yōu)先。
【大數據開(kāi)發(fā)工程師崗位職責】相關(guān)文章：
數據開(kāi)發(fā)崗位職責02-01
數據庫開(kāi)發(fā)工程師的崗位職責20篇04-15
數據庫開(kāi)發(fā)工程師崗位職責(10篇)05-15