數據倉庫工程師的主要職責
數據倉庫工程師的主要職責1
職責:
1.負責企業(yè)級數據倉庫設計、規劃、建設、實(shí)施、管理,數據倉庫架構設計與數據開(kāi)發(fā),創(chuàng )建數據倉庫、數據集市
2.熟悉數據倉庫領(lǐng)域知識,從架構和技術(shù)層面參與建設數據倉庫,包括元數據管理、數據質(zhì)量、主數據管理、性能優(yōu)化和調優(yōu)。
3.負責數據倉庫平臺相關(guān)數據管理工作,如研發(fā)規范、質(zhì)量規范、保障規范的制定與推動(dòng)實(shí)施落地
4.配合和協(xié)助數據分析/數據挖掘形成底層/中間層的業(yè)務(wù)邏輯切片
任職資格:
1. 本科或碩士以上學(xué)歷,計算機工程相關(guān)專(zhuān)業(yè)
2. 熟悉大數據相關(guān)技術(shù)能力(Hadoop/MapReduce/Hive/Hbase等),熟練進(jìn)行數倉Hive建設和軟件架構,較強的數據抽象能力
3.精通SQL,具備海量數據處理和Hive/Spark性能調優(yōu)經(jīng)驗,3年以上大規模分布式數據倉庫建設經(jīng)驗
4.熟練使用Druid/Kylin之一進(jìn)行數據挖掘模型設計,熟練掌握Java/Scala之一,具備良好的coding素養和習慣,了解腳本語(yǔ)言,如Python、Shell等
5.強烈的責任心,工作態(tài)度積極主動(dòng),有較好的團隊精神和溝通能力,工作細致認真
數據倉庫工程師的主要職責2
職責:
1、負責制定數據倉庫平臺技術(shù)體系架構、數據架構及規范;
2、負責設計和實(shí)施公司業(yè)務(wù)數據的實(shí)時(shí)/離線(xiàn)數據ETL架構方案;
3、負責調度架構設計與開(kāi)發(fā);
4、負責數據倉庫平臺運維以及日常數據運營(yíng)等管理;
5、負責關(guān)鍵技術(shù)攻關(guān);
任職要求:
1、5年以上數據倉庫項目開(kāi)發(fā)經(jīng)驗,參與過(guò)數據倉庫架構設計,對ETL開(kāi)發(fā)流程、調度架構有深入理解;
2、精通mysql、 oralce 、greenplum等至少一種數據庫,豐富的SQL性能調優(yōu)經(jīng)驗;
3、熟練使用Java、Shell、Python、Perl等至少一種腳本語(yǔ)言;
4、熟悉數據治理理論,數據質(zhì)量、元數據管理流程和方法;
5、了解Hadoop/Hive/HBase/Spark/Storm等技術(shù)及其生態(tài)圈;
6、溝通能力好、責任心強,具有良好的團隊合作精神和敬業(yè)精神;
數據倉庫工程師的主要職責3
職責:
1、負責ETL開(kāi)發(fā)、作業(yè)調度和數據平臺建設
2、負責數據倉庫的設計、開(kāi)發(fā)和優(yōu)化,建立結構層次合理、靈活可擴展的數據倉庫
3、設計并研發(fā)BI分析相關(guān)的數據產(chǎn)品
4、結合對數據的理解和業(yè)務(wù)需求,對數據進(jìn)行整理、分析和挖掘
任職要求
1、計算機相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,有2年以上數據倉庫、ETL工作經(jīng)驗
2、有海量數據處理、ETL及作業(yè)調度優(yōu)化、數據倉庫建模等經(jīng)驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術(shù)使用經(jīng)驗
4、邏輯清晰,對數據敏感,深入了解業(yè)務(wù),具備自己獨特的想法并能提出合理的建議
數據倉庫工程師的主要職責4
職責:
1.參與傳統數倉和大數據數倉日常開(kāi)發(fā)工作;
2.參與大數據倉庫設計、規劃和開(kāi)發(fā);
3.參與日常工作的優(yōu)化,提出建設性意見(jiàn);
4.負責管理項目,負責板塊內的'資源協(xié)調、進(jìn)度管理、交付管理;
5.參與數據倉庫、數據集市體系架構的設計、規劃與開(kāi)發(fā), 參與大數據、ETL開(kāi)發(fā),sql性能優(yōu)化。
任職要求:
1.全日制本科,計算機等相關(guān)專(zhuān)業(yè)。3年以上數倉開(kāi)發(fā)經(jīng)驗,有銀行、金融從業(yè)經(jīng)驗者優(yōu)先。
2.2年以上項目管理經(jīng)驗,具備PMP證書(shū)優(yōu)先.
3.熟悉oracle/hive/spark,熟悉數據處理和性能優(yōu)化,有UDF自定義函數、MR開(kāi)發(fā)經(jīng)驗優(yōu)先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一種腳本語(yǔ)言。
數據倉庫工程師的主要職責5
職責:
1.建設公司級數據倉庫,并根據業(yè)務(wù)變化持續迭代和優(yōu)化;
2.對業(yè)務(wù)數據進(jìn)行梳理和抽象,建設數據倉庫的數據模型;
3.對業(yè)務(wù)數據進(jìn)行采集、清洗、轉換和存儲;
4.支撐BI、用戶(hù)數據、用戶(hù)運營(yíng)、用戶(hù)畫(huà)像、房源數據、推薦系統等核心數據平臺產(chǎn)品;
5.研究大數據前沿技術(shù),不斷持續優(yōu)化大數據平臺,為業(yè)務(wù)提供價(jià)值。
任職資格:
1.本科及以上計算機、統計學(xué)、數據庫、機器學(xué)習等相關(guān)專(zhuān)業(yè),5年以上數據相關(guān)工作;
2.對業(yè)務(wù)數據有敏銳的理解能力,并能快速梳理和分析業(yè)務(wù)數據;
3.熟練掌握SQL語(yǔ)言、熟悉MySQL,對Shell、Java(主要開(kāi)發(fā)語(yǔ)言)、Python編程非常熟悉;
4.熟悉常用的ETL技術(shù)和原則;精通數據倉庫數據庫設計規范和實(shí)操;
5.熟悉Hadoop、Hive、HBase、Spark、Storm等開(kāi)源平臺者優(yōu)先;
6.具有較強的分析和解決問(wèn)題的能力,良好的學(xué)習能力和團隊合作精神,追求價(jià)值實(shí)現,認同目標管理和敏捷。
【數據倉庫工程師的主要職責】相關(guān)文章:
安全工程師的主要職責09-19
硬件測試工程師的主要職責10-28
產(chǎn)品開(kāi)發(fā)工程師工作的主要職責01-24
功能測試工程師的主要職責03-21
Java初級開(kāi)發(fā)工程師的主要職責09-06
系統架構工程師的主要職責概述10-08
需求分析工程師的主要職責文本09-29
高級系統工程師崗位的主要職責01-24