大數據開(kāi)發(fā)工程師的崗位職責
在現在的社會(huì )生活中，大家逐漸認識到崗位職責的重要性，崗位職責的明確對于企業(yè)規范用工、避免風(fēng)險是非常重要的。制定崗位職責的注意事項有許多，你確定會(huì )寫(xiě)嗎？以下是小編整理的大數據開(kāi)發(fā)工程師的崗位職責，歡迎閱讀與收藏。
大數據開(kāi)發(fā)工程師的崗位職責1
職責
1、負責基于hadoop/spark生態(tài)系統、億級別數據的全文檢索，搜索引擎的產(chǎn)品研發(fā)；
2、基于海量用戶(hù)行為數據和其他數據，分析和研究數據與實(shí)際業(yè)務(wù)的關(guān)聯(lián)關(guān)系，并與實(shí)際業(yè)務(wù)應用相結合開(kāi)發(fā)；
3、負責大數據分析需求設計和開(kāi)發(fā)，承擔數據抽取、清洗、轉化等數據處理程序開(kāi)發(fā)。
任職要求：
1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術(shù)及其生態(tài)圈，具備相關(guān)項目開(kāi)發(fā)經(jīng)驗，有數據實(shí)時(shí)計算項目經(jīng)驗優(yōu)先；
2、有搜索引擎全文檢索開(kāi)發(fā)經(jīng)驗，如：elasticsearch、solr；
3、熟悉python、R任意一門(mén)開(kāi)發(fā)語(yǔ)言；
4、有SAAS，PAAS企業(yè)級應用平臺或者互聯(lián)網(wǎng)，金融等大型應用平臺開(kāi)發(fā)經(jīng)驗優(yōu)先考慮；
5、本科及以上學(xué)歷，計算機/軟件工程/統計學(xué)/數學(xué)等相關(guān)專(zhuān)業(yè)，互聯(lián)網(wǎng)/金融等行業(yè)3年以上工作經(jīng)驗；
6、擁有良好的代碼習慣，要求結構清晰、命名規范、邏輯性強、代碼冗余率低，代碼注釋清晰；
7、熟悉使用svn，禪道等項目管理工具，有良好的團隊協(xié)作開(kāi)發(fā)經(jīng)驗、
大數據開(kāi)發(fā)工程師的崗位職責2
職責：
1、負責所分管團隊的.團隊建設和日常管理工作；
2、負責核心技術(shù)問(wèn)題攻關(guān)和性能優(yōu)化，持續維護和引進(jìn)最新的大數據技術(shù)到城市大數據平臺中，支撐城市級大數據平臺業(yè)務(wù)；
3、承擔城市數據標準編制和數據模型的設計；
4、承擔項目中數據相關(guān)方案設計及數據團隊管理；
5、參與城市大數據項目中數據采集、加工過(guò)程、分析挖掘模型算法的實(shí)施工作。
任職資格：
1、1年以上數據開(kāi)發(fā)工作經(jīng)驗，熟練使用SQL查詢(xún)引擎；
2、熟悉Hadoop、Mpp、Oracle等至少一種數據倉庫工具
3、具備良好的編程語(yǔ)言基礎如：java/python/scala/c++/shell等
4、二本以上學(xué)歷，計算機相關(guān)專(zhuān)業(yè)或者有相關(guān)培訓經(jīng)歷者優(yōu)先
5、個(gè)人素質(zhì)要求：目光長(cháng)遠、態(tài)度誠懇、崗位有穩定性，能夠長(cháng)期培養、具備很強的自學(xué)能力、承壓能力強、接受出差支援項目等工作。對數據工作具備濃厚的興趣并有明確職業(yè)規劃，優(yōu)秀的學(xué)習能力和團隊溝通協(xié)作能力，對新技術(shù)有濃厚興趣并有鉆研精神。
大數據開(kāi)發(fā)工程師的崗位職責3
職責：
1、負責數據分析、加工、清理，相關(guān)處理腳本和程序的開(kāi)發(fā)；
2、負責開(kāi)發(fā)大數據工具，如報表平臺、多維度分析工具、ETL平臺、調度平臺的研發(fā)；
3、負責分布式大數據平臺應用開(kāi)發(fā)（Hadoop/Spark/Hive/HBase等）；
4、負責大數據相關(guān)平臺的維護、優(yōu)化。
任職要求：
1、本科及以上學(xué)歷，計算機相關(guān)專(zhuān)業(yè)，具有5年及以上的大數據ETL或數據開(kāi)發(fā)經(jīng)驗，熟悉大數據組件的維護以及調優(yōu)；
2、熟練掌握Java或Python編程語(yǔ)言，熟悉大數據架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術(shù)中的一個(gè)或者多個(gè)，熟悉Sqoop、DataX等數據導入工具；
3、能熟練使用Hive、HBase、Spark等加工和處理數據，有海量數據處理經(jīng)驗；
4、有數據倉庫開(kāi)發(fā)經(jīng)驗/BI系統開(kāi)發(fā)經(jīng)驗優(yōu)先；
5、有電商行業(yè)數據處理與分析平臺開(kāi)發(fā)經(jīng)驗者優(yōu)先。
大數據開(kāi)發(fā)工程師的崗位職責4
職責：
1、依據客戶(hù)需求完成大數據項目的數據分析及建模；
2、進(jìn)行大數據核心算法的編寫(xiě)；
3、參與項目的需求分析、系統設計、編碼工作；
4、參與開(kāi)發(fā)過(guò)程中相關(guān)新技術(shù)的研究和驗證。
5、協(xié)助承擔架構性的體系設計和改造工作，配合制定技術(shù)實(shí)施方案，按照總體設計組織子系統的設計和開(kāi)發(fā)。
任職要求：
1、精通數據建模、數據體系建設，具備數據倉庫架構設計、模型設計和處理性能調優(yōu)等相關(guān)經(jīng)驗；
2、具有豐富的基于hadoop體系的數據平臺、數據倉庫建設經(jīng)驗，精通基于hadoop源碼的開(kāi)發(fā)、優(yōu)化改造及成功應用案例；
3、精通hadoop生態(tài)體系各項技術(shù)，如kafka、flume、hive、impala、hbase、spark等，具有100+節點(diǎn)hadoop集群的開(kāi)發(fā)、運維經(jīng)驗；
4、具有對大型hadoop集群的硬件規劃能力；
大數據開(kāi)發(fā)工程師的崗位職責5
職責：
1、從事Hadoop、Spark、Hbase、hive等分布式大數據產(chǎn)品的設計和開(kāi)發(fā)；
2、針對部門(mén)大數據業(yè)務(wù)進(jìn)行大數據分析、挖掘等產(chǎn)品應用的開(kāi)發(fā)；
3、大數據平臺各類(lèi)數據業(yè)務(wù)抽象及模型化；
4、參與大數據管理平臺的開(kāi)發(fā)及維護；
5、負責大數據平臺數據及相關(guān)的應用開(kāi)發(fā)，調優(yōu)及維護；
6、為項目相關(guān)開(kāi)發(fā)人員提供大數據技術(shù)指導及解決大數據平臺應用中遇到的技術(shù)難題；
7、良好的團隊合作與溝通能力。
任職要求：
1、本科及以上學(xué)歷，2年以上大數據應用開(kāi)發(fā)經(jīng)驗；
2、具備Java、Python、Scala其中兩種語(yǔ)言的開(kāi)發(fā)經(jīng)驗；
3、了解泛Hadoop大數據生態(tài)圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術(shù)，并有實(shí)際的項目開(kāi)發(fā)經(jīng)驗，有相關(guān)源碼研究者優(yōu)先；
4、具備ETL開(kāi)發(fā)與運維能力，有Flume、kettle經(jīng)驗優(yōu)先；
5、熟悉大數據平臺的搭建過(guò)程，熟悉數據處理流程，有TB級以上數據處理經(jīng)驗優(yōu)先，有實(shí)時(shí)數據處理經(jīng)驗者優(yōu)先；
6、熟悉離線(xiàn)和實(shí)時(shí)數據處理流程，熟練使用Spark，Flink處理TB級數據優(yōu)先；
7、熟悉Linux系統環(huán)境，有shell等腳本編寫(xiě)經(jīng)驗，熟悉Mysql、PostgreSql、Oracle等常用關(guān)系數據庫，熟練編寫(xiě)SQL語(yǔ)句；
8、熟悉Yarn，Kubernetes，Azkaban等資源調度框架者優(yōu)先；
9、熟悉Datax的二次開(kāi)發(fā)，并有實(shí)際開(kāi)發(fā)經(jīng)驗優(yōu)先。
【大數據開(kāi)發(fā)工程師的崗位職責】相關(guān)文章：
粵公網(wǎng)安備 44010602002712