資料倉庫工程師崗位的基本職責
資料倉庫工程師負責資料平臺相關的管理工作,如資料研發規範、資料質量及穩定性保證等建設。下面是小編為您精心整理的。
1
職責:
1、負責金融行業資料倉庫開發工作
2、負責與多個應用對接的介面和框架設計
3、充分理解產品需求,能夠結合需求進行任務設計,完成詳細設計文件的編寫。
崗位要求:
1. 從事資料倉庫及商業智慧***BI***領域工作至少3年以上,熟悉資料倉庫模型設計方法論,並有實際的模型設計經驗,有大型數倉建設經驗優先;
2. 精通資料倉庫領域知識和管理技能,包括但不侷限於:元資料管理、資料質量、主資料管理、效能調優等;
3.有主流商業/開源ETL工具***Informatica、Datastage、Kettle等***使用經驗者優先;
4. 熟悉Hadoop生態相關技術並有相關實踐經驗,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具備海量資料加工處理***ETL***相關經驗;
5. 熟練使用java語言,對微服務架構有一定了解;
6. 具有較強的團隊意識與良好的溝通能力及高度的工作責任感,熱愛技術,有很強的鑽研能力,樂於接受有挑戰性的任務;
7、有團隊管理經驗優先。
2
職責:
1、負責大資料開發工作;
2、負責公司資料服務介面平臺的建設;
3、參與打造資料中臺內容的規劃、設計、開發工作,實現高質量資料的互通與共享; 4、參與資料模型體系構建及資料主題設計和開發,搭建離線、近線、實時資料公共層;
5、參與構建非結構化資料體系,進行網路資料爬取,資料清洗,特徵挖掘,統計分析,並結合應用場景實現落地。
崗位要求:
1、本科以上學歷,計算機、數學、統計學等相關專業;
2、熟悉資料整合、資料倉庫、資料分析等全流程資料處理,具備開源或阿里大資料平臺實戰經驗,如hive/spark/Maxcompute;
3、熟悉資料治理體系,包括資料模型、資料標準、資料質量等;
4、熟悉常見的離線、實時、流式資料應用場景及架構;
5、至少掌握一門開發語言,Java/Python;
6、具備良好的溝通能力和設計文件編寫能力;
7、懂資料探勘、知識圖譜的構建者優先。
3
職責:
負責大資料資料倉庫的建設,根據資料倉庫及BI專案的需求,制定相關的設計方案和開發計劃;
參與資料的分析處理和資料統計內容的架構設計與研發;
組織專案組成員完成資料倉庫的開發和運維等;
負責公司資料規範、資料標準、資料指標梳理與定義;
協助技術人員完成資料管控平臺的搭建,完成資料規範管理體系到資訊平臺的落地實施;
組織開展對資料平臺各模組的內容進行培訓;
制定和審計業務系統資料資料庫模型設計規範;
任職資格:
有一定的網際網路資料倉庫經驗;
深入瞭解 Hadoop 生態系統,熟悉HBase、Hive、Storm、spark等大資料開發工具中一種或幾種;
具備大型資料倉庫架構設計、模型設計、ETL 設計的相關經驗;
關係型資料庫原理基礎紮實,熟悉 MySQL/PostgreSQL等的使用和調優;
有獨立設計資料倉庫經驗、熟悉資料倉庫相關理論知識者優先;
4
職責:
1、深入理解業務,瞭解需求和痛點,為風控和業務部門提供資料支援;
2、針對業務需求,參與資料倉庫需求分析,制定ETL相關設計方案和開發計劃;
3、負責資料同步,資料整合清洗,以及資料質量的治理;
4、資料倉庫模型設計,分層體系構建,元資料管理監控以及許可權控制。
任職資格:
1、重點院校統招本科及以上學歷,計算機基礎紮實;
2、具有2年以上金融貸款類業務經驗;
3、熟悉資料倉庫理論和資料庫建模,有redshift和AWS經驗優先;
4、精通pgsql/mysql等資料庫,精通sql語言,具有資料庫優化/sql優化相關經驗;
5、熟練掌握python/shell語言。
5
職責:
1.參與打造資料中心內容的規劃、設計、開發和優化工作,實現高質量資料的互通與共享;
2.參與資料模型體系構建及資料主題設計和開發,搭建離線、實時資料倉庫;
3.參與資料產品與應用的資料研發;
4.負責日常應用系統監控,發現異常問題及時分發,並跟進後續處理;
5.編寫Python程式,或ETL技術完成日常資料抽取和整理任務,可獨立進行資料分析;
崗位要求:
1.熟悉ETL開發、資料倉庫設計流程,熟悉Oracle, MS SQL Server 等主流資料庫,表結構設計,儲存過程編寫;
2.熟練掌握常用Linux命令,具備shell程式設計能力,熟練掌握Python程式語言
3.具有較強的語言表達和溝通能力,良好的團隊合作精神
4.邏輯思維能力強,對資料敏感,有較強學習能力和創新思維;
5.具有高度的責任感和敬業精神,能夠承受較大的工作壓力