資料倉庫工程師崗位的基本職責

  資料倉庫工程師負責資料平臺相關的管理工作,如資料研發規範、資料質量及穩定性保證等建設。下面是小編為您精心整理的。

  1

  職責:

  1、負責金融行業資料倉庫開發工作

  2、負責與多個應用對接的介面和框架設計

  3、充分理解產品需求,能夠結合需求進行任務設計,完成詳細設計文件的編寫。

  崗位要求:

  1. 從事資料倉庫及商業智慧***BI***領域工作至少3年以上,熟悉資料倉庫模型設計方法論,並有實際的模型設計經驗,有大型數倉建設經驗優先;

  2. 精通資料倉庫領域知識和管理技能,包括但不侷限於:元資料管理、資料質量、主資料管理、效能調優等;

  3.有主流商業/開源ETL工具***Informatica、Datastage、Kettle等***使用經驗者優先;

  4. 熟悉Hadoop生態相關技術並有相關實踐經驗,包括Hdfs、Map-Reduce、Hive、Hbase、Spark等,具備海量資料加工處理***ETL***相關經驗;

  5. 熟練使用java語言,對微服務架構有一定了解;

  6. 具有較強的團隊意識與良好的溝通能力及高度的工作責任感,熱愛技術,有很強的鑽研能力,樂於接受有挑戰性的任務;

  7、有團隊管理經驗優先。

  2

  職責:

  1、負責大資料開發工作;

  2、負責公司資料服務介面平臺的建設;

  3、參與打造資料中臺內容的規劃、設計、開發工作,實現高質量資料的互通與共享; 4、參與資料模型體系構建及資料主題設計和開發,搭建離線、近線、實時資料公共層;

  5、參與構建非結構化資料體系,進行網路資料爬取,資料清洗,特徵挖掘,統計分析,並結合應用場景實現落地。

  崗位要求:

  1、本科以上學歷,計算機、數學、統計學等相關專業;

  2、熟悉資料整合、資料倉庫、資料分析等全流程資料處理,具備開源或阿里大資料平臺實戰經驗,如hive/spark/Maxcompute;

  3、熟悉資料治理體系,包括資料模型、資料標準、資料質量等;

  4、熟悉常見的離線、實時、流式資料應用場景及架構;

  5、至少掌握一門開發語言,Java/Python;

  6、具備良好的溝通能力和設計文件編寫能力;

  7、懂資料探勘、知識圖譜的構建者優先。

  3

  職責:

  負責大資料資料倉庫的建設,根據資料倉庫及BI專案的需求,制定相關的設計方案和開發計劃;

  參與資料的分析處理和資料統計內容的架構設計與研發;

  組織專案組成員完成資料倉庫的開發和運維等;

  負責公司資料規範、資料標準、資料指標梳理與定義;

  協助技術人員完成資料管控平臺的搭建,完成資料規範管理體系到資訊平臺的落地實施;

  組織開展對資料平臺各模組的內容進行培訓;

  制定和審計業務系統資料資料庫模型設計規範;

  任職資格:

  有一定的網際網路資料倉庫經驗;

  深入瞭解 Hadoop 生態系統,熟悉HBase、Hive、Storm、spark等大資料開發工具中一種或幾種;

  具備大型資料倉庫架構設計、模型設計、ETL 設計的相關經驗;

  關係型資料庫原理基礎紮實,熟悉 MySQL/PostgreSQL等的使用和調優;

  有獨立設計資料倉庫經驗、熟悉資料倉庫相關理論知識者優先;

  4

  職責:

  1、深入理解業務,瞭解需求和痛點,為風控和業務部門提供資料支援;

  2、針對業務需求,參與資料倉庫需求分析,制定ETL相關設計方案和開發計劃;

  3、負責資料同步,資料整合清洗,以及資料質量的治理;

  4、資料倉庫模型設計,分層體系構建,元資料管理監控以及許可權控制。

  任職資格:

  1、重點院校統招本科及以上學歷,計算機基礎紮實;

  2、具有2年以上金融貸款類業務經驗;

  3、熟悉資料倉庫理論和資料庫建模,有redshift和AWS經驗優先;

  4、精通pgsql/mysql等資料庫,精通sql語言,具有資料庫優化/sql優化相關經驗;

  5、熟練掌握python/shell語言。

  5

  職責:

  1.參與打造資料中心內容的規劃、設計、開發和優化工作,實現高質量資料的互通與共享;

  2.參與資料模型體系構建及資料主題設計和開發,搭建離線、實時資料倉庫;

  3.參與資料產品與應用的資料研發;

  4.負責日常應用系統監控,發現異常問題及時分發,並跟進後續處理;

  5.編寫Python程式,或ETL技術完成日常資料抽取和整理任務,可獨立進行資料分析;

  崗位要求:

  1.熟悉ETL開發、資料倉庫設計流程,熟悉Oracle, MS SQL Server 等主流資料庫,表結構設計,儲存過程編寫;

  2.熟練掌握常用Linux命令,具備shell程式設計能力,熟練掌握Python程式語言

  3.具有較強的語言表達和溝通能力,良好的團隊合作精神

  4.邏輯思維能力強,對資料敏感,有較強學習能力和創新思維;

  5.具有高度的責任感和敬業精神,能夠承受較大的工作壓力