大資料架構師崗位的工作職責
大資料架構師需要負責深入理解業務需求,對業務建模,設計系統架構,滿足業務需求。以下是小編整理的。
1
職責:
1.負責資料倉庫建設,基於資料驅動構建企業級資料模型,根據架構設計進行各層資料模型開發。
2.面向PB級別超大規模資料處理和查詢需求,設計適合業務變化的合理的多維資料分析系統架構,滿足多樣性需求。
3.構建設計良好的資料流、排程系統、查詢引擎、監控系統,保證系統穩定高效執行,以實現資料的最大價值。
4.指導團隊成員開展資料倉庫建設。
5.參與重點專案的評審,參與企業資料管理體系建設。
任職要求:
1.統招本科及以上學歷。
2.從事資料倉庫領域至少5年以上,熟悉資料倉庫模型設計與ETL開發經驗 ,掌握Kimball的維度建模設計方法,具備海量資料加工處理***ETL***相關經驗 。
3.具有一定資料模型和資料架構基礎,熟悉hadoop\hive和常用資料庫。
4. 精通SQL,有一定的SQL效能調優經驗,熟悉hive sql的開發。
5.具有管理團隊開發經驗,具備良好的組織能力、協調能力及專案管理能力。
6.具有較好的文字功底及語言表達能力,能夠快速、準確地理解需求。
7.具有專研、快速學習和創新精神,具備獨立分析問題和解決問題的能力。
8.具有責任心,時間觀念強,工作獨立性強,有良好的團隊合作精神。
9.全日制普通本科畢業。
2
職責:
1、負責大資料平臺架構的規劃與設計;
2、負責大資料平臺技術框架的選型與技術難點攻關;
3、參與企業級大資料產品和應用規劃;
4、研究跟進大資料架構領域新技術並分享;
5、大資料處理和分析應用平臺的設計指導。
任職資格:
1、 具備深厚的分散式系統或資料庫系統的理論基礎,熟悉分散式計算系統的工作機制,具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;
2、熟悉BI平臺架構及相關專案標準,大資料解決方案包括Hadoop、Spark、Storm、機器學習等大資料平臺解決方案;
3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流資料資料庫;
4、 精通Linux/Unix環境,精通J java、scala、python、R中的一種或多種語言;
5、 具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鑽研精神,充滿激情,樂於接受挑戰;
6、大專及以上學歷,3年及以上工作經驗。
3
職責:
1. 規劃設計大資料平臺整體架構,規劃各種元件,並且指導技術團隊完成相關係統驗證、安裝、部署、配置;
2. 負責制定大資料平臺技術規範和介面規範,指導研發團隊按照規範進行系統開發;
3. 配合商務人員完成售前技術支援工作;
4. 完成其他與資料應用有關的技術工作;
任職要求:
1. 計算機相關專業本科學歷,5年以上工作經驗;
2. 對大資料技術棧有非常深刻的瞭解;具備架構設計的實際經驗;
3. 對資訊保安架構設計及實施有一定的經驗;
4. 熟悉Linux、Windows等作業系統的安裝配置;
5. 熟悉網際網路應用的安裝配置;熟悉常見大資料技術棧元件的安裝配置;熟悉Visio等繪圖工具的使用;
6. 有衛生資訊化建設經驗者優先;有容器安裝部署經驗者優先。
4
職責:
1.能夠帶領技術人員基於hadoop平臺進行海量資料應用系統開發;
2.負責結構化和非結構化資料的解析和清洗,海量資料查詢和報表展現;
3.負責超大規模資料平臺的搭建、維護和優化;
4.負責大資料採集、儲存框架研究,參與線上或離線資料儲存模型設計;
5.負責大資料平臺新技術的開發使用和效能優化,測試。
任職資格:
1.計算機相關專業本科及以上學歷;
2. 熟悉hadoop相關各種開源專案,比如HDFS/Hive/Hbase等有實際應用。***5年以上開發經驗者優先***;
3.兩年以上熟練編寫mapreduce程式碼經驗,有三年以上網路日誌分析、ETL經驗。熟悉日誌分析框架chukwa,flume,scribe者優先;
4.兩年以上海量資料儲存的安裝部署、優化、二次開發經驗,對大規模資料儲存、傳輸、處理等有豐富的經驗;
5.在資料探勘、資料密集型處理、分散式計算、網格計算領域有深入理論基礎;
6.具有較強的文件撰寫能力,較強的團隊精神和合作精神,對工作有熱情,能承受壓力。
5
職責
1、負責企業級大資料平臺、資料雲服務的設計與開發;
2、基於大資料生態圈,支援智慧交通等大資料場景應用實現;
3、負責公司大資料產品的設計、封裝與落地;
4、負責學習大資料相關演算法研究、實現與應用
任職要求
1、統招本科及以上學歷;2年以上智慧城市建設或交通行業資訊化相關工作經驗,3年以上大資料架構設計、開發經驗;
2、精通大資料生態圈的技術,包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備原始碼級問題解決和叢集優化改造能力;
3、熟悉常用程式語言,包括Java、Python、Scala等;
4、具有很強的技術研發和創新能力,能有效把握技術發展方向,有較強的執行能力、學習能力、溝通能力、適應能力,責任心強;