大資料架構師的工作職責描述

　　大資料架構師需要負責公司大資料產品的架構設計，包含資料收集、資料儲存、資料應用，並完成相關架構設計文件的撰寫。下面是小編為您精心整理的。

　　1

　　職責：

　　1、 基於公司大資料基礎和資料資產積累，負責大資料應用整體技術架構的設計、優化，建設大資料能力開放平臺;負責大資料應用產品的架構設計、技術把控工作。

　　2、 負責制定大資料應用系統的資料安全管控體系和資料使用規範。

　　3、 作為大資料技術方案到產品實現的技術負責人，負責關鍵技術點攻堅工作，負責內部技術推廣、培訓及知識轉移工作。

　　4、 負責大資料系統研發專案任務規劃、整體進度、風險把控，有效協同團隊成員並組織跨團隊技術協作，保證專案質量與進度。

　　5、 負責提升產品技術團隊的技術影響力，針對新人、普通開發人員進行有效輔導，幫助其快速成長。

　　任職資格：

　　1、 計算機、數學或相關專業本科以上學歷，5-10年工作經驗，具有大型系統的技術架構\應用架構\資料架構相關的實踐工作經驗。

　　2、 有分散式系統分析及架構設計經驗，熟悉基於計算叢集的軟體系統架構和實施經驗。

　　3、 掌握Hadoop/Spark/Storm生態圈的主流技術及產品，深入瞭解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

　　4、 掌握Mysql/Oracle等常用關係型資料庫，能夠對SQL進行優化。

　　5、 熟悉分散式系統基礎設施中常用的技術，如快取***Varnish、Memcache、Redis***、訊息中介軟體***Rabbit MQ、Active MQ、Kafka、NSQ***等;有實踐經驗者優先。

　　6、 熟悉Linux，Java基礎紮實，至少3-5年以上Java應用開發經驗，熟悉常用的設計模式和開源框架。

　　2

　　職責：

　　1、負責面向政府信領域的企業***不限於***大資料平臺、大資料應用等系統的架構設計、技術規劃、技術選型

　　2、跟進業界大資料技術發展動態，匹配行業應用訴求，制定大資料策略，提前識別關鍵技術並完成技術驗證;

　　3、支撐售前完成專案解決方案技術架構的設計及重要客戶的交流;

　　4、負責指導研發完成大資料產品的開發

　　5、帶領團隊進行產品核心技術的創新和積累

　　崗位要求：

　　1、熟悉BI和大資料領域的解決方案，具備該領域全面的技術積累，包括報表平臺，OLAP引擎和DB，ETL，資料倉庫建模和設計，海量分散式資料處理分析架構;

　　2、在大資料處理和分析領域具有3年或者以上的技術規劃、架構設計經驗，並有成功的專案實踐;

　　3、4年以上Hadoop實戰經驗，熟悉Hadoop底層檔案系統及分散式計算框架，具備傳統資料倉庫、MPP、Hadoop等混搭平臺架構的設計能力和資料建模能力，對大規模資料平行計算、傳輸、處理等有豐富的經驗;

　　4、有實際應用storm、spark、flume、kafka等專案經驗優先;

　　5、卓越的技術領導力，善於溝通、發現和解決產品需求階段、開發階段和測試階段的問題，並能提供合理解決方案，有大中型網際網路企業工作背景優先。

　　3

　　職責：

　　1、負責公司大資料平臺架構的技術選型和技術難點攻關工作;

　　2、依據行業資料現狀和客戶需求，完成行業大資料的特定技術方案設計與撰寫;

　　3、負責研究跟進大資料架構領域新興技術並在公司內部進行分享;

　　4、參與公司大資料專案的技術交流、解決方案定製以及專案的招投標工作;

　　5、參與公司大資料專案前期的架構設計工作;

　　任職要求：

　　1、計算機及相關專業本科以上，5年以上資料類專案***資料倉庫、商務智慧***實施經驗，至少2年以上大資料架構設計和開發經驗，至少主導過一個大資料平臺專案架構設計;

　　2、精通大資料生態圈的技術，包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive，具備資料統計查詢效能優化能力。熟悉星環大資料產品線及有過產品專案實施經驗者優先;

　　3、優秀的方案撰寫能力，思路清晰，邏輯思維強，能夠根據業務需求設計合理的解決方案;

　　4、精通ORACLE、DB2、mySql等主流關係型資料庫，熟悉資料倉庫建設思路和資料分層架構思想;

　　5. 熟練掌握java、R、python等1-2門資料探勘開發語言;

　　6. 熟悉雲服務平臺及微服務相關架構思想和技術路線，熟悉阿里雲或騰訊雲產品者優先;

　　7、有菸草或製造行業大資料解決方案售前經驗者優先;

　　8、能適應售前支援和專案實施需要的短期出差;

　　4

　　職責：

　　1、負責規劃大資料平臺及應用產品的需求和技術方案設計;

　　2、負責資料對接和對外服務設計、開發和維護，並能保證質量和效能;

　　3、負責基於大資料平臺的應用設計、開發和維護;

　　4、能從系統全域性和各子系統的角度思考可能存在的問題，並提出改進方案建議;

　　任職要求：

　　1、大學本科6年以上工作經驗，計算機相關專業。

　　2、至少4年以上的Java開發經驗，3年以上大資料應用系統的開發和設計經驗。

　　3、熟悉Hadoop生態圈技術體系， 對離線計算、記憶體計算和流式計算均有深刻理解， 如Hadoop、Storm、Spark三個中的任意二個， 能進行平臺和元件優化。

　　4、精通Hive、HBase倉庫設計，深刻理解MR執行原理和機制，能進行以提供高任務執行效率的優化。

　　5、精通Java開發，熟悉JVM調優， 對GC有深刻理解。

　　6、熟悉Linux、Shell、Kafka、Oracle、Mysql、Redis等相關技術， 能進行hbase可靠性診斷和維護。

　　7、快速研究和學習技術能力。

　　5

　　職責：

　　1、負責相關開源系統/元件的效能、穩定性、可靠性等方面的深度優化;

　　2、負責解決專案上線後生產環境的各種實際問題，保障大資料平臺在生產上的安全、平穩執行;

　　3、推動優化跨部門的業務流程， 參與業務部門的技術方案設計、評審、指導;

　　4、負責技術團隊人員培訓、人員成長指導。

　　5、應專案要求本月***在錦江區金石路316號新希望中鼎國際辦公，月底專案結束後在總部公司辦公

　　任職要求：

　　1、熟悉linux、JVM底層原理，能作為技術擔當，解決核心技術問題;

　　2、3年以上大資料平臺專案架構或開發經驗，對大資料生態技術體系有全面瞭解，如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

　　3、掌握git、maven、gradle、junit等工具和實踐， 注重文件管理、注重工程規範優先;

　　4、熟悉Java後臺開發體系，具備微服務架構的專案實施經驗，有Dubbo/Spring cloud微服務架構設計經驗優先;

　　5、性格開朗、善於溝通，有極強的技術敏感性和自我驅動學習能力，注重團隊意識。