恒豐銀行大數據集群實施與運維

數據流轉與清洗

北京赛车裙24加稳睁 www.bvksmf.com.cn 通過ETL(kettle、sqoop2)將RDBMS中的數據抽取到hadoop平臺,經過數據稽核建立外表清除臟數據,再結合Hive中自定義UDF、UDAF、UDTF函數實現用戶定制數據的轉換和查詢。

集群運維

集群的升級、客戶故障排錯、統計Hive表結構、PL/SQL的優化、IDC日常巡檢(機房清潔巡檢、機柜電力巡檢、空調設備巡檢、設備電源狀態巡檢)。

完成目標

由于星環科技的TDH較好的支持了SQL2003標準和PL/SQL語法,恒豐銀行大數據應用項目從2015年5月開始,僅花費10天時間,完成了數據倉庫平臺從Oracle產品到Hadoop平臺的遷移工作,整體處理能力獲得了5-10倍的提升,解決了以往大體量數據統計分析應用相應很慢的問題,極大減輕各應用系統現有數據庫的處理資源瓶頸問題。