《Hadoop大數據解決方案平臺技術培訓》課綱

Hadoop大數據解決方案平臺技術培訓【課程目標】
Hadoop作為開源的云計算平臺，為大數據處理提供了一整套解決方案，應用非常廣泛。Hadoop作為一個平臺框架，包括了如何存儲海量數據，如何處理海量數據，以及相應的數據庫、數據倉庫、數據流處理、數據分析和挖掘算法庫，等等。本課程主要介紹Hadoop的思想、原理，以及重要技術等相關知識。
通過本課程的學習，達到如下目的：
全面了解大數據處理技術的相關知識。
學習Hadoop的核心技術以及應用。
深入掌握Hadoop的相關工具在大數據中的使用。
掌握Hadoop的常用模塊的工作原理及開發(fā)應用技術。
掌握傳統(tǒng)數據中心向大數據中心轉換的關鍵技術。
掌握海量數據處理的性能優(yōu)化及維護技巧。
【授課時間】
2天時間
【授課對象】
網絡部、大數據系統(tǒng)開發(fā)部、大數據中心、網絡運維部等相關技術人員。
【授課方式】
原理精講+案例演練+開發(fā)實踐+系統(tǒng)優(yōu)化
【課程大綱】
Hadoop的基本框架
大數據時代面臨的問題
當前解決大數據的技術方案
Hadoop架構和云計算
Hadoop簡史及安裝部署
Hadoop設計理念和生態(tài)系統(tǒng)
HDFS分布式文件系統(tǒng)--海量數據存儲的搖籃
HDFS的設計目標
HDFS的基本架構
NameNode名稱節(jié)點
SecondaryNameNode第二名稱節(jié)點
DataNode數據節(jié)點
HDFS的存儲模型
數據塊存儲
元數據存儲（空間鏡像與編輯日志）
多副本存儲
多副本放置策略
多數據節(jié)點管理機制與交互過程
文件系統(tǒng)操作與管理
讀文件過程
寫文件過程（數據流管道）
數據完整性機制
數據校驗和
數據完整性掃描線程
元數據備份與合并
數據可靠性設計
安全模式（數據塊與節(jié)點映射關系管理）
心跳檢測機制（節(jié)點失效管理）
租約機制（多線程并發(fā)控制）
其它
HDFS的安全機制
負載均衡
文件壓縮
操作接口與編程接口
HDFS Shell
HDFS Commands
WebHDFS REST API
HDFS Java API
演練：HDFS文件操作命令
演練：HDFS編程示例
MapReduce分布式計算系統(tǒng)--海量數據處理的利器
MapReduce的三層設計理念
分布治之的設計思想（Map與Reduce）
數據處理引擎（編程模型）
運行時環(huán)境（任務調度與執(zhí)行）
MapReduce的基本架構
JobTracker作業(yè)跟蹤器
TaskTracker任務跟蹤器
MapReduce與HDFS的部署關系
MapReduce編程模型概述
編程接口介紹
Hadoop工作流實現原理
MapReduce作業(yè)調度機制
MapReduce作業(yè)生命周期
作業(yè)調度策略
靜態(tài)資源管理方案
數據并行處理機制（五步驟）
Input階段實現
Map階段實現
Shuffle階段實現
Reduce階段實現
Output階段
MapReduce容錯機制
任務失敗與重新嘗試
節(jié)點失效與重調度
單點故障
MapReduce性能優(yōu)化
優(yōu)化方向與思路
磁盤IO性能優(yōu)化
分片優(yōu)化
線程數量優(yōu)化
內存優(yōu)化
壓縮優(yōu)化
MapReduce操作接口
Job Shell
Web UI
案例演練：MapReduce編程示例
YARN：下一代通用資源管理系統(tǒng)
MRv1的局限性
YARN基本框架
NN HA：解決單點故障
HDFS Federation：解決擴展性問題
HBase非關系型數據庫--海量數據的黎明
HBase的使用場景
HBase的基本架構
Zookeeper分布式協(xié)調服務器
Master主控服務器
Region Server區(qū)域服務器
HBase的數據模型
HBase的表結構
行鍵、列鍵、時間戳
HBase的存儲模型
基本單位Region
存儲格式HFile數據分裂機制Split
數據合并機制Compaction
minor compaction
major compaction
HLog寫前日志
數據庫讀寫操作
數據庫寫入
數據庫讀取
三次尋址
HBase操作接口
Native Java API
HBase Shell
批量加載工具
HiveQL操作
HBase性能優(yōu)化
寫速度優(yōu)化
讀速度優(yōu)化
HBase集群監(jiān)控與管理
案例演練：HBase命令操作實例
Hive分布式數據倉庫--高級的編程語言
Hive是什么
Hive與關系數據庫的區(qū)別
Hive系統(tǒng)架構
用戶接口層
元數據存儲層
驅動層
Hive常用服務
Hive元數據的三種部署模式
Hive的命名空間
Hive數據類型與存儲格式
數據類型
TextFile/SequenceFile/RCFileHive的數據模型
管理表
外部表
分區(qū)表
桶表
HQL語言命令實例
DDL數據定義語言
DML數據操作語言
QUERY數據查詢語言
Hive自定義函數
基本函數（UDF）
聚合函數（UDAF）
表生成函數（UDTF）
Hive性能優(yōu)化
動態(tài)分區(qū)
壓縮
索引
JVM重用
案例演練：Hive命令操作實例
Sqoop數據交互工具--與傳統(tǒng)數據庫的橋梁
Sqoop是什么
Sqoop的架構和功能
Sqoop1架構
Sqoop2架構
數據雙向交換
數據導入過程
數據導出過程
數據導入工具與命令介紹
案例演練：Sqoop數據導入/導出實際操作
Pig數據流處理引擎--數據腳本語言
Pig介紹
命令行交互工具Grunt
Pig數據類型
Pig Latin腳本語言介紹
基礎知識
輸入和輸出
關系操作
調用靜態(tài)Java函數
Pig Latin高級應用
開發(fā)與測試Pig Latin腳本
開發(fā)工具
任務狀態(tài)監(jiān)控
調試技巧
腳本性能優(yōu)化
用戶自定義函數UDF
案例演練：Pig Latin腳本編寫、測試與運行操作
結束：課程總結與問題答疑。

傅一航老師的其它課程