亚洲 国产精品 日韩-亚洲 激情-亚洲 欧美 91-亚洲 欧美 成人日韩-青青青草视频在线观看-青青青草影院

　　在千鋒大數據培訓第二階段的學習剛剛結束，讓我感覺到時間總是像從指尖流過的細沙，在不經意間悄然滑落。那些往日的憂愁和悲傷，在似水流年的蕩滌下隨波輕輕地逝去，而留下的歡樂和笑靨就在記憶深處歷久彌新，而對于編程技術的學習，我想更多的還是需要去總結，才能更好的進步。

　　在千鋒大數據培訓第二階段的學習，第一部分就是HDFS文件存儲系統。就像我們操作系統的任意一種存儲系統一樣，這個模塊決定了文件存在哪里，怎么存取。只不過他被hadoop集成使用。

　　主要的進程有三個：NameNode 、DataNode 、Secondary、Name這三個類，是有main函數的;第二部分就是計算框架mapreduce，同hadoop1.x里的實現基本一致;第三部分是調度框架yarn。yarn的作用是什么?調度!這個詞是精髓，調度資源，調度任務。主要進程：resourceManager ApplicationMaster，NodeManager這三個類，也是有main函數的。resourceManager 接到客戶端提交的任務，會申請資源(container)，本質是在集群中的一臺機器上，與其上的NodeManager協調，在資源上啟動ApplicationMaster。然后把job的控制權交給ApplicationMaster。后者接管后，根據任務的描述信息，去向resourceManager 申請運行task的資源。根據resourceManager 的回饋(資源可用情況描述)，與可用的節點(NodeManager)協調，啟動task任務。task任務啟動，那么就使用計算框架內容執行具體的計算了，而hdfs文件讀取，貫穿于整個job執行階段，這些是第二階段總結。

　　或許你對以上的總結沒有特別清晰的理解，但要知道的就是學習編程技術一定是給自己學的，而不是應付學習，最重要的就是要擺正學習態度，才會有進步的空間和提升。