很多想學大數(shù)據(jù)的同學,對于大數(shù)據(jù)學哪些課程很迷茫,不知道從何下手。下面,系里的大數(shù)據(jù)老師帶大家看看,學習大數(shù)據(jù)需要學習哪些具體的課程?
第一,大數(shù)據(jù)技術的基礎
1.linux操作基礎
linux系統(tǒng)的介紹和安裝
常見的linux命令-文件操作
常見的linux命令——用戶管理和權限
常見的linux命令-系統(tǒng)管理
Linux通用命令-無秘密登錄配置和網(wǎng)絡管理
linux上常見的軟件安裝
Linux本地yum源碼配置和yum軟件安裝
Linux防火墻配置
Linux高級文本處理命令剪切、sed、awk
Linux定時任務crontab
2.外殼編程
外殼編程-基本語法
外殼編程–過程控制
外殼編程–功能
外殼編程–綜合案例–自動化部署腳本
3.內(nèi)存數(shù)據(jù)庫redis
redis和nosql簡介
Redis客戶端連接
redis對象緩存字符串數(shù)據(jù)結(jié)構(gòu)的操作與應用
redis任務調(diào)度隊列的列表式數(shù)據(jù)結(jié)構(gòu)操作及應用實例
redis購物車散列和集合數(shù)據(jù)結(jié)構(gòu)的操作及應用實例
再生列排序集數(shù)據(jù)結(jié)構(gòu)的操作及應用實例
4.布料協(xié)調(diào)服務動物園管理員
動物園管理員介紹及應用場景
動物園管理員集群安裝和部署
動物園管理員的數(shù)據(jù)節(jié)點和命令行操作
動物園管理員的java客戶端基本操作和事件監(jiān)控
動物園管理員核心機制和數(shù)據(jù)節(jié)點
Zookeeper應用案例分布式共享資源鎖
Zookeeper應用案例–服務器啟動和關閉的動態(tài)感知
動物園管理員的數(shù)據(jù)一致性原則和領導選舉機制
5.java的高級特性得到了增強
Java多線程基礎知識
Java同步關鍵詞詳解
Java并發(fā)契約線程池及其在開源軟件中的應用
Java并發(fā)契約消息團隊及其在開源軟件中的應用
Java JMS技術
Java動態(tài)代理反射
6.輕量級RPC框架開發(fā)
RPC原理學習
Nio原理學習
Netty通用API學習
輕量級RPC框架的需求分析和原理分析
輕量級RPC框架的開發(fā)
第二,離線計算系統(tǒng)
1.hadoop QuickStart
Hadoop背景介紹
分布式系統(tǒng)概述
離線數(shù)據(jù)分析流程介紹
集群建筑
群集使用初步
2.HDFS增強
HDFS的概念和特征
HDFS shell(命令行客戶端)操作
HDFS的工作機制
NAMENODE的工作機制
java的api操作
案例1:開發(fā)外殼收集腳本
3.MAPREDUCE詳解
自定義hadoop的RPC框架
Mapreduce編程規(guī)范和示例編寫
Mapreduce程序運行模式及調(diào)試方法
mapreduce程序運行模式的內(nèi)在機制
mapreduce計算框架的主要工作流程
自定義對象的序列化方法
MapReduce編程案例
4.MAPREDUCE增強
Mapreduce排序
自定義分區(qū)程序
Mapreduce的組合器
mapreduce工作機制詳解
5、MAPREDUCE實戰(zhàn)
映射任務并行機制——文件切片
Maptask并行度設置
倒排索引
共同的朋友
6.聯(lián)盟的介紹和蜂巢的使用
Hadoop的高可用性機制
高可用性集群的安裝和部署
集群運維測試中數(shù)據(jù)節(jié)點的動態(tài)上下行
集群運維測試的節(jié)點狀態(tài)切換管理
集群運行維護測試中數(shù)據(jù)塊的平衡
HDFS-房委會轄下的空氣污染指數(shù)變動
蜂巢介紹
蜂巢建筑
蜂巢安裝部署
Hvie首次使用
7.蜂巢增強和水槽介紹
HQL-DDL基本語法
HQL-DML基本語法
HIVE的Join
HIVE參數(shù)配置
HIVE自定義函數(shù)和轉(zhuǎn)換
HIVE執(zhí)行HQL的實例分析
HIVE最佳實踐注意點
HIVE優(yōu)化策略
HIVE實戰(zhàn)案例
水槽介紹
水槽的安裝和部署
案例:收集HDFS名錄
案例:向HDFS收集文件
第三,流量計算
1.從入門到精通的風暴
什么是風暴
風暴建筑分析
風暴建筑分析
風暴編程模型,元組源代碼,并發(fā)分析
風暴字數(shù)案例及常用應用編程接口分析
風暴集群的實際部署
風暴+卡夫卡+Redis的業(yè)務指標計算
Storm源代碼下載和編譯
Strom集群啟動和源代碼分析
風暴任務提交和源代碼分析
風暴數(shù)據(jù)傳輸過程分析
風暴通信機制分析
風暴消息的容錯機制及源代碼分析
風暴多流項目分析
編寫自己的流式任務執(zhí)行框架
2.風暴上下游及架構(gòu)整合
什么是消息隊列
Kakfa核心組件
卡夫卡集群部署實戰(zhàn)與共同指揮
梳理卡夫卡的配置文件
Kakfa JavaApi學習
卡夫卡文件存儲機制分析
Redis基礎和獨立環(huán)境部署
Redis數(shù)據(jù)結(jié)構(gòu)及典型案例
水槽入門
水槽+卡夫卡+風暴+Redis融合
第四,內(nèi)存計算系統(tǒng)Spark
1.scala編程
scala編程介紹
Scala相關軟件安裝
Scala基本語法
Scala方法和函數(shù)
scala函數(shù)式編程的特點
Scala數(shù)組和集合
Scala編程練習(獨立字數(shù)統(tǒng)計)
Scala面向?qū)ο?/p>
Scala模式匹配
演員編程入門
選項和部分功能
實戰(zhàn):演員并發(fā)字數(shù)
真皮化
隱式轉(zhuǎn)換
2.AKKA和剛果愛國者聯(lián)盟
Akka并發(fā)編程框架
實戰(zhàn):RPC編程實戰(zhàn)
3.火花快速啟動
火花引入
星火環(huán)境建設
RDD簡介
RDD的變革與行動
實戰(zhàn):RDD綜合演練
RDD高級操作員
自定義分區(qū)程序
實戰(zhàn):網(wǎng)站訪問量
廣播變量
實戰(zhàn):根據(jù)IP計算歸屬
自定義排序
使用JDBC·RDD的數(shù)據(jù)導入和導出
世界計數(shù)執(zhí)行過程的詳細說明
4.RDD詳解
RDD屬地
RDD緩存機制
RDD檢查站機制
火花任務執(zhí)行過程分析
RDD舞臺部
5.Spark-Sql應用程序
實現(xiàn)
火花與蜂巢結(jié)合
數(shù)據(jù)幀
實戰(zhàn):火花-SQL和數(shù)據(jù)幀案例
6.SparkStreaming應用于實戰(zhàn)
火花流簡介
火花流編程
實戰(zhàn):StageFulWordCount
結(jié)合火花流的水槽
卡夫卡結(jié)合火花流
窗口函數(shù)
推出ELK技術堆棧
彈性搜索安裝和使用
風暴建筑分析
風暴編程模型,元組源代碼,并發(fā)分析
風暴字數(shù)案例及常用應用編程接口分析
7.Spark核心源代碼分析
Spark源代碼編譯
火花遠程調(diào)試
Spark任務提交行流程源代碼分析
Spark通信過程源代碼分析
SparkContext創(chuàng)建過程的源代碼分析
司機和客戶之間溝通過程的源代碼分析
工人啟動執(zhí)行器進程的源代碼分析
執(zhí)行者和驅(qū)動者之間注冊過程的源代碼分析
執(zhí)行器注冊驅(qū)動的源代碼分析
調(diào)度器和任務調(diào)度器的源代碼分析
Shuffle過程的源代碼分析
任務執(zhí)行過程的源代碼分析
5.機器學習算法
1.python和numpy庫
機器學習導論
機器學習和python
Python語言-入門
Python語言-詳細數(shù)據(jù)類型
Python語言——流量控制語句
Python語言-函數(shù)用法
Python語言——模塊和包
Phthon語言——面向?qū)ο?/p>
Python機器學習算法庫-numpy
機器學習必需的數(shù)學知識——概率論
2.常見算法的實現(xiàn)
Knn分類算法——算法原理
Knn分類算法-代碼實現(xiàn)
Knn分類算法-手寫識別案例
譜系回歸分類算法——算法原理
譜系回歸分類算法——算法實現(xiàn)和演示
樸素貝葉斯分類算法——算法原理
樸素貝葉斯分類算法——算法實現(xiàn)
樸素貝葉斯分類算法——垃圾郵件識別應用案例
Kmeans聚類算法——算法原理
Kmeans聚類算法——算法實現(xiàn)
Kmeans聚類算法——地理位置聚類應用
決策樹分類算法——算法原理
決策樹分類算法——算法實現(xiàn)
好吧,那就是大數(shù)據(jù)要學的課程。學生們幫助你了嗎?更多關于大數(shù)據(jù)的問題,請找鼓童先生一對一在線指導。
1.《大數(shù)據(jù)課程 大數(shù)據(jù)需要學習哪些課程》援引自互聯(lián)網(wǎng),旨在傳遞更多網(wǎng)絡信息知識,僅代表作者本人觀點,與本網(wǎng)站無關,侵刪請聯(lián)系頁腳下方聯(lián)系方式。
2.《大數(shù)據(jù)課程 大數(shù)據(jù)需要學習哪些課程》僅供讀者參考,本網(wǎng)站未對該內(nèi)容進行證實,對其原創(chuàng)性、真實性、完整性、及時性不作任何保證。
3.文章轉(zhuǎn)載時請保留本站內(nèi)容來源地址,http://f99ss.com/junshi/1255368.html