|
1829| 17
|
某馬零基礎大數(shù)據(jù)就業(yè)班 |
|
某馬零基礎大數(shù)據(jù)就業(yè)班
〖課程介紹〗: 本課程專門為0基礎學員而設計，共包括十個大階段，從java基礎開始，內容精準聚焦大數(shù)據(jù)開發(fā)過程中必備的離線數(shù)據(jù)分析、實時數(shù)據(jù)分析和內存數(shù)據(jù)計算等重要內容；涵蓋了大數(shù)據(jù)體系中幾乎所有的核心技術，包含Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、Impala 目錄截圖： [attach]15042[/attach] 〖課程目錄〗: 階段一 : Java基礎 編程基礎 DOS常用命令、Java概述、JDK環(huán)境安裝配置、環(huán)境變量配置、Java程序入門 常量與變量、數(shù)據(jù)類型、運算符、流程控制語句、方法、數(shù)組 面向對象入門 面向對象思想、類與對象、成員變量和局部變量、封裝、 this關鍵字、構造方法 Object類、Scanner類、Random類、String、StringBuilder類 集合概述、集合特點、ArrayList集合 字符輸入流、字符輸出流、字符緩沖輸入流、字符緩沖輸出流、 復制文件、集合與文件中數(shù)據(jù)相互讀寫 市場價值 : 具備JavaSE基本開發(fā)能力，但是還不能滿足企業(yè)用人需求，可為后續(xù)JavaWeb的學習打下堅實基礎 階段二 : JavaWeb Java基礎增強 類加載器、反射、網(wǎng)絡編程、端口和協(xié)議、TCP協(xié)議、服務端、客戶端、多線程、線程和進程、線程的生命周期、線程安全、代碼同步、注解、JDK常用注解、自定義注解 Java web 核心 HTML、CSS、JavaSript、BootStrap MySQL數(shù)據(jù)庫、MySQL單表操作、MySQL多表操作、MySQL事物、 MySQL存儲引擎、JDBC、JDBCDataSource Tomcat、Http協(xié)議、servlet入門、Rquest、Response、JSP、MVC、 Cookie、Session、JSP、ETLJSTL、Filter、listener Jquery、Ajax、ajax跨域、分頁 Maven項目構建、管理、編譯、倉庫配置、 Git項目管理 市場價值 : 具備JavaWeb開發(fā)能力，但是還不能滿足企業(yè)用人需求，可為后續(xù)學習框架打下堅實基礎 階段三 : 主流框架 Spring 組件 Spring簡介、Spring配置文件、Spring配置數(shù)據(jù)源 、Spring注解開發(fā)、AOP簡介、AOP的實現(xiàn)方式、JdbcTemplate基本使用、Spring的事務控制 SpringMVC組件 Spring集成web開發(fā)環(huán)境、SpringMVC簡介、SpringMVC組件解析、SpringMVC的數(shù)據(jù)響應、SpringMVC的請求參數(shù)綁定、SpringMVC的文件上傳、SpringMVC的攔截器 、SpringMVC的異常處理 Mybatis組件 Mybatis快速入門、Mybatis基本增刪改查操作、Mybatis核心配置文件、Mybatis的dao層實現(xiàn)原理、Mybatis映射文件深入-動態(tài)SQL、Mybatis核心配置文件深入、Mybatis的多表操作、Mybatis注解開發(fā)、SSM整合 市場價值 : 對熱門的框架和SOA架構應用，便可掌握項目的構建并能夠搭建企業(yè)級JavaWeb項目，為后期的項目做鋪墊 階段四 ： 流行框架 Lucene組件 全文檢索基本介紹、lucene入門案例中文分析器索引庫維護 Spring Data JPA JPA的引入、JPA的入門案例主鍵生成策略、JPA的基本操作 Spring Boot spring boot 介紹、spring boot 入門、spring boot 原理分析、 spring boot 配置文件 市場價值 : 前后端分離開發(fā)成為企業(yè)中軟件架構的新寵兒，而掌握微服務框架的使用、項目環(huán)境快速部署的人才已被互聯(lián)網(wǎng)企業(yè)所重視。所以適應現(xiàn)互聯(lián)網(wǎng)開發(fā)環(huán)境，學習微服務框架成為企業(yè)新需人才必要條件。 階段五 : 大數(shù)據(jù)基礎增強 linux操作基礎 虛擬機的聯(lián)網(wǎng)以及基礎命令增強、linux的查找命令、linux的用戶與用戶組、linux的權限管理、linux系統(tǒng)服務管理、網(wǎng)絡管理 、shell的變量定義、變量引用、算數(shù)運算符、流程控制語句、函數(shù)使用 Jvm 優(yōu)化 熟悉jvm 參數(shù)，visualVM 工具，垃圾回收原理， JVM字節(jié)碼分析等等 市場價值 : 能夠完成中小型企業(yè)常見的自動化腳本 階段六 : 大數(shù)據(jù)Hadoop離線分布式系統(tǒng) 大數(shù)據(jù)基礎和 硬件介紹 大數(shù)據(jù)集群基本環(huán)境準備、大數(shù)據(jù)集群環(huán)境的基礎準備 Hadoop 核心組件以及性能優(yōu)化 HDFS組件詳解以及實戰(zhàn)、mapreduce 組件詳解以及性能優(yōu)化、Yarn組件詳解以及多租戶的實現(xiàn)、hive組件實戰(zhàn)以及性能優(yōu)化、impala組件實戰(zhàn)以及性能優(yōu)化sqoop常見問題詳解 輔助系統(tǒng)工具 sqoop hue impala kudu oozie flume azkaban組件功能介紹、架構和原理、多個案例整合 網(wǎng)站流量日志分析項目 項目背景，日志埋點收集,數(shù)據(jù)預處理，數(shù)據(jù)入庫，指標分析，統(tǒng)計分析，可視化 市場價值 : 本階段匹配的工作崗位包括ETL工程師、任務調度工程師、Hive工程師、數(shù)據(jù)倉庫工程師等。 階段七 : 大數(shù)據(jù) NoSQL、Kafka和ELK技術實戰(zhàn) NoSQL、Kafka和ELK技術實戰(zhàn) NoSQL介紹、Redis的原理和架構、 Redis的集群搭建、Hbase的應用場景、Hbase架構和原理以及RowKey設計和優(yōu)化策略、HBase+Redis微博實戰(zhàn)案例、Elasticsearch的功能、架構和原理以及ELK案例實戰(zhàn) 市場價值 : 1、解決Hbase的RowKey高性能設計策略，滿足業(yè)務的需求； 2、解決Hbase的性能瓶頸，解決業(yè)務問題對Hbase高性能的挑戰(zhàn)； 3、解決企業(yè)里面海量數(shù)據(jù)實時傳輸?shù)膯栴}； 4、解決海量日志快速檢索和監(jiān)控問題。 階段八 : 大數(shù)據(jù) Spark 內存計算系統(tǒng) Scala語言基礎 Scala基礎、聲明變量、數(shù)據(jù)類型、條件表達式、塊表達式、循環(huán)、方法和函數(shù)、數(shù)組、元組、集合、Iterator、構造器、伴生對象、akka Spark入門以及集群搭建 Spark集群環(huán)境搭建，spark入門程序，RDD入門 SparkRDD Spark的應用場景、架構和原理、入門案例、Spark Session講解、RDD的概念和特性、Transformation RDD講解、Action RDD講解、Partition、Task、RDD的依賴關系、RDD的容錯機制、RDD的存儲級別、RDD的緩存機制、RDD的廣播操作、DAG思想、DAG的生成、DAG的處理過程、運行機制、Driver和Executor Spark SQL Spark SQL功能介紹、DataFrame、DataSet、RDD、Dataset和DataFrame的轉換、讀寫Hive表數(shù)據(jù)、讀寫HDFS的數(shù)據(jù)、DataFrame的API操作、讀取文件(txt、CSV、Json、parquet)、臨時表、讀寫RDBMS、Spark SQL執(zhí)行計劃、Spark SQL的性能優(yōu)化 SparkStreaming原理_運行過程_特性 sparkstring的功能介紹,架構，流計算Dstream運行原理 Structured Streaming_介紹_案例 Structured String的功能介紹、input功能、output功能、window操作、watermark操作、過期數(shù)據(jù)操作、去重數(shù)據(jù)操作、整合Socket數(shù)據(jù)、整合Kafka數(shù)據(jù)、OutputModel(Append\complete\update)功能、Flume+kafka+Structured Streaming實現(xiàn)用戶訪問行為的實時分析 DMP項目 Kudu應用場景,項目介紹, Kudu原理，cdh環(huán)境搭建,kudu整合spark開發(fā)，項目框架搭建,報表統(tǒng)計,商圈庫功能。 市場價值 : 可從事Spark相關工作，包括ETL工程師、Spark工程師、Hbase工程師、用戶畫像系統(tǒng)工程師、大數(shù)據(jù)反欺詐工程師。 階段九 : 大數(shù)據(jù) Flink 實時計算系統(tǒng) Flink基礎介紹 Flink的運行機制、Flink組件和邏輯計劃、Flink執(zhí)行計劃生成、JobManager中的基本組件、TaskManager、算子、網(wǎng)絡、水印WaterMark、任務調度 flink進階 flink的狀態(tài)管理、CheckPoint、flinksql及flinkTableApi Flink電商指標分析項目 上報服務系統(tǒng)開發(fā)、Flink實時數(shù)據(jù)分析系統(tǒng)開發(fā)、實時頻道熱點分析業(yè)務開發(fā)、實時頻道PV/UV分析、實時頻道用戶新鮮度分析、實時頻道地域分析業(yè)務開發(fā)、實時運營商分析業(yè)務開發(fā)、實時數(shù)據(jù)同步系統(tǒng)、Canal數(shù)據(jù)采集平臺 市場價值 : 目前Flink在大型互聯(lián)網(wǎng)公司使用的的廣泛，在傳統(tǒng)行業(yè)Flink目前也是處在一個爆發(fā)的階段。 階段十 : 大數(shù)據(jù)新技術實戰(zhàn)詳解 Druid Druid應用場景、集群搭建、數(shù)據(jù)加載、重要概念、架構及原理、數(shù)據(jù)查詢、元數(shù)據(jù)、實時應用案例 市場價值 : Druid目前人才需求量在不斷的增加 階段十一 : 機器學習（ 選修 ） 機器學習概念入門 1.基本概念：屬性、屬性的度量、屬性類型、數(shù)據(jù)集類型、數(shù)據(jù)集的特性、訓練集、測試集、特征值、監(jiān)督學習、非監(jiān)督學習、半監(jiān)督學習等概念 2.數(shù)據(jù)的預處理：聚集、抽樣、維度規(guī)約、特征子集選擇、特征創(chuàng)建、離散化和二元化、變量變換 3.模型的評估：模型的過分擬合(過擬合)，欠擬合，評估分類器的性能(交叉驗證和自助法)，模型評估方法、損失函數(shù)和風險函數(shù)、參數(shù)優(yōu)化等，模型復雜度(奧卡姆剃刀)4.機器學習處理的一般流程分析 機器學習數(shù)學基礎 初等數(shù)學基礎、函數(shù)求導以及鏈式求導法則、方向導數(shù)、梯度、泰勒級數(shù)、 拉格朗日乘子法、線性代數(shù)與矩陣、特征值與特征向量、概率分析、 極大似然估計、梯度下降法代碼實踐、牛頓法代碼實戰(zhàn)、 矩陣分解實戰(zhàn)(SVD,PCA,QR) 機器學習語言基礎之Python語言 基礎數(shù)據(jù)類型、list/tuple/dict/set、列表推導式、生成器推導式、 lambda函數(shù)、控制語句、文件讀寫、異常處理分析、面向對象編程、 GUI編程、Python基礎項目實踐 Python數(shù)據(jù)分析庫實戰(zhàn) Numpy矩陣運算庫基礎及實戰(zhàn)、Scipy數(shù)值運算庫基礎及實戰(zhàn)、 Matplotlib繪圖庫基礎及實戰(zhàn)、Seaborn繪圖庫基礎及實戰(zhàn)、 Pandas數(shù)據(jù)分析庫基礎及實戰(zhàn) Spark機器學習庫實戰(zhàn) SparkML和SparkMLLIB區(qū)別、Spark機器學習基礎、Pipeline管道、 特征抽取(TF-IDF、Word2Vec、CountVectorizer）、特征轉換(Tokenizer、 PCA、N-gram、DCT、one-hot、MinMaxScaler、Normalizer、SqlTransformer、VectorAssembler)、特征選擇(VectorSlicer、RFormula、 ChiSqSelector) 機器學習算法之用戶標簽預測項目實戰(zhàn) 用戶畫像標簽預測實戰(zhàn)、KNN、KMeans、決策樹算法模型(ID3、C4.5、 Cart樹)、集成學習算法(Bagging、隨機森林、Adaboost算法、GBDT算法、 XGBOOST算法、LightGBM算法模型)、人才流失模型項目實戰(zhàn) 機器學習算法之推薦系統(tǒng)實戰(zhàn) 基于記憶的CF實戰(zhàn)(Surprise庫實戰(zhàn))、基于模型的CF實戰(zhàn)(SparkALS實戰(zhàn))、 基于Native-Bayes分類算法實戰(zhàn)、基于內容推薦(jieba分詞、提取詞向量、 文本分類、特征聚類)、關聯(lián)挖掘算法實戰(zhàn)(基于Spark的FP-Growth算法實戰(zhàn))、推薦項目實戰(zhàn) 機器學習算法之CTR點擊率預估實戰(zhàn) 特征工程實戰(zhàn)、CTR點擊率預估應用場景分析、 邏輯斯特回歸算法理論基礎推導及項目實戰(zhàn)、推薦系統(tǒng)指標分析、 推薦系統(tǒng)架構分析、基于Wideanddeep模型理論及實戰(zhàn)(學會讀學術Paper) 機器學習算法之深度學習基礎及圖片分類實戰(zhàn) 神經(jīng)網(wǎng)絡和深度學習基礎、MP神經(jīng)元模型、感知機模型、BPNN模型實戰(zhàn)、 CNN模型實戰(zhàn)圖像識別、Tensorflow基礎、電影評論文本分析、 RNN文本情感分析實戰(zhàn) 市場價值 : 可從事機器學習、數(shù)據(jù)挖掘等相關工作，包括推薦算法工程師、數(shù)據(jù)挖掘工程師、機器學習工程師，填補人工智能領域人才急劇增長缺口。 階段十二 : 云計算（ 選修 ） 虛擬化 hypervisor管理類工具、QEMU、KVM、QEMU-KVM、libvirt、虛擬化技術概述，Xen、VMware、KVM虛擬化對比與實踐 公有云（阿里云） 公有云概述、阿里云應用實戰(zhàn) 私有云運維（OpenStack) Openstack概述，OpenStack組件功能介紹，OpenStack安裝與配置，OpenStack私有云運維實戰(zhàn); 容器Docker+監(jiān)控 Docker概述，Docker部署，Docker容器，Docker鏡像倉庫該學科熱門課程 Kubernetes概述、Kubernetes安裝與部署、Docker+Kubernetes集群實戰(zhàn) 市場價值 : 熟練掌握和學習后，可滿足Linux云計算架構工程師的需求。
購買主題
本主題需向作者支付 10 資源幣 才能瀏覽
| |
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
| ||
小黑屋|資源共享吧 ( 瓊ICP備2023000410號-1 )
GMT+8, 2025-1-3 12:16 , Processed in 0.074164 second(s), 18 queries , MemCached On.
發(fā)表于 2024-2-19 00:11:35
收藏