大数据知识库 (BigData Knowledge Repository)

概述

• 个人学习知识库涉及到数据仓库建模、实时计算、大数据、Java、算法等。
• 在线文档

🤖 AI知识库助手

本项目集成了 大数据知识库AI Skill助手，可以帮助您：

• 📚 知识复习：基于Flink、Spark、Hadoop、数据仓库、数据湖等知识库提供智能复习指导
• 💼 面试准备：提供大数据技术面试问题解答和面试技巧
• 🎯 学习路径：根据您的需求制定个性化的学习计划和路径
• ❓ 问题解答：解答大数据相关技术问题，提供详细解释和示例

使用方法

在支持的AI平台上激活 bigdata-knowledge-coach Skill，然后您可以：

# 询问技术问题
"请帮我解释Flink的Checkpoint机制"

# 请求面试准备
"准备一下Spark Streaming的面试题"

# 学习规划
"我想学习数据仓库，请给出学习路径"

# 知识点复习
"帮我复习Hive的调优策略"

RoadMap

基础能力

数据结构

• 数据结构概述

分布式理论

• 分布式架构

计算机理论

• LSM存储模型

Scala

• Scala概述

JVM

Java

并发编程

• 认识并发编程
• 并发工具类

JDK源码

待补充

算法

• 算法题解

BigData

cache

数据编排技术

alluxio

• Alluxio概览
• Alluxio部署
• Alluxio整合计算引擎

datalake

hudi

快速开始

• Hudi概览
• Hudi整合Spark
• Hudi整合Flink
• Hudi调优实践
• Hudi原理分析
• Hudi数据湖实践

doc with source

配合官方文档和源码带从0到1学习hudi

• Timeline
• TableType

article

• Flink基于Apache Hudi+Alluxio的数据湖实践
• Apache Hudi在LakeHouse趋势下的优势

Paimin

• Paimon概览
• Paimon主键表
• Paimon非主键表
• Flink操作Paimon
• Spark操作Paimon
• Paimon Maintenance
• PaimonPrivileges
• Paimon实践

iceberg

• IceBerg概览
• IceBerg整合Flink
• IceBerg整合Hive
• IceBerg整合Spark

rss

remote shuffle service

celeborn

• celeborn概述

store

存储相关，包含rocksdb、Hbase、BookKeeper、Zookeeper等

rocksDB

• rocksDB概述
• rocksDB配置
• rocksDB组件描述
• rocksdb on flink
• rocksdb API

Bookkeeper

• BookkeeperOverview
• BookkeeperAPI
• BookkeeperApplication

HBase

• HBase概览
• HBaseShell
• HBaseJavaAPI
• HBase整合MapReduce
• HBase过滤器

Zookeeper

• Zookeeper原理和参数配置
• Zookeeper操作与部署

Hadoop

广义上的Hadoop生态圈的学习笔记，主要记录HDFS、MapReduce、Yarn相关读书笔记及源码分析等。

HDFS

• Hadoop快速入门
• HDFS概述
• Hadoop广义生态系统
• Hadoop高可用配置
• HadoopCommon分析
• HDFS集群相关管理
• HDFS Shell

MapReduce

• 分布式处理框架MapReduce
• MapReduce概览
• MapReduce调优
• MapReduce数据操作
• MapReduce输入输出剖析
• MapReduce工作机制

Yarn

• Yarn快速入门

生产配置

• Hadoop高可用配置
• Hadoop生产相关配置

Engine

计算引擎相关，主要包含Flink、Spark等

Flink

• 主要包含对Flink文档阅读的总结和相关Flink源码的阅读，以及Flink新特性记录等等

Core

• FlinkOverView
• CheckPoint机制
• TableSQLOverview
• DataStream API
• ProcessFunction API
• Data Source
• Table API
• Flink SQL
• Flink Hive
• Flink CEP
• Flink Function
• DataSource API

SourceCode

• FlinkCheckpoint源码分析
• FlinkChangelogCheckpoint
• FlinkSQL源码解析
• Flink内核源码分析
• Flink网络流控及反压
• TaskExecutor内存模型原理深入
• Flink窗口实现应用
• Flink运行环境源码解析
• FlinkTimerService机制分析
• StreamSource源解析
• Flink状态管理与检查点机制
• Flink内幕解析

zoology

Flink CDC Connector

• FlinkCdcOverview

devops

Flink On K8s

• Flink On Native K8s实践
• Flink On K8s Operator
• Flink On K8s Operator Operations

Flink SQL Tools

• Flink SQL Tools

Book

Flink内核原理与实现

• 1-3章读书笔记
• 第4章时间与窗口
• 5-6章读书笔记
• 第7章状态原理
• 第8章作业提交
• 第9章资源管理
• 第10章作业调度
• 第11-13章Task执行数据交换等

Feature

• Flink1.12新特性
• Flink1.13新特性
• Flink1.14新特性

Practice

• Flink踩坑指南
• 记录一次Flink反压问题
• Flink SQL实践调优
• Flink Runtime核心机制浅入深出
• Flink JDBC Driver

Connector

• 自定义Table Connector

monitor

• 搭建Flink任务指标监控系统

Spark

主要包含Spark相关书籍读书笔记、Spark核心组件分析、Spark相关API实践以及Spark生产踩坑等。

• Spark基础入门
• SparkOnDeploy
• Spark调度系统
• Spark计算引擎和Shuffle
• Spark存储体系
• Spark大数据处理读书笔记

Spark Core

• SparkCore
• SparkOperator
• SparkConnector

Spark SQL

• SparkSQLAPI
• SparkSQL
• SparkSQL API
• SparkSQL优化分析

Spark Practice

• Spark生产实践

Spark Streaming

• SparkStreaming
• SparkStreaming整合Flume

Native SQL Engine

• Spark Native SQL Engine概览

源码解析

• 从浅到深剖析Spark源码
• 源码分析系列

Collect

数据采集框架，主要包含Binlog增量与SQL快照方式框架

Canal

• CanalOverView

Debezium

• DebeziumOverView
• Debezium踩坑
• Debezium监控系统搭建
• Debezium使用改造

Flume

• Flume快速入门
• Flume对接Kafka

Sqoop

• SqoopOverview
• Sqoop实战操作

MQ

消息中间件相关，主要包含大数据中使用比较多的Kafka和Pulsar

Kafka

• kafka概览
• 基本概念
• kafka监控
• 生产者源码剖析
• 消费者源码剖析
• kafkaShell
• kafka权威指南读书笔记
• 深入理解Kafka读书笔记

Pulsar

• 快速入门
• 原理与实践

schedule

Azkaban

• Azkaban生产实践

DolphinScheduler

• DolphinScheduler快速开始

olap

主要核心包含Kudu、Impala相关Olap引擎，生产实践及论文记录等。

Hive

• HiveOverwrite
• Hive SQL
• Hive调优指南
• Hive踩坑解决方案
• Hive编程指南读书笔记
• Hive Shell Beeline
• Hive分区表和分桶表

Presto

• presto概述

clickhouse

• ClickHouse快速入门
• ClickHouse表引擎

Druid

• Druid概述

Kylin

• Kylin概述

Kudu

• KuduOverView
• Kudu表和Schema设计
• KuduConfiguration
• Kudu原理分析
• Kudu踩坑
• Kudu存储结构架构图
• Kudu生产实践

Flink

• Flink Olap

paper

• Kudu论文阅读

Impala

• ImpalaOverView
• ImpalaSQL
• Impala操作KUDU
• Impala生产实践

graph

图库相关

nebula graph

• 1.简介
• 2.快速入门

tools

工具集相关，包含计算平台、sql语法Tree等

zeppelin

• zeppelin

SQL语法树

calcite

• ApacheCalciteOverView

数据仓库建设

理论

• 数据建模
• 数据仓库建模
• 数据仓库

数据中台设计

• 数据中台设计
• thoth自研元数据平台设计

方案实践

• Kudu数据冷备
• 基于Flink的实时数仓建设

读书笔记

• 数据中台读书笔记

算法策略

特征工程

• Embedding快速入门
• 常用特征工程清洗方法

books

数据笔记相关

DDIA读书笔记

• 数据系统基础

devops

• shell命令
• Linux命令
• openshift基础命令

maven

• maven骨架制作
• maven命令

服务监控

• Prometheus

mac

• iterm2

🤝 贡献方式

欢迎为这个知识库贡献内容！

• 📝 提交Pull Request：修正错误、补充内容、更新文档

• 🐛 提交Issue：报告bug、提出改进建议、询问问题

• 💬 参与讨论：在Issue和Discussion中分享您的见解

• 🌟 Star支持：如果这个项目对您有帮助，请给我们一个Star！

• 贡献者指南

• 代码规范

• 安全政策

📚 技术分享

技术栈覆盖

• 实时计算：Flink、Spark Streaming
• 批处理：Spark、MapReduce
• 数据湖：Hudi、Iceberg、Paimon
• 数据仓库：Hive、Kudu
• 消息队列：Kafka、Pulsar
• 存储系统：HDFS、RocksDB、HBase
• OLAP引擎：ClickHouse、Druid、Impala
• 调度系统：DolphinScheduler、Azkaban
• 采集工具：Canal、Debezium、Flume
• 缓存系统：Alluxio
• 图数据库：Nebula Graph
• 工具集：Zeppelin、Calcite