第二章 大数据存储与管理技术

大数据的有效存储和高效管理是数据建模及应用的基础和支撑。本章首先介绍大数据处理的流程和平台架构,以及其中涉及的大数据采集、存储和计算技术、常用工具和分布式存储、分布式计算等关键概念;其次介绍大数据分析工具Hadoop生态系统及其核心项目;然后介绍大数据的预处理技术,包括数据清洗、数据转换和数据集成;最后介绍大数据的安全和隐私保护技术。