任何一个轮子都有被造出来的原因,Delta Lake项目出现的原因是什么、为了解决什么问题、怎么使用、使用场景,有什么缺点、是否有别的更好的组件替代。更深的就是深入源码弄懂整个流程是什么。
Delta Lake是一个数据湖产品,什么是数据湖?? 数据仓库是将数据进行ETL,存入HDF或者别的数据库。 数据湖是将所有类型的数据不进行处理,直接存入,做分析时,才将数据进行ETL。但是数据不进行处理全存到数据湖中会出现问题。
1.数据湖中的数据质量低,会出现垃圾数据。2.随着数据量的增加,性能增加 3.更新数据湖中的记录很难。
所以Delta Lake是为了解决这些而被创造出来的。
现在先从官网的Quickstart开始,官网给了很多种安装的方法,这里我在项目中加入maven pom依赖
<dependency> <groupId> io.delta </ groupId> <artifactId> delta-core_2.12 </ artifactId> <version> 0.1.0 </ version> </ dependency> 先从官网的例子开始: val data=spark.range(5,10) //create a table data.write.format("delta").save("/tmp/delta-table") //update the table data data.write.format("delta").option("mergeSchema","true").mode("overwrite").save("/tmp/cy/delta-table/table1") //Read data val df = spark.read.format("delta").load("/tmp/cy/delta-table/table1") //用Time Travel val df= spark.read.format("delta").option("versionAsof",0).load("/tmp/cy/delta-table/table1")对于overwrite我看了一下,hdfs上并没有将之前的数据覆盖而是创建了新的
翻看——delta_log
累了,不写了,待续。。