目前市面上流行的三大开源数据湖方案分别为:delta、Apache Iceberg和Apache Hudi。其中,由于Apache Spark在商业化上取得巨大成功,所以由其背后商业公司Databricks推出的delta也显得格外亮眼。Apache Hudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目,它提供的fast upsert/delete以及compaction等功能可以说是精准命中广大人民群众的痛点,加上项目各成员积极地社区建设,包括技术细节分享、国内社区推广等等,也在逐步地吸引潜在用户的目光。Apache Iceberg目前看则会显得相对平庸一些,简单说社区关注度暂时比不上delta,功能也不如Hudi丰富,但却是一个野心勃勃的项目,因为它具有高度抽象和非常优雅的设计,为成为一个通用的数据湖方案奠定了良好基础。

作者:openinx
链接:https://zhuanlan.zhihu.com/p/110748218
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

数仓研发人员较为熟悉的离线和实时数仓的架构

生信小木屋

基于Hudi构建的湖仓架构
生信小木屋

作者:DataFunTalk
链接:https://zhuanlan.zhihu.com/p/570374530
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。