AI & Big Data 05月31日 08:18
Google資料湖倉更新,原生支援Iceberg與AI資料治理
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Google雲端Data Cloud平台迎来重大升级,聚焦强化数据湖仓架构的开放性和智能化治理能力。通过原生支持Apache Iceberg开放格式,并借助BigLake服务整合企业级云端存储,结合AI驱动的自动化数据治理,旨在提升企业和开发团队在数据管理、分析及应用层面的效率与灵活性。此次更新不仅优化了分析层面,更扩展至运营数据库和AI应用集成,为企业提供更强大的数据支持。

🧊BigLake原生支持Apache Iceberg:将Iceberg开放格式的数据管理功能与Google云端存储结合,企业可通过BigLake Table对Iceberg数据集进行高效分析,并应用Google云原生存储分层管理与用户自管加密密钥等机制。

🛠️BigLake Metastore新API与REST Catalog:开发者可更方便地整合多来源的Iceberg数据,并支持与BigQuery、AlloyDB for PostgreSQL及第三方分析引擎协同操作,降低ETL成本,提升跨平台数据存取弹性,同时提供自动化迁移工具,助力企业快速迁移至Iceberg。

📊BigQuery与AlloyDB的增强:BigQuery现支持对Iceberg数据进行即时查询、数据重整与多表格交易等高级应用;AlloyDB for PostgreSQL也可直接查询BigLake管理的Iceberg数据,支持语义搜索和自然语言查询,紧密串联运营与分析数据层。

✨Dataplex Universal Catalog:整合来自BigLake、BigQuery、Spanner、Vertex AI等不同来源的元数据,实现统一探索、组织及治理。结合Gemini AI模型,自动分析数据关联,进行智能标注、语义搜索及分析建议,提升数据盘点与治理效率,并强化权限管控、数据安全及合规自动化。

Google雲端宣布Data Cloud平臺推出多項重要升級,重點在於強化資料湖倉架構的開放性與智慧治理能力。本次更新包含原生支援Apache Iceberg開放格式,並透過BigLake服務整合企業級雲端儲存,結合人工智慧自動化資料治理,供企業與開發團隊在資料管理、分析及應用層面提升彈性與效率。

這次更新主打BigLake原生支援Apache Iceberg,將Iceberg開放格式資料管理功能結合Google雲端儲存,企業可透過BigLake Table,對Iceberg資料集進行高效分析,並應用Google雲端原生儲存分層管理與用戶自管加密金鑰等機制。

透過BigLake Metastore新API與REST Catalog,開發者可更方便地整合多來源Iceberg資料,並支援與BigQuery、AlloyDB for PostgreSQL及第三方分析引擎協同操作,降低ETL成本,提升跨平臺資料存取彈性。Google也推出自動化搬遷工具,協助企業將Hadoop或Delta Lake等現有資料環境快速搬遷至Iceberg。

資料湖倉架構的升級不僅提升分析層,更延伸至營運資料庫及人工智慧應用整合。BigQuery現支援對Iceberg資料進行即時查詢、資料重整與多表格交易等進階應用,企業可在維持資料自主的同時,運用BigQuery於串流處理、機器學習及多模態分析等場景。AlloyDB for PostgreSQL也可直接查詢BigLake管理的Iceberg資料,支援語意搜尋及自然語言查詢,讓營運與分析資料層更緊密串接,減少資料複製及轉換的麻煩。

Dataplex Universal Catalog也是這次更新的重點之一。該服務整合來自BigLake、BigQuery、Spanner、Vertex AI等不同來源的中繼資料,實現統一探索、組織及治理。結合Gemini AI模型,Dataplex可自動分析資料關聯,進行智慧標註、語意搜尋及分析建議,提升資料盤點與治理效率,並強化權限控管、資料安全及法規遵循的自動化。Dataplex Universal Catalog同時支援與第三方治理平臺整合,方便企業建構跨雲、多系統的資料治理機制。

Google還在BigQuery Notebook整合Gemini,提供SQL、Python與Apache Spark整合開發體驗,透過智慧提示、自動產生PySpark程式碼與錯誤診斷,降低學習與操作障礙,支援JupyterLab及VS Code等開發環境的擴充套件,可讓用戶快速串接Google雲端資料湖倉開放儲存與運算資源,加速開發到部署的流程。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Data Cloud Apache Iceberg BigLake Dataplex 数据治理
相关文章