AWS在re:Invent 2024宣布了Amazon S3的两项重要新功能：Amazon S3 Tables和Amazon S3 Metadata。S3 Tables原生支持Iceberg格式，可将大型数据表查询速度提升3倍，并简化数据湖管理；Amazon S3 Metadata则能自动生成对象元数据，方便用户快速查找和分析数据，这两项功能都旨在满足AI时代对数据存储和访问的需求。AWS希望通过这些创新，让S3更好地服务于AI应用，并进一步提升数据处理效率和安全性。

🤔 **Amazon S3 Tables：加速Iceberg数据查询**：AWS推出Amazon S3 Tables，原生支持Iceberg数据湖格式，可将大型数据表查询速度提升3倍，并提高10倍交易量。该功能还简化了数据湖管理，并提供表格级访问控制，增强安全性。

📊 **Amazon S3 Metadata：自动生成元数据**：为了帮助用户更快找到所需数据并用于AI分析，AWS推出了Amazon S3 Metadata预览版。该功能可以近乎实时地自动生成可查询的对象元数据，提高数据查找效率。

💡 **满足AI需求是核心**：AWS认为存储、计算、数据库和AI推理是其新战略的四大基石，而S3的这些新功能正是为了满足AI时代对数据存储和访问的需求，例如数据湖分析、AI模型训练等。

☁️ **S3持续演进**：作为AWS最早推出的云存储服务之一，S3已发展18年，拥有上百万用户，处理了400兆个对象。AWS不断迭代S3服务，例如S3 Intelligent-Tiering等，旨在更好地满足用户需求，并降低存储成本。

AWS執行長Matt Garman在今年度re:Invent 2024技術年會中，宣布幾項雲端儲存服務Amazon S3的重要新功能，包括原生支援資料湖資料格式Iceberg的Amazon S3 Tables，大型資料表查詢速度可以提高3倍，以及能自動產生物件Metadata的Amazon S3 Metadata預覽版，這兩大新功能都是為因應AI需求而設計。要讓雲端儲存服務貼近AI需求在今日主題演講中，Matt Garman點出，運算、儲存、資料庫和AI推論，是AWS新戰略的4大重要基石。就儲存來說，隨著新技術推陳出新，「儲存模式也改變了。」Matt Garman回顧，AWS最早推出Amazon S3雲端儲存服務，至今已有18年，擁有上百萬名使用者，處理了400兆個物件。Amazon S3服務在這18年間，也發展出幾代新服務，比如前幾年推出的S3 Intelligent-Tiering，能自動化協助處理PB級甚至是EB級的巨量資料，幫所有使用者省下了40億美元。然而，「S3團隊一直在思考，如何讓S3更好。」儲存產品線出身的Matt Garman指出，隨著AI越來越融入各行各業的業務，團隊後來聚焦，要讓S3更符合目前的AI需求。如何讓雲端儲存服務貼近AI需求？Matt Garman解釋，S3專門用來執行資料湖，而AI分析大都仰賴資料湖。其中，絕大多數的分析資料是表格形式，用來查詢非常有效率，而這些資料表大多採Apache Parquet資料格式，「這類Parquet資料，也是S3中成長速度最快的資料類型。」他進一步指出，有些S3客戶擁有數百萬、數十億的Parquet檔案，要有效率查詢這些資料，一種主流做法是使用Apache Iceberg資料表格式，來簡化資料湖中巨量資料集的資料處理。但，用Iceberg擴展管理巨量資料，還是很有挑戰性，甚至安全性、存取權限等管控也是難題。2大新功能加速Iceberg資料查詢和交易量，還能自動產生Metadata在今年年會中，AWS正式推出Amazon S3 Tables新功能，能3倍加速Iceberg表格的查詢效能，每秒還能提高10倍交易量。而且，該功能還能自動管理表維護工作，就算使用者的資料湖不斷擴展，也是如此。再來，S3 Tables還提供表格級存取控制，使用者可自己定義權限。不過，「要找到所需資料，還是有挑戰性。」但要是有後設資料（Metadata）輔助，就能更好地找到所需資料，或是理解資料。於是，AWS推出另一個儲存服務的新功能：Amazon S3 Metadata預覽版，能近乎即時，自動產生可供查詢的物件Metadata，來幫助使用者更快找尋資料、用於AI分析等。