برای سال‌ها، صنعت داده با منظره‌ای تکه‌تکه روبرو بود که دریاچه‌های داده فاقد قابلیت اطمینان و عملکرد انبارهای داده سنتی بودند. آپاچی آیسبرگ وارد شد، یک قالب جدول باز که برای حل مشکل «پوسیدگی دریاچه داده» طراحی شده است. با ارائه تراکنش‌های ACID، پارتیشن‌بندی پنهان و تکامل طرح بدون نقص، آیسبرگ شکاف بین ذخیره‌سازی شیء مقرون‌به‌صرفه و پرس‌وجوی با عملکرد بالا را پر می‌کند. این پست به مکانیک‌های اصلی آیسبرگ می‌پردازد و دلیل سریع شدن آن به عنوان ستون فقرات معماری‌های مدرن لیک‌هاوس را بررسی می‌کند.
تکامل طرح بدون دردسر
یکی از مهم‌ترین مزایای آیسبرگ، توانایی آن در مدیریت بومی تکامل طرح است. در قالب‌های جدول سنتی، افزودن یک ستون اغلب به معنای بازنویسی کل مجموعه داده یا خطر شکست پرس‌وجوها بود. آیسبرگ، با این حال، به شما امکان می‌دهد ستون‌ها را اضافه کنید، نام فیلدها را تغییر دهید و انواع داده را بدون بازنویسی فایل‌های داده پایه تغییر دهید. این قابلیت در محیط‌های چابک که طرح‌های داده به طور مکرر تغییر می‌کنند، حیاتی است.
سناریویی را در نظر بگیرید که نیاز به افزودن یک ستون user_segment به یک جدول رویدادهای کاربر موجود است. آیسبرگ این به‌روزرسانی متادیتا را به صورت اتمی انجام می‌دهد.
ALTER TABLE events ADD COLUMNS (user_segment STRING);این عملیات آنی است زیرا آیسبرگ تنها لاگ تراکنش را به‌روزرسانی می‌کند، نه فایل‌های خام Parquet یا ORC. پرس‌وجوهای قدیمی به طور بی‌وقفه به کار خود ادامه می‌دهند و ستون جدید را به عنوان null در نظر می‌گیرند، در حالی که پرس‌وجوهای جدید از داده‌های تازه بهره می‌برند.
پارتیشن‌بندی پنهان و بهینه‌سازی پرس‌وجو
پارتیشن‌بندی برای عملکرد ضروری است، اما استراتژی‌های پارتیشن‌بندی دستی اغلب منجر به «مشکل فایل‌های کوچک» یا پیمایش ناکارآمد می‌شود. آیسبرگ پارتیشن‌بندی پنهان را معرفی می‌کند که مدیریت پارتیشن را از کاربر انتزاع می‌کند. در پشت صحنه، آیسبرگ از فهرست‌های تجسم (manifest lists) برای ردیابی فایل‌های متعلق به هر پارتیشن استفاده می‌کند که به موتور پرس‌وجو اجازه می‌دهد داده‌های نامرتبط را کاملاً نادیده بگیرد.
هنگام استفاده از موتورهایی مانند Spark یا Trino، آیسبرگ به طور خودکار پارتیشن‌ها را بر اساس پیش‌فرض‌های پرس‌وجو حذف می‌کند. برای مثال، اگر داده‌های یک سال خاص را پرس‌وجو کنید، آیسبرگ تضمین می‌کند که تنها فایل‌های تجسم مرتبط خوانده شوند که هزینه‌های ورودی/خروجی را به شدت کاهش می‌دهد.
SELECT * FROM events
WHERE event_date BETWEEN '2023-01-01' AND '2023-12-31'علاوه بر این، آیسبرگ از سطل‌بندی (Bucketing) پشتیبانی می‌کند که می‌توان برای بهینه‌سازی پیوست‌ها (Join) از آن استفاده کرد. با سطل‌بندی جدول‌ها بر اساس کلیدهای پیوست مشترک، موتور می‌تواند پیوست‌های سطل-به-سطل (bucket-map joins) انجام دهد که نیاز به عملیات جابجایی (shuffle) پرهزینه را در پردازش داده‌های مقیاس بزرگ حذف می‌کند.
سفر در زمان: حسابرسی و عیب‌یابی آسان
حذف تصادفی داده‌ها یا تعهدات (Commits) معیوب، کابوس مهندسان داده است. ویژگی سفر در زمان آیسبرگ به کاربران اجازه می‌دهد وضعیت یک جدول را در هر نقطه از اسنپ‌شات (Snapshot) قبلی پرس‌وجو کنند. این ویژگی برای عیب‌یابی پایپ‌لاین‌ها، حسابرسی تغییرات یا بازیابی از به‌روزرسانی‌های انبوه خطا، بی‌نظیر است.
شما می‌توانید از داده‌های تاریخی با استفاده از یک مهر زمانی یا یک شناسه اسنپ‌شات خاص دسترسی پیدا کنید. این قابلیت عیب‌یابی را از یک تمرین کارآگاهی به یک دستور SELECT ساده تبدیل می‌کند.
-- Query data as it existed 24 hours ago
SELECT * FROM events
TIMESTAMP AS OF '2023-10-25 10:00:00';
-- Query using a specific snapshot ID
SELECT * FROM events
FOR SYSTEM_TIME AS OF 98475620384756;معماری لیک‌هاوس (Lakehouse)
آیسبرگ کلید فعال‌کننده معماری لیک‌هاوس است که ذخیره‌سازی کم‌هزینه دریاچه‌های داده را با ویژگی‌های مدیریت انبارهای داده ترکیب می‌کند. با پشتیبانی از تراکنش‌های ACID، آیسبرگ تضمین می‌کند که نوشتن همزمان داده‌ها را خراب نمی‌کند، محدودیتی که قبلاً به سیستم‌های مبتنی بر HDFS مرتبط بود. این به تیم‌ها اجازه می‌دهد از همان داده‌ها برای پایپ‌لاین‌های ETL و تحلیل‌های بلادرنگ استفاده کنند و نیاز به نگهداری کپی‌های موازی داده در انبارها و دریاچه‌ها را از بین می‌برد.
نتیجه‌گیری
آپاچی آیسبرگ نمایانگر یک تغییر پارادایم در نحوه مدیریت داده‌های مقیاس بزرگ است. پشتیبانی قوی آن از تکامل طرح، پارتیشن‌بندی پنهان و سفر در زمان، آن را در بسیاری از موارد استفاده برتر از قالب‌های جدول قدیمی‌تر مانند Hive یا Delta Lake قرار می‌دهد. با حرکت صنعت به سمت استانداردهای باز و قابل تعامل، آیسبرگ به عنوان یک جزء حیاتی برای هر پشته مهندسی داده مدرن برجسته می‌شود. پذیرش آیسبرگ نه تنها زیرساخت داده‌های شما را برای آینده ایمن می‌کند، بلکه کارایی‌های عملکردی و عملیاتی قابل توجهی را نیز آزاد می‌سازد.