ClickHouse یک سیستم مدیریت پایگاه داده ستونی است که برای پردازش تحلیلی آنلاین (OLAP) طراحی شده است. اگرچه تنظیمات پیش‌فرض آن اغلب برای محیط‌های توسعه کافی هستند، اما استقرار در محیط‌های تولید نیازمند پیکربندی دقیق برای حداکثرسازی نرخ عبور، به حداقل رساندن تأخیر و تضمین پایداری است. این راهنما شما را از طریق پارامترهای حیاتی پیکربندی عبور می‌دهد که یک راه‌اندازی قابل قبول ClickHouse را از یک موتور تحلیلی با عملکرد بالا متمایز می‌کند.
درک سلسله‌مراتب پیکربندی
ClickHouse از XML برای فایل‌های پیکربندی خود استفاده می‌کند که عمدتاً در /etc/clickhouse-server/ قرار دارند. سیستم پیکربندی از لایه‌بندی پشتیبانی می‌کند، جایی که config.xml تنظیمات سراسری را نگه می‌دارد، users.xml کنترل دسترسی را مدیریت می‌کند و config.d/ امکان اعمال تنظیمات خاص محیط را فراهم می‌کند. درک این سلسله‌مراتب اولین گام برای تغییرات امن در پیکربندی است.
تنظیم پارامترهای Merge Tree
تغییرات پرتأثیرترین در پارامترهای storage_policy و موتور جدول رخ می‌دهند. برای بارهای کاری با حجم نوشتن بالا، تنظیم پارامترهای merge_tree در config.xml حیاتی است. به طور خاص، پارامترهای max_bytes_before_merge و max_merge_delay_to_seconds کنترل می‌کنند که ادغام‌های پس‌زمینه با چه شدتی انجام می‌شوند. ادغام تهاجمی تأخیر خواندن را کاهش می‌دهد اما بار I/O را افزایش می‌دهد.
<max_bytes_before_merge>10000000000</max_bytes_before_merge>
<max_merge_delay_to_seconds>10</max_merge_delay_to_seconds>برای جداول توزیع‌شده، اطمینان حاصل کنید که max_parallel_replicas به درستی تنظیم شده است تا از تمام گره‌های خوشه خود استفاده کنید. این کار به ClickHouse اجازه می‌دهد اجرای پرس‌وجوها را بین کپی‌ها تقسیم کند و زمان پرس‌وجو برای مجموعه‌های داده بزرگ را به طور قابل توجهی کاهش دهد.
مدیریت حافظه و رشته‌ها
ClickHouse به طور ذاتی بسیار موازی است. به طور پیش‌فرض، از تمام هسته‌های CPU موجود استفاده می‌کند. در محیط‌های مشترک، اغلب مفید است که تعداد رشته‌ها را برای هر پرس‌وجو با استفاده از تنظیم max_threads محدود کنید. این کار از گرسنگی کشیدن سایر فرآیندها توسط یک پرس‌وجوی بزرگ جلوگیری می‌کند.
<max_threads>8</max_threads>
<max_concurrent_queries_for_user>10</max_concurrent_queries_for_user>علاوه بر این، تخصیص بیش از حد حافظه می‌تواند از طریق max_memory_usage کنترل شود. تنظیم این مقدار کمی کمتر از کل RAM موجود، فضای کافی برای سیستم عامل و سایر خدمات باقی می‌گذارد و از کشتن فرآیندها به دلیل اتمام حافظه (OOM) در اوج بار جلوگیری می‌کند.
بهینه‌سازی سیستم فایل و لاگ‌ها
ClickHouse به شدت به سیستم فایل وابسته است. غیرفعال کردن fsync روی فایل‌های موقت می‌تواند عملکرد نوشتن را به شدت بهبود بخشد، هرچند این کار دوام داده را به خطر می‌اندازد. این موضوع برای بسیاری از موارد استفاده تحلیلی قابل قبول است که در آن‌ها داده‌ها می‌توانند دوباره وارد شوند. اطمینان حاصل کنید که ذخیره‌سازی شما روی SSDهاست تا عملکرد بهینه داشته باشید و temporary_path را به یک دیسک محلی سریع در مقابل ذخیره‌سازی متصل به شبکه پیکربندی کنید.
پایش و اعتبارسنجی
پس از اعمال تغییرات پیکربندی، همیشه با استفاده از جدول system.settings اعتبارسنجی کنید. می‌توانید از تنظیمات فعال پرس‌وجو کنید تا اطمینان حاصل کنید که تغییرات شما اعمال شده است. برای مثال، SELECT name, value FROM system.settings WHERE name = 'max_threads' بازخورد فوری از وضعیت فعلی شما ارائه می‌دهد. جدول system.metrics را برای مشاهده طول صف ادغام و مصرف حافظه به صورت بلادرنگ پایش کنید.
نتیجه‌گیری
پیکربندی ClickHouse یک فرآیند تکراری است که نیاز به تعادل بین نرخ عبور نوشتن، تأخیر خواندن و مصرف منابع دارد. با تغییرات محافظه‌کارانه شروع کنید، تأثیرات را با استفاده از جداول سیستم داخلی پایش کنید و پارامترها را بر اساس ویژگی‌های بار کاری خاص خود تنظیم کنید. با تسلط بر این پیکربندی‌های اصلی، می‌توانید تمام ظرفیت ClickHouse را برای زیرساخت تحلیلی خود آزاد کنید.