Technical Tutorials

Devasa hacimlerdeki IoT telemetrisini yönetmek, yüksek verimli veri alımını (ingestion) düşük gecikmeli okumalarla bir arada sürdürebilen bir veritabanı motoru gerektirir. ClickHouse bu amaç için öne çıkan bir sütun tabanlı veritabanıdır, ancak performansı büyük ölçüde şema tasarımına ve sıkıştırma stratejilerine bağlıdır. Bu yazıda, zaman serisi verileri için verimliliği en üst düzeye çıkarmak üzere ClickHouse tablolarınızı nasıl yapılandıracağınızı inceliyoruz.

Doğru Tablo Motoru ve Sıralama Seçimi

ClickHouse'ta verimli bir zaman serisi iş yükünün temeli, MergeTree tablo motoru ailesidir. Çoğu IoT senaryosu için, ReplicatedMergeTree veya (sürümleme yoluyla değiştirilebilir veriye ihtiyacınız varsa) ReplicatedCollapsingMergeTree tercih edilen seçeneklerdir. Buradaki kritik bileşen ORDER BY ifadesidir. Geleneksel veritabanlarının aksine ClickHouse, veriyi birincil anahtara göre disk üzerinde fiziksel olarak sıralar. Telemetri için, verileri cihaz tanımlayıcısına ve zaman damgasına göre sıralamak istersiniz. Bu, belirli bir cihaza ait verilerin kesintisiz (contiguous) olmasını sağlayarak verimli aralık taramalarına olanak tanır.

CREATE TABLE iot_telemetry (
    device_id UUID,
    event_time DateTime,
    sensor_type String,
    temperature Float64,
    humidity Float64,
    battery_level UInt8
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/iot_telemetry', '{replica}')
ORDER BY (device_id, event_time);

Sıralama anahtarında device_id ve event_time kullanımına dikkat edin. device_123 cihazından öğleden sonra 2 ile 3 arası tüm okumaları sorguladığınızda, ClickHouse diskteki veri bloklarının çoğunu atlayabilir ve G/Ç (I/O) maliyetini büyük ölçüde azaltabilir.

Sıkıştırma ve İncelikten (Granularity) Yararlanma

Sütun tabanlı depolama, ClickHouse'un farklı sütunlara farklı sıkıştırma kodlayıcıları (codec) uygulamasına olanak tanır. sensor_type veya string kimlikler gibi yüksek kardinaliteli sütunlar LZ4 veya ZSTD sıkıştırmadan faydalanırken, battery_level gibi (muhtemelen tekrarlayan değerlere sahip) düşük kardinaliteli sütunlar sözlük kodlamasından (dictionary encoding) veya daha basit kodlayıcılardan faydalanabilir. Ayrıca, granularity (incelik) ayarını yapmak hayati önem taşır. Varsayılan granül boyutu 8192 satırdır. Sık sık küçük zaman pencerelerini sorguladığınız yüksek frekanslı telemetri için, daha küçük bir granül boyutu (ör. 4096), biraz daha yüksek meta veri maliyeti karşılığında okuma performansını iyileştirebilir.

Belirli sütunlar için sıkıştırmayı açıkça ayarlamak için sütun tanımında CODEC parametresini kullanabilirsiniz:

ALTER TABLE iot_telemetry
MODIFY COLUMN sensor_type CODEC(LZ4);

ALTER TABLE iot_telemetry
MODIFY COLUMN temperature CODEC(ZSTD);

ZSTD, sayısal veriler için genellikle LZ4'ten daha iyi sıkıştırma oranları sunar ancak daha yavaştır. Hızın öncelikli olduğu gerçek zamanlı panolar için, sık erişilen sütunlarda genellikle LZ4 tercih edilir.

Veri Yaşam Döngüsü Yönetimi İçin Bölümleme (Partitioning)

IoT verileri için zaman bazlı bölümleme, TTL (Time-To-Live / Yaşam Süresi) politikalarını ve verimli veri budamasını (pruning) kolaylaştırmak için gereklidir. event_time üzerinde bölümleme yaparak, eski verileri tüm tabloyu taramadan kolayca silebilir veya soğuk depolamaya taşıyabilirsiniz. Veri hacmine bağlı olarak, ay veya gün bazında bölümleme yaygın bir kalıptır.

ALTER TABLE iot_telemetry
PARTITION BY toMonth(event_time);

ALTER TABLE iot_telemetry
MODIFY TTL event_time + INTERVAL 90 DAY;

Bu yapılandırma, 90 günden eski verilerin otomatik olarak silinmesini sağlayarak sıcak depolama maliyetlerinizi yönetilebilir tutar. Bunu ORDER BY anahtarıyla birleştirmek, verilerin hem hızlı aramalar için sıralanmış hem de kolay yönetim için bölümlenmiş olduğu son derece verimli bir fiziksel düzen oluşturur.

Sonuç

ClickHouse'u IoT telemetrisi için optimize etmek sadece doğru veritabanını seçmekle ilgili değildir; şema tasarımınızı sorgu kalıplarınızla hizalamakla ilgilidir. ORDER BY anahtarını dikkatlice seçerek, sıkıştırma kodlayıcılarını ayarlayarak ve stratejik bölümleme uygulayarak, saniyede milyonlarca veri noktasını saniyenin altındaki sorgu süreleriyle işleyebilen sağlam bir sistem oluşturabilirsiniz. Bu temel ilkelerle başlayın ve ek optimizasyon fırsatlarını belirlemek için sorgu günlüklerinizi izleyin.