Azure Storage - Queue .Net SDK?

Daha önce kuyruk yapısının nasıl çalıştığından bahsetmiştim şimdi ise kod kısmına değinelim.

Kuyruk çok karmaşık bir yapı olmadığından dolayı kodlamasıda oldukça basit.

İlk önce tüm Azure servislerinde olduğu gibi bağlanmamız gerekli ardından ise bir kaç farklı method ile tüm işlerimizi halledebiliriz.

   

Bağlantı

   

// Storage Account bilgilerimizi AppSettingsden okuyoruz ve bir CloudStorageAccount instance'i olusturuyoruz

CloudStorageAccount storageAccount = CloudStorageAccount.Parse(ConfigurationManager.AppSettings["StorageConnectionString"]);

   

// Kuyruk islemlerimiz icin bir CloudQueueClient yaratiyoruz

CloudQueueClient queueClient = storageAccount.CreateCloumdQueueClient();

// myqueue ismindeki kuyrugumun referansını alıyoruz

CloudQueue queue = queueClient.GetQueueReference("myqueue");

// eger myqueue yok ise yaratiyoruz.

queue.CreateIfNotExists();

   

Yeni Mesaj Ekleme

// yeni bir mesaj yaratıyoruz

CloudQueueMessage message = new CloudQueueMessage("First Message");

//Mesajı kuyruga ekliyoruz

queue.AddMessage(message);

   

PeekMessage

CloudQueueMessage peekedMessage = queue.PeekMessage();

// yukaridaki satir ile siradi mesaji okuduk ama mesaj hala kuyrukta kalmaya devam ediyor, sadece bir göz attık diyebiliriz.

   

Mesajı Alma ve Silme

// siradaki mesaji aldik.
CloudQueueMessage retrievedMessage = queue.GetMessage();

//mesaji isleyecek kodu buraya yaziyor.

//mesaji isledik ve isimzi bitti, mesaji kuyruktan siliyoruz.
queue.DeleteMessage(retrievedMessage);

   

Yukaridaki mesaj alma ve silme işleminde dikkat edilmesi gereken önemli bir nokta var,

GetMessage() komutundan sonra varsayılan olarak 30 saniyeliğine mesaj kuyrukta görünmez hale gelir ancak kuyruktan silinmez. Eğer 30 saniye icerisinde DeleteMessage() methodunu çağırmazsanız mesaj tekrar kuyrukta belirecektir. Buda mesajin tekrar işlenmesine sebep olacaktır.

   

Sınırlamalar

  • Bir mesaj en fazla 64 kb olabilir
  • Lease/Lock süresi: 7 gün maximum.
  • Queue maximum 200gb olabilir.
  • Bir mesaj kuyrukta en fazla 7 gün durabilir.
  • Saniyede maximum 2000 mesaj kuyruktan gecebilir.

       

Azure Storage - Queue Nedir?

   

Azure Storage servisleri içerisinde Queue, Blob, Table, File(preview) gibi farklı depolama seçenekleri var, ben bu post'ta Queue'ya değineceğim.

Nedir bu Queue?

Queue, türkçede kuyruk.

Bilgisayar mühendisliği veya benzeri bölümler okuyan arkadaşların iyi hatırlayacağı üzere queue(kuyruk) bir abstract data type (ADT), aslında bakarsanız Azure üzerinde kuyruk kullanmak o derste öğretilen kadar zor ve karmaşık değil.

   

Yukarıdaki resim MSDN'den aldığım bir image ve bence kuyruğu en iyi ifade eden görsellerden biri.

Öncelikle bileşenleri tanıtıyım,

  • Solda görmüş olduğunuz Web Role -> bildiğiniz web sitesi
  • Orta ve aşağıdaki Windows Azure Queue -> türkçesi kuyruk, bu arkadaşın nasıl çalıştığını anlamaya çalışıyoruz.
  • Sağdaki Worker Role -> basit olarak anlatmak gerekirse sürekli çalışan bir program.

   

Yukarıdaki görselde gördüğünüz gibi kuyruğa sürekli web sitesi tarafından bir şeyler ekleniyor ve worker role bunları okuyup işliyor. Tam olarak üniversitelerde öğrenmiş olduğumuz kuyruk yapısı gibi "FIFO" first-in-first-out çalışmıyor aslına bakarsanız. Buna daha sonra değiniriz.

   

Örnek senaryo

Bir e ticaret sitemiz olduğunu düşünelim ve kullanıcı ödeme işlemenini yaptıktan sonra 3 farklı işlem yapılması gerektiğini düşünelim.

  • Satış stok takip programına işlenmeli
  • Kargo firmasının api'lari ile işlem yapılmalı
  • Kullanıcıya mail atılmalı

Bu işlemlerin hepsi kullanıcı ödemesini tamamladıktan sonra yapılmalı. Baktığımızda bu işi buton'a basıldığında yapabiliriz diye düşünebiliriz ancak gerçekte iş biraz daha karışık. Butona basıldığı anda bu kadar işi bir anda yaparsanız kullanıcı cok fazla bekler belkide request timeout olur. Bu işlemlerden bazıları o anda teknik sebeplerden ötürü yapılamaya bilir ve sizin bir retry logic kurmanız gerebilir. Bu konuların hepsinden kaçınıp kuyruk kullanarak bu senaryoyu başarabiliriz.

Nasıl yapmalıyız?

Kullanıcı ödeme işlemini tamamladığından bu satış işleminin identifier'ini web sitesi kuyruğa koyar. Worker role bu kuyruğu sürekli kontrol eder ve satış bilgisi geldiği anda yukarıdaki 3 adımı sırası ile gerçekleştirir. Eğer bir hata oluşursa otomatik olarak kuyruğa tekrar ekler ve ilerleyen zamanlarda tekrar dener.

   

Dizayn olarak bakacak olursak, bu yapıyı kullanarak sistemlerimizi birbirinden bağımsız hale getirirerek daha iyi bir mimari dizayn ortaya koyabiliriz. Örneğin bizim birden çok e ticaret sitemiz var ancak hepsi için az önce yukarıda anlattığımız senaryo aynı, bütün siteler tek depo ile çalışıyor ve aynı kargo firması ile çalışıyor. Bu durumda farklı web sitelerimiz aynı kuyruğa mesaj koyabilir ancak okuyacak worker role bunların nereden geldiğini önemsemeden alır ve işler böylece sistemimiz daha güzel bir mimariye sahip olmuş olur. Sistemin bileşenleri arasında bağımlılık en aza indirilmiş olur. Keyword: decoupling

   

Azure Queue'da mesaj aynı anda sadece bir alıcıya ulaşır. Yani eğer sizin iki tane worker role'unuz var ve aynı kuyrugu kontrol ediyorsa bunlardan biri mesajı alır ve diger alamaz. Birbirlerinden mesajları çalarak ilerlerler. Eğer sisteminizde bir worker role yetmiyorsa ikinci worker role'u eklerseniz sisteminizin çalışma hızı yaklaşık 2 ye katlanmış olur. Eğer mesajların aynı anda iki worker role'ede iletilmesini istiyorsanız Service Bus'ı kullanmayı düşünmelisiniz.