Büyük veri, özellikle son on yıl içerisinde geniş bir çevreyi etkisi altına alarak oldukça popüler hale geldi. İş dünyasından tutun da siyaset, tıp, doğa bilimleri, sosyal bilimler gibi alanları kapsayarak oldukça geniş çaplı bir devrime yol açtı. Kullanım alanlarının genişliği ve ortaya çıkardığı çok amaçlı sonuçlar bakımından büyük veri, geleceği şekillendirecek teknolojilerin gelişmesine ortam sağlıyor. Peki, “Büyük Veri” tam olarak nedir, ne anlama gelir?
Büyük veriyi gerçek manada kavrayabilmek için gelişimiyle alakalı tarihsel altyapıya sahip olmak oldukça gerekli. İlerleyen kısımlarda büyük verinin tarihine değinilecek ama öncesinde ön bilgiler verip okuyucunun zihninde konunun şekillenmesini sağlamak istiyorum.
İlk olarak anlamına göz atalım, Gartner’ın (ABD merkezli bir piyasa araştırmaları enstitüsü) 2001 yılında yaptığı ve hâlâ kabul edilen tanım şu şekilde: ”Büyük veri, hacmi git gide artan, diğerlerine göre daha yüksek hıza ve çeşitliliğe sahip veriler bütünüdür.” Basitçe açıklamak gerekirse büyük veri, yeni veri kaynaklarından daha büyük ve karmaşık veri kümeleridir demek mümkün. Bu veri kümeleri o kadar hacimlidir ki geleneksel veri işleme yazılımları ile yönetilmeleri olanaksızdır. Fakat bahsettiğimiz bu karmaşık yapının işlenmesi, daha önce çözemediğimiz iş sorunlarının üstesinden gelmek için kullanılabilir.
Büyük Verinin Özellikleri
Bu kısımda büyük verinin üç ana unsurundan bahsedeceğiz.
1-HACİM
Veri miktarı, analiz açısından oldukça önemli bir parametre olarak kabul ediliyor. Büyük veri analizlerinde yüksek hacimli, düşük yoğunluklu ve yapılandırılmamış verileri işlemeniz gerekir. Bunlar, Twitter’daki veri akışı ya da bir web sayfasındaki tıklama miktarı gibi bilinmeyen değere sahip veriler olabilir. Bazı kuruluşlar için bu onlarca terabayt veri anlamına gelirken bazıları için yüzlerce petabayt olabilir.
(Anlaşılması için: 1 Petabayt = 1,073,741,679.44 Megabayt)
2-HIZ
Hız, verilerin bir yerden bir yere aktarılırken geçen süreye ve etkileşime bağlı olarak tanımlanabilir. Normal şartlarda, en yüksek hızdaki veri akışı diske yazılmak yerine doğrudan belleğe aktarılır. Bazı internet erişimli akıllı ürünler, gerçek zamanlı ya da gerçek zamanlı sisteme yakın çalışır. Dolayısıyla gerçek zamanlı değerlendirme ve eylem gerektirir. Bu da bahsedilen boyutlardaki veriler için oldukça zor bir işlemdir.
3- ÇEŞİTLİLİK
Çeşitlilik, mevcut olan birçok veri türünü ifade eder. Bilinen-geleneksel veri tipleri, yapılandırılmış ve ilişkisel bir veri tabanına tam olarak oturmuş halde bulunur. Büyük veri boyutunun artmasıyla birlikte hâlihazırda var olan bilgilerin yerini yapılandırılmamış, yeni veri türleri alır. Metin, ses, video gibi yapılandırılmamış ya da yarı yapılandırılmış veri türlerinden anlam çıkarabilmek, onları analiz edebilmek ve meta verileri (Metadata)* destekleyebilmek için ek olarak bir ön işlem yapılması gerekir.
*Metadata: Diğer verilere açıklama sağlayan veriler bütünüdür. Belirli bir öğenin içeriği hakkında bilgi sağlar. Örnek olarak bir fotoğrafın meta verileri gösterilebilir. Fotoğrafın ne kadar büyük olduğunu, çözünürlüğünü, fotoğrafın oluşturulma tarihini içeren veri, meta veri olarak adlandırılır. Bir diğer örnek olarak metin belgesinin meta verileri, belgenin boyutu, yazarın kim olduğu, belgenin ne zaman yazıldığı ve belgenin kısa bir özeti hakkında bilgiler içerebilir.
Büyük Verinin Doğruluğu ve Değeri
Geçtiğimiz birkaç yıl içerisinde, büyük verinin kullanımının artması ve popülerleşmesi sonucu yukarıda bahsettiğimiz üç özelliğe ek olarak iki özellik daha ortaya çıktı: Değer ve Doğruluk.
Her verinin kendine özgü bir değeri var. Ancak bu değer keşfedilmeden yani veri analiz edilmeden söz konusu değer herhangi bir fayda sağlamaz. Bu değeri bir altın rezervi içinde bulunan maden olarak kabul edelim. Altın madenini ortaya çıkarmadıkça ve onu işleme tabi tutmadıkça ne değeri kalır?
Veri değerinin yanında veri doğruluğunun da aynı derecede önemli bir husus olduğunu kabul etmek gerekir. Gün boyunca elde edindiğiniz bilgilerin ne kadarına kesin olarak doğru diyebilir ve ne kadarına tam olarak güvenebilirsiniz?
Günümüzde büyük veri küresel bir sermaye haline geldi. Dünyanın en büyük teknoloji şirketlerinden bazılarını şöyle bir düşünün. Ürettikleri ve sundukları değerlerin oldukça büyük bir kısmı, daha fazla verimlilik sağlamak ve yeni ürünler geliştirmek için sürekli analiz etikleri verilerden meydana geliyor.
Yaşanan son teknolojik gelişmeler, veri depolama ve analiz maliyetlerini azımsanamayacak ölçüde düşürdü. Bu durum veri depolama işlemini geçmişe nazaran daha kolay ve ucuz hale getirdi. Artık yüksek boyutlu ve erişime açık büyük veri sayesinde oldukça doğru ve kesin ticari kararlar vermek mümkün.
Büyük Veri içerisinde bilgi aramak yalnızca analiz etmek manasına gelmez. (Analiz yoluyla verilere ulaşmak büyük verinin bir diğer avantajıdır) Büyük veri araştırması, içerisinde bilgili analistler, iş dünyası temsilcileri; doğru soruları sorabilen, tecrübeli, bilinçli fikirlere sahip ve öngörülü yöneticiler bulunması gereken bir keşif sürecidir.
Büyük Veri Nasıl Çalışır?
1-Birleştirme
Büyük veri, birçok farklı kaynak ve uygulamadan edindiği verileri kendi içinde bir araya getirir. Çıkartma, dönüştürme ve yükleme gibi geleneksel veri entegrasyon mekanizmaları çoğu zaman işe yaramaz. Terabayt hatta petabayt ölçeğindeki büyük verileri analiz etmek için yeni stratejiler ve teknolojilere ihtiyaç duyulur. Entegrasyon sırasında verileri bir araya getirdikten ve işlemden geçirdikten sonra işletme analistlerinin üzerinde çalışabileceği bir biçimde biçimlendirildiğinden emin olmak gerekir.
2-Yönetme
Büyük veri büyük miktarlarda depolama gerektirir. Depolama işlemi bulut sistem içinde ya da büyük verinin o an bulunduğu ortamda saklanması yoluyla gerçekleştirilebilir. Bunun yanında iki çözümün aynı anda uygulanması da mümkündür. Verilerinizi istediğiniz herhangi bir biçimde saklayabilir ve istediğiniz işlem gereksinimlerini ve gerekli işlem motorlarını talep üzerine bu veri kümelerine yönlendirebilirsiniz. Pek çok kişi, verilerinin bulunduğu yere göre depolama çözümünü seçer ancak bulut depolama sistemi giderek artan bir şekilde popülerlik kazanıyor çünkü mevcut bilgi işlem gereksinimlerinizi destekliyor ve kaynakları gerektiği gibi kullanmanızı sağlıyor.
3-Analiz Etme
Büyük verilere yaptığınız yatırım, verilerinizi analiz edip işlem yaptığınızda karşılığını verir. Çeşitli veri kümelerinizin görsel analiziyle netlik elde edebilir, yeni keşifler yapmak için daha fazla veri araştırması yapabilir, bulgularınızı başkalarıyla paylaşabilir ve makine öğrenimi, yapay zekâ ile veri modelleri oluşturabilirsiniz.
Tüm bu bilgilerden sonra büyük verinin tarihine ve gelişim sürecine göz atabiliriz.
Büyük Verinin Tarihi
Büyük veri kavramı nispeten yeni olsa da büyük veri kümelerinin kökenleri, ilk veri merkezleri ve veri tabanlarının geliştirilmesiyle birlikte veri dünyasının yeni yeni ortaya çıktığı 1960-1970’li yıllara dayanıyor.
2005 yılı civarında insanlar, Facebook, YouTube ve diğer çevrimiçi hizmetler yoluyla kullanıcıların ne kadar veri ürettiğini anlamaya ve gözlemleye başladı. Aynı yıl Hadoop (Özellikle büyük veri kümelerini depolamak ve analiz etmek için oluşturulan açık kaynaklı bir sistem) geliştirildi. Bu esnada bir veritabanı uygulaması olan NoSQL de popülerlik kazanmaya başladı.
Hadoop – ve de son zamanlarda Spark – gibi açık kaynaklı sistemlerin geliştirilmesi, büyük verilerin gelişimi için çok önemliydi çünkü bu sistemler büyük verilerin koordineli şekilde çalışmasını ve depolanmasını daha ucuz hale getiriyorlardı. O zamandan beri, büyük verilerin hacmi olağanüstü derece arttı. Kullanıcılar hala çok büyük miktarlarda veri oluşturmaya devam ediyor ancak veri oluşturma işlemini yalnızca insanların yaptığını düşünmek bizleri büyük bir yanılgıya düşürür.
Nesnelerin İnterneti’nin (IoT) ortaya çıkması sonucu, müşteri kullanım şekilleri ve ürün performansı hakkında veri toplanması yoluyla internete daha fazla nesne ve cihaz bağlanır oldu. Bunun yanında makine öğreniminin veri oluşturma üzerindeki etkisi hala gözle görülür derecede büyük.
Bulut bilişim, büyük veri olanaklarını daha da genişletti. Bulut bilişim ortamı, geliştiricilerin bir veri kümesini test etmek için geçici kümeleri kolayca işleme sokabilecekleri oldukça esnek ölçeklenebilirlik sunan bir platform olarak karşımıza çıkıyor.
Büyük Verinin Kullanım Alanları
Büyük veriler robotik, tıp, mühendislik gibi alanlarda kullanılmakla birlikte müşteri deneyiminden analitiğe kadar bir dizi ticari etkinliği de ele almamıza yardımcı olabilir. İşte bunlardan birkaçı:
Ürün Geliştirme
Netflix ve Procter & Gamble gibi şirketler, müşteri talebini tahmin etmek için büyük veriler kullanır. Geçmiş ve mevcut ürün veya hizmetlerin temel özelliklerini sınıflandırıp bu özellikler ile tekliflerin ticari başarısı arasındaki ilişkiyi modelleyerek yeni ürünler ve hizmetler için öngörücü modeller oluştururlar. Ek olarak, P&G yeni ürünler planlamak, üretmek ve piyasaya sürmek için odak gruplardan, sosyal medyadan, test pazarlarından ve ilk mağaza dağıtımından gelen veriler ile birlikte veri analizlerini kullanıyor.
Öngörücü Bakım
Mekanik arızaları tahmin edebilen faktörler, ekipmanın yılı, markası ve modeli gibi yapısal veriler ve ayrıca milyonlarca kayıt girişini, sensör verilerini, hata mesajlarını ve motor sıcaklığını kapsayan yapılandırılmamış veriler, veri sistemi içine gömülebilir. Böylece olası sorunlar yaşanmadan önce problem göstergelerini analiz etme yöntemini uygulayan kuruluşlar, ürün bakımını daha uygun maliyetle yapıp parça ve ekipman çalışma süresini en üst düzeye çıkarabilir.
Müşteri Deneyimi
Artık müşteri deneyiminin oldukça net bir şekilde görülmesi her zamankinden daha mümkün. Büyük veri, etkileşim deneyimini geliştirmek ve sunulan değeri en üst düzeye çıkarmak için sosyal medya, web ziyaretleri, çağrı günlükleri ve diğer veri kaynaklarından veri toplamanıza olanak tanır. Böylece kuruluşlar kişiselleştirilmiş teklifler sunabilir, müşteri kaybını azaltabilir ve sorunları proaktif olarak ele alabilir.
Dolandırıcılık ve İtaat
Güvenlik söz konusu olduğunda, sadece birkaç haydut hacker ile değil, tüm uzman ekiplerle karşı karşıya kalırsınız. Neyse ki güvenlik sistemleri ve uyumluluk gereksinimleri sürekli olarak gelişim gösteriyor. Büyük veriler, düzenleyici raporlamayı çok daha hızlı yapmak için tehlikeli olması muhtemel verilerle birlikte toplu bilgileri derleyen verilerdeki kalıpları fark etmenize yardımcı olur ve olası problemlerin önüne geçer.
Makine Öğrenimi
Makine öğrenmesi şu sıralar oldukça popüler bir konu ve bu popülerlik ile birlikte makine öğrenim teknolojisindeki gelişimlerin ana kaynakların biri elbette büyük veri. Artık makineleri uzun uzun planlamak yerine onlara bilgiyi kullanmayı öğretebiliyoruz. Büyük verinin analizi yoluyla elde edilen bilgiler makine öğrenim modellerini üretmemizi ve öğrenim sürecini hızlandırmamızı kolaylaştırıyor.
Operasyonel Verimlilik
Operasyonel verimlilik, çoğu zaman haber değeri taşımaz ancak büyük veri en çok bu alanda etkili olur. Büyük verileri kullanarak, imalat ile satış sürecindeki kesintileri azaltmak ve gelecekteki talepleri tahmin etmek için üretimi, müşteri geri bildirimlerini ve diğer faktörleri analiz etmek, değerlendirmek mümkün. Bunun yanında mevcut pazar talebine göre karar vermeyi iyileştirmek ve kolaylaştırmak için yine büyük veriler kullanılabilir.
Yenilikçilik
Büyük veriler; insanlar, kurumlar, varlıklar ve süreç arasındaki karşılıklı bağımlılıkları-ilişkiyi inceleyerek ve daha sonra bu bilgileri kullanmanın yeni yollarını belirleyerek inovasyon yapmanıza yardımcı olabilir. Aynı zamanda finans ve planlama konularındaki kararları iyileştirmek için veri öngörüleri kullanılabilir. Müşterilerin, hangi yeni ürünlerden, yeni teknolojilerden faydalanmak istediğini büyük veri analizi yoluyla tespit etmek mümkün. Günün şartlarına bağlı olarak elde edilen veriler yoluyla ürünler için dinamik fiyatlar belirlemek büyük verinin sunduğu diğer imkânlardan biri. Bu gibi imkânların sayısı elbette çoğaltılabilir.
Büyük Veri Kullanımının Zorlukları
Yukarıda saydığımız imkânları iş ve bilim insanlarına, mühendislere, doktorlara vs. sunan büyük veriden bahsederken onun bazı zorluklarının olduğunu da belirtmemizde fayda var. İlk olarak, büyük veri adının da üstünde olduğu gibi oldukça büyük. Veri depolamak için yeni teknolojiler geliştirilmiş olmasına rağmen, veri hacimleri yaklaşık iki yılda iki katına çıkıyor ve veri saklama işlemleri ile alakalı sıkıntılar yaşanıyor. Örgütler, hala edindikleri verilere ayak uydurmak ve onları etkili bir şekilde saklamak için etkili çözümler bulmakta zorlanıyorlar.
Fakat iş yalnızca verilerin depolanmasıyla bitmiyor. Verilerin kullanılabilmesi için değerli olmaları şarttır ve verilerin değerli olması da iyileştirilme durumlarına bağlıdır. Bu nedenle verileri gereksiz bilgilerden ayıklamak gerekir. Bunun yanında verileri, müşterilere ve araştırmacılara hitap edecek ve anlamlı analizler sağlayacak şekilde düzenlemenin de faydalı olduğunu belirtmeden geçmeyelim. Elbette bu aşamalar oldukça fazla çalışma gerektiriyor. Veri bilimciler, zamanlarının yüzde 50 ila 80’ini gerçekten kullanılmadan önce veri iyileştirmek ve hazırlamak için harcıyorlar.
Son olarak, büyük veri teknolojisi hızla değişiyor. Birkaç yıl önce, Apache Hadoop büyük verileri işlemek için kullanılan popüler teknolojiydi. Ardından Apache Spark 2014 yılında tanıtıldı. Bugün, iki sistemin bir kombinasyonu olan ORACLE en iyi yaklaşım gibi görünüyor. Kısacası büyük veri teknolojisine ayak uydurmak sürekli olarak devam eden bir zorluk olarak karşımıza çıkıyor.
Büyük Veri ve Data Analizinin Faydaları
- Büyük veri, daha fazla bilgiye sahip olmamızı sağladığı için daha eksiksiz cevaplar almamızı mümkün kılar.
- Daha eksiksiz cevaplar, verilere daha fazla güvenmek anlamına gelir. Bu durum da sorunların çözülmesinde tamamen farklı yöntemlerin kullanımına olanak sağlar.
KAYNAKÇA
- https://www.oracle.com
- https://www.gartner.com
- https://whatis.techtarget.com
