Veri Madenciliğinin Disiplinlerarası Doğası#

Veri madenciliği, çeşitli uzmanlık alanlarından yararlanan oldukça disiplinlerarası bir alandır:

• İstatistik: Regresyon ve hipotez testi gibi birçok veri madenciliği tekniği için teorik temel sağlar.
• Makine Öğrenimi: Sınıflandırma, kümeleme ve tahmin için zengin bir algoritma koleksiyonu sunar.
• Yapay Zeka: Bilgi temsili ve muhakeme tekniklerine katkıda bulunur.
• Veri Tabanı Sistemleri: Verimli veri depolama, alma ve işleme teknolojisi sağlar.

KDD Süreci (Veritabanlarında Bilgi Keşfi)#

Veri madenciliği genellikle bilgi keşfi sürecinin tamamıyla eşitlenir, ancak aslında daha büyük bir süreçteki yalnızca bir adımdır. KDD süreci tipik olarak aşağıdaki aşamalarla tanımlanır:

1. Seçim: Mevcut kaynaklardan çıkarılacak verilerin seçilmesi.
2. Ön işleme: Gürültüyü ve tutarsızlıkları gidermek için verileri temizleme.
3. Dönüştürme: Verinin madenciliğe uygun formata dönüştürülmesi.
4. Veri Madenciliği: Veri modellerini çıkarmak için akıllı yöntemlerin uygulanması.
5. Değerlendirme: Bazı ilgi çekicilik ölçümlerine dayalı olarak bilgiyi temsil eden gerçekten ilginç kalıpların belirlenmesi.
6. Bilgi Sunumu: Çıkarılan bilginin görselleştirilmesi ve kullanıcıya sunulması.

NOTE

[The KDD Process]

Veri Madenciliği Neden Önemlidir?#

Günümüz dünyasında veriler benzeri görülmemiş bir hızla üretiliyor. Veri madenciliği, bu ham verileri eyleme geçirilebilir içgörülere dönüştürmek için çok önemlidir. İşte gerçek dünyadaki uygulamalarına birkaç örnek:

• İşletme: Müşteri segmentasyonu, pazar sepeti analizi ve kayıp tahmini.
• Finans: Dolandırıcılık tespiti, kredi puanlama ve borsa analizi.
• Sağlık hizmetleri: Hastalık tahmini, ilaç keşfi ve hasta sonuç analizi.
• Bilim: İklim modellemesi, genomik analiz ve astronomik keşif.

Veri Ön İşleme: Kritik İlk Adım#

Veri ön işleme, veri madenciliği sürecinde çok önemli bir adımdır. Ham veriler genellikle eksiktir, tutarsızdır ve/veya belirli davranış veya eğilimlerden yoksundur ve muhtemelen birçok hata içerir. Veri ön işleme, bu tür sorunları çözmenin bir yöntemidir.

• Veri Temizleme: Bu, eksik değerlerin doldurulmasını, gürültülü verilerin düzeltilmesini, aykırı değerlerin belirlenmesini veya kaldırılmasını ve tutarsızlıkların çözülmesini içerir.
• Veri Entegrasyonu: Bu, birden fazla veritabanının, veri küpünün veya dosyanın entegre edilmesini içerir.
• Veri Dönüşümü: Bu, normalleştirmeyi ve toplamayı içerir. Normalleştirme, verileri daha küçük, belirtilen aralığa ölçeklendirme işlemidir.
• Veri Azaltma: Bu, hacmin azaltılmasını ancak aynı veya benzer analitik sonuçların üretilmesini içerir.

Denetimli Öğrenme: Etiketli Verilerden Öğrenme#

Denetimli öğrenme, etiketli eğitim verilerinden bir işlev çıkarmaya yönelik veri madenciliği görevidir. Eğitim verileri bir dizi eğitim örneğinden oluşur.

• Sınıflandırma: Bir sınıflandırma modeli, gözlemlenen değerlerden bazı sonuçlar çıkarmaya çalışır. Bir veya daha fazla girdi verildiğinde, bir sınıflandırma modeli bir veya daha fazla sonucun değerini tahmin etmeye çalışacaktır.

TIP

[Example of Classification] Kredi başvurusunda bulunanları düşük, orta veya yüksek kredi riskine sahip olarak tanımlamak için bir sınıflandırma modeli kullanılabilir. :::* Regresyon: Regresyon modelleri sürekli bir değer öngörür.

TIP

[Example of Regression] Bir evin satış fiyatını özelliklerine göre tahmin etmek için regresyon modeli kullanılabilir.

Denetimsiz Öğrenme: Etiketlenmemiş Verilerdeki Kalıpları Bulma#

Denetimsiz öğrenme, önceden var olan etiketler olmadan ve minimum insan denetimiyle bir veri kümesinde önceden tespit edilmemiş kalıpları arayan bir makine öğrenimi türüdür.

• Kümeleme: Kümeleme, popülasyonu veya veri noktalarını, aynı gruplardaki veri noktaları aynı gruptaki diğer veri noktalarına diğer gruplardakilere göre daha benzer olacak şekilde birkaç gruba bölme görevidir.
• İlişkilendirme Kuralı Madenciliği: Birliktelik kuralı madenciliği, ilişkisel veritabanları, işlemsel veritabanları ve diğer veri deposu biçimleri gibi çeşitli veritabanlarında bulunan veri kümelerinden sık görülen kalıpları, korelasyonları, ilişkileri veya nedensel yapıları bulmayı amaçlayan bir prosedürdür.

Yarı Denetimli Öğrenme: Her İki Dünyanın En İyisi#

Yarı denetimli öğrenme, eğitim sırasında az miktarda etiketli veriyi büyük miktarda etiketsiz veriyle birleştiren bir makine öğrenimi yaklaşımıdır. Bu yaklaşımın, denetimsiz öğrenme (etiketlenmiş eğitim verileri olmadan) ile denetimli öğrenme (tamamen etiketlenmiş eğitim verileriyle) arasında bir orta yol olması amaçlanmaktadır.

Web Madenciliği: Bilgi için Web Madenciliği#

Web madenciliği, World Wide Web’deki kalıpları keşfetmek için veri madenciliği tekniklerinin uygulanmasıdır. Web’de mevcut olan çok miktarda veriden yararlı bilgilerin çıkarılması işlemidir.

• Web İçeriği Madenciliği: Bu, web belgelerinin içeriğinden yararlı bilgilerin çıkarılması işlemidir.
• Web Yapısı Madenciliği: Bir web sitesinin yapısını keşfetme işlemidir.
• Web Kullanım Madenciliği: Kullanıcıların internette ne aradığını bulma işlemidir.

Metin Madenciliği: Metin Verilerinden İçgörülerin Kilidini Açmak#

Metin veri madenciliği olarak da adlandırılan metin madenciliği, metinden yüksek kaliteli bilgi elde etme işlemidir. Yüksek kaliteli bilgi, tipik olarak, istatistiksel model öğrenme gibi yollarla kalıpların ve eğilimlerin tasarlanması yoluyla elde edilir.

• Doğal Dil İşleme (NLP): NLP, bilgisayarların insan dilini anlamasına, yorumlamasına ve yönetmesine yardımcı olan bir yapay zeka alanıdır.
• Duygu Analizi: Duygu analizi, duygusal durumları ve öznel bilgileri sistematik olarak tanımlamak, çıkarmak, ölçmek ve incelemek için doğal dil işleme, metin analizi, hesaplamalı dil bilimi ve biyometrinin kullanılmasıdır.
• Konu Modelleme: Konu modelleme, bir belge koleksiyonunda meydana gelen soyut “konuları” keşfetmeye yönelik bir istatistiksel model türüdür.

Uzamsal ve Zamansal Veri Madenciliği: Konum ve Zamana Dayalı Verilerin Analizi#

Uzamsal veri madenciliği, büyük uzamsal veri kümelerinden ilginç ve önceden bilinmeyen ancak potansiyel olarak yararlı kalıpları keşfetme sürecidir. Zamansal veri madenciliği, büyük zamansal veri kümelerinden ilginç ve önceden bilinmeyen ancak potansiyel olarak yararlı kalıpları keşfetme sürecidir.

Grafik Madenciliği: Ağlardaki Modelleri Keşfetmek#

Grafik madenciliği, büyük grafik veri kümelerinden ilginç ve önceden bilinmeyen ancak potansiyel olarak yararlı desenleri keşfetme sürecidir.

Gizlilik Kaygıları ve Veri Anonimleştirme#

Veri madenciliği genellikle kişisel verilerin toplanmasını ve analizini içerir; bu da uygun şekilde ele alınmadığı takdirde gizlilik ihlallerine yol açabilir. Verilerin anonimleştirilmesi gibi teknikler bireysel gizliliğin korunmasına yardımcı olabilir ancak bunlar her zaman kusursuz değildir.

WARNING

[The Limits of Anonymization] 2006 yılında AOL, araştırma amacıyla anonimleştirilmiş arama sorgularından oluşan geniş bir veri kümesi yayınladı. Ancak araştırmacılar, arama sorgularını kamuya açık diğer bilgilerle çapraz referans vererek bazı kullanıcıların anonimliğini kaldırmayı başardılar.

Veri Madenciliğinde Önyargı ve Adillik#

Veri madenciliği modelleri yalnızca üzerinde eğitildikleri veriler kadar iyidir. Eğitim verileri önyargılar içeriyorsa model bu önyargıları öğrenecek ve güçlendirecektir. Bu, adil olmayan veya ayrımcı sonuçlara yol açabilir.

IMPORTANT

[Fairness in Data Mining] Verilerdeki önyargının etkisini azaltabilecek, adalete duyarlı veri madenciliği algoritmalarının geliştirilmesi ve kullanılması çok önemlidir. Bu aktif bir araştırma alanıdır.

”Kara Kutu” Sorunu ve Yorumlanabilirlik#

Derin sinir ağları gibi birçok gelişmiş veri madenciliği modeli genellikle “kara kutular” olarak anılır çünkü kararlarını nasıl verdiklerini anlamak zordur. Bu yorumlanabilirlik eksikliği, sağlık hizmetleri ve ceza adaleti gibi yüksek riskli uygulamalarda büyük bir sorun olabilir.

Büyük Verinin ve Derin Öğrenmenin Yükselişi#

Büyük verilerin çoğalması, veri madenciliği için yeni fırsatlar ve zorluklar yarattı. Geleneksel veri madenciliği teknikleri genellikle büyük verilerin hacmini, hızını ve çeşitliliğini ele alacak kadar ölçeklenebilir değildir. Makine öğreniminin bir alt alanı olan derin öğrenme, büyük ve karmaşık veri kümelerini analiz etmek için güçlü bir araç olarak ortaya çıktı.

Otomatik Veri Madenciliği (AutoML)#

AutoML, makine öğreniminin gerçek dünyadaki sorunlara uygulanmasına ilişkin uçtan uca sürecin otomatikleştirilmesi sürecidir. AutoML’in amacı uzman olmayanların makine öğrenimi ve veri madenciliği tekniklerini kullanmasını kolaylaştırmaktır.

Veri Madenciliğinin Yapay Zeka ve Nesnelerin İnterneti ile Entegrasyonu#

Nesnelerin İnterneti (IoT), fiziksel cihazlar, araçlar, ev aletleri ve elektronik, yazılım, sensörler, aktüatörler ve bu nesnelerin birbirine bağlanmasını ve veri alışverişinde bulunmasını sağlayan bağlantılarla donatılmış diğer öğelerden oluşan bir ağdır. Veri madenciliğinin yapay zeka ve IoT ile entegrasyonu, fiziksel dünyadan öğrenebilen ve onunla etkileşime girebilen akıllı sistemlerin geliştirilmesine olanak sağlayacaktır.