İstatistik Konu Anlatımı

Konu anlatımı notları

1. Parametre Tahmini ve Örneklem Yapısı

   İstatistikte parametrik çıkarım, bilinmeyen bir $\theta$ parametresi ile nitelendirilen bir ana kütleden rastgele çekilen gözlemler aracılığıyla $\theta$ hakkında kesin yargılara ulaşmayı hedefler.

   $X_1, X_2, \dots, X_n$ dizisi, olasılık yoğunluk fonksiyonu veya olasılık kütle fonksiyonu $f(x; \theta)$ olan bir dağılımdan elde edilmiş bağımsız ve özdeş dağılımlı (i.i.d.) rastgele değişkenler olsun. Burada $\theta \in \Theta$ olup $\Theta$ parametre uzayını simgeler.

   • Tahmin Edici (Estimator): Örneklem verilerinin ölçülebilir bir fonksiyonu olan $T = u(X_1, X_2, \dots, X_n)$ rastgele değişkenidir.
   • Tahmin Değeri (Estimate): Gözlenen sayısal değerler $x_1, x_2, \dots, x_n$ yerine konduğunda elde edilen reel sayısal sonuçtur.
   • Temel Amaç: Bilinmeyen parametreye analitik veya sayısal olarak en yakın, yansız ve minimum varyanslı bir tahmin edici belirlemektir.

   Olabilirlik Fonksiyonunun Tanımı

   Gözlenen veri seti sabit kabul edildiğinde, parametrenin bir fonksiyonu olarak tanımlanan ortak olasılık yoğunluğuna olabilirlik fonksiyonu adı verilir ve $L(\theta)$ ile gösterilir:

   $$L(\theta; x_1, x_2, \dots, x_n) = \prod_{i=1}^{n} f(x_i; \theta)$$

   En Çok Olabilirlik Tahmini (Maximum Likelihood Estimation - MLE), gözlenen örneklem verilerini üretme olasılığını en yüksek kılan $\hat{\theta}$ değerini bulma ilkesine dayanır:

   $$\hat{\theta}_{MLE} = \arg\max_{\theta \in \Theta} L(\theta)$$

   Log-Olabilirlik Dönüşümü

   Çarpım biçimindeki ifadeleri toplama dönüştürmek ve türev alma işlemlerini basitleştirmek amacıyla olabilirlik fonksiyonunun doğal logaritması alınır. Doğal logaritma monoton artan bir fonksiyon olduğundan, $L(\theta)$'yı maksimize eden değer ile $\ln L(\theta)$'yı maksimize eden değer özdeştir:

   $$\ell(\theta) = \ln L(\theta) = \sum_{i=1}^{n} \ln f(x_i; \theta)$$

   Skor Fonksiyonu ve Olabilirlik Denklemi

   $\ell(\theta)$ fonksiyonu parametreye göre türevlenebilir olduğunda, birinci mertebeden türevi skor fonksiyonu olarak adlandırılır:

   $$S(\theta) = \frac{\partial \ell(\theta)}{\partial \theta}$$

   Kritik noktaları elde etmek için skor fonksiyonu sıfıra eşitlenir:

   $$\frac{\partial \ell(\theta)}{\partial \theta} = 0$$

   İkinci Mertebe Koşulu ve Fisher Bilgisi

   Bulunan kritik noktanın yerel bir maksimum olduğunu doğrulamak için ikinci mertebe türevin negatif işaretli olması gerekir:

   $$\left. \frac{\partial^2 \ell(\theta)}{\partial \theta^2} \right|_{\theta = \hat{\theta}} < 0$$

   Örneklem büyüklüğü $n$ arttıkça, en çok olabilirlik tahmin edicisi asimptotik olarak yansız, asimptotik normal dağılımlı ve etkin (Cramér-Rao alt sınırına ulaşan) bir yapı sergiler.

   Ortalama ve Varyans Parametrelerinin Birlikte Tahmini

   $X_1, X_2, \dots, X_n \sim N(\mu, \sigma^2)$ dağılımından gelen rastgele bir örneklem için log-olabilirlik fonksiyonu şu şekilde türetilir:

   $$\ell(\mu, \sigma^2) = -\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2$$

   Kısmi Türevler ve Çözümler

   1. Konum Parametresi ($\mu$):
      $\frac{\partial \ell}{\partial \mu} = \frac{1}{\sigma^2} \sum_{i=1}^{n} (x_i - \mu) = 0 \implies \hat{\mu}_{MLE} = \frac{1}{n} \sum_{i=1}^{n} x_i = \bar{x}$
   2. Ölçek Parametresi ($\sigma^2$):
      $\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^{n} (x_i - \mu)^2 = 0 \implies \hat{\sigma}^2_{MLE} = \frac{1}{n} \sum_{i=1}^{n} (x_i - \bar{x})^2$

   Önemli Çıkarım: $\hat{\mu}_{MLE}$ tam yansız bir tahmin edici iken, $\hat{\sigma}^2_{MLE}$ sonlu örneklemlerde yanlıdır (beklenen değeri $\frac{n-1}{n}\sigma^2$ olur), ancak asimptotik olarak yansızdır.