Schemino Statistica

Frequenza relativa: Numero di volte che • Pop. normale, σ non nota appare un elemento diviso il numero di prove Var. casuale: x−µ totali. ∼ T (n − 1) (con n > 30 tende alla √S fi r n fi = N Normale) Frequenza assoluta cumulata: Fi = ∑n6i fn I.C.1−α = [x ± t1− α (n − 1) √Sn ] F Frequenza relativa cumulata: Fir = ∑n6i Ni 2 Frequenza assoluta doppia: fi,k = n. di elementi del campione con valore (S j , µk )

Variabili categoriche: qualità, proprietà, ecc... (non sono quantità misurabili) √ Numero ottimale di classi: n

STIMATORI TUALI

PUN-

f

r Frequenza relativa doppia: fi,k = i,k n Frequenza cumulativa assoluta doppia: Fj,k = ∑ fri l (con r : Sr 6 S j e l : µl 6 µk ) Frequenza cumulativa relativa doppia: Fj,k = ∑ fri l

• Metodo dei momenti (momenti empirici contro momenti teorici) • Metodo di massima verosimiglianza

Metodo dei momenti X ∼ Γ(α, β ) E [x] = αβ Var (x) = αβ 2 (n) Mx = E [xn ] (1) Mx = E [x] E [x2 ] = Var (x) + (E [x])2 = αβ 2 + α 2 β 2 = αβ 2 (1 + α ) αˆ = βˆ =

2 ∑n i = 1 xi n 2 2 ∑n i=1 xi −(∑i=1 xi ) 2 2 n n ∑n i=1 xi (∑i=1 xi −(∑i=1 xi ) ) 2 n ∑n i=1 xi

(αˆ e βˆ sono detti stimatori)

Metodo di massima verosimiglianza

Principali indici statistici Media: x = Mediana: valore al di sotto del quale cadono la metà dei valori campionari • Di dispersione Range: |ximax − ximin | Scarto medio assoluto: n1 ∑ni=1 |xi − x| Media dei quadrati degli scarti: 1 n 2 n ∑i=1 (xi − x) Varianza campionaria: n 1 S2 = n−1 ∑i=1 (xi − x)2 Media e var. campionarie per dati raggr. in classi: x = ∑ki=1 ∞i xi S2 = 1n ∑ni=1 (xi − x)2 fi = 1n ∑ni=1 (xi2 fi ) − (x)2 • Di forma Indice di asimmetria: ∑ni=1

X ∼ Esp(λ ) fx (x) = λ e−λ x (con x > 0) L(x1 ,...,xn ) (λ ) = ∏ni=1 λ e−λ xi log L(x1 ,...,xn ) (λ ) = n log λ − λ ∑ni=1 xi

Curtosi: ∑ni=1

∑n i = 1 xi n

x= (la media campionaria è uno stimatore corretto della media)

∑n x E [x] = n1 [ i=n1 i n (x −x)2 ∑ S2 = i=1 n i

• Indice di correlazione campionario C (se r = 0, allora x e y non r = √ x,y S2 ( x ) S2 ( y )

] = 1n nE [xi ] = µ (stimatore non corretto della

Funzione di verosimiglianza

(x −x)2

Xi ∼ N ( µ, σ )

X ∼ N ( µ,

2

σ2 n

)

2

Var (x) = nσ = σn n2 Proprietà: Var (ax) = a2Var (x)

H0 µ = µ0 µ 6 µ0 µ > µ0

#

n

H0 µ = µ0 µ 6 µ0 µ > µ0

Var. casuale: S12 /σ12 S22 /σ22

∼F "

I.C.1−α =

S12 S22 F α 1− 2

,

S12 S22 Fα 2

I.C. per la diff. tra 2 medie

σ 6 σ2 >

r

σ12 n1

I.C.1−α = x1 − x2 ± z1− α 2

+

σ22 n2

#

• Pop. normale, σ1 e σ2 non note ma = Var. casuale: x1 −x2 −( µ1 −µ2 ) r ∼ T (n1 + n2 − 2) 1 1 n1 + n2 S p

Stimatore "pooled": (n1 −1)S12 +(n2 −1)S22 n1 +n2 −2

• Pop. normale, σ1 e σ2 non note e 6= Var. casuale: non segue la T di Student x1 −x2 −( µ1 −µ2 ) S12 S22 n1 + n2

r 2

S12 n1

+

S22 n2

#

t1 = t1− α (n1 − 1) t2 = t1− α (n2 − 1) 2

I.C. per popol. normale con σ 2 non noto T=

x−µ √S n

INTERVALLI DI CONFIDENZA (I.C.)

∼ Tn−1

α = fiducia dell’intervallo 1 − α = confidenza

I.C. = [x ± t1− α (n − 1) √Sn ] 2

Distribuzione T di Student

Intervalli unilaterali Con il 95% di confidenza, vedo quando µ è superiore (x, ∞) o inferiore (−∞, x)

n

fTn (x) =

1 n+1 Γ ( n+ 2 ) ( 1 + x2 ) − 2 √1 n nπ Γ( n 2)

Taglia del campione

(densità,

con −∞ < x < ∞) n E [Tn ] = 0 Var (Tn ) = n−2 (con n > 2) NOTA: al crescere di n, Student si avvicina alla Normale.

z n>

1− α 2 I 2

σ

2

( 2I = e2 )

= Z ∼ N (0, 1) " q

I.C.1−α = pˆ ± z1− α

Errore massimo: I σ √ 2 = z1− α n (questo è un esempio)

#

pˆ (1− pˆ ) n

) p = E ( Snn ) Var ( Snn ) = p(1−p n NOTA: si usa in caso si presentino degli errori. z 1− α EMAX = 2 2  z α 2 1− 2 n> 2pe

S z n>

1− α 2 pe

(dove pe è la prob. di errore) 2 (quando S o S2 è data)

2

I.C. per la media FREQUENZE Frequenza assoluta: Numero di volte che appare un elemento. Caso continuo: fi = {#x/x ∈ i-esima classe} Caso discreto: fi = {#x/x = xi }

• Pop. normale o camp. di t. grande, σ nota Var. casuale: x−µ σ = Z ∼ N (0, 1) √ n

I.C.1−α = [x ± z1− α √σn ] 2 (se il campione è < 30 si usa T di Student)

I.C. per diff. tra prop. con n1 ed n2 grandi I.C.1−α = " pˆ1 − pˆ2 ± z1− α

q

2

G2pˆ − pˆ 1 2

=

pˆ1 (1− pˆ1 ) n1

σ > σ2 <

σ02 σ02

2

2 2 (n − 1) χ > χ1−α χ 2 < χα2 (n − 1) 2

σ2 2 (n−1) χ (n − 1)

Test per proporzioni (pop. binomiali di taglia grande) x −P 0 r n P0 (1−P0 ) n

∼ N (0, 1)

H0 P = P0 P 6 P0 P > P0

H1 P 6= P0 P > P0 P < P0

Rifiuto H0 se |z| > z1− α 2 z > z1−α z < zα

r

Var. casuale:

2

Z ∼ N (0, 1) X ∼ χ 2 (n) Tn = √z x (v.a. t a n gradi di libertà)

2

pˆ1 − pˆ2 −( p1 −p2 )0 ∼ N (0, 1) pˆ1 (1− pˆ1 ) pˆ2 (1− pˆ2 ) + n1 n2 Test a 2 code Coda dx Coda sx H0 : p1 − p2 = ( p1 − p2 )0 H0 6 H0 > H1 : p1 − p2 6= ( p1 − p2 )0 H1 > H1 < NOTA: Per la R.C. vedi la tabella sopra. La differenza tra le frequenze relative rilevate su due campioni casuali estratti dalle due popolazioni è statisticamente significativa o invece si può ritenere puro effetto del caso?

2

I.C. per proporzioni Sn −E ( Sn ) n n q Var ( Snn )

σ02 σ02

Test per la diff. tra proporzioni

S12 S22 n1 t1 + n2 t2 S12 S22 n1 + n2

2

Rifiuto H0 se 2 χ 2 > χ1− α (n − 1) o

Per la dev. standard con camp. normale S2 6

0 I.C.1−α = x1 − x2 ± t1− α

H1 σ 2 6= σ02

χ 2 < χ 2α (n − 1)

2

σ12 σ22 n1 + n2 S p

"

∼ χ 2 (n − 1)

H0 σ 2 = σ02

• Pop. normale, σ1 e σ2 note Var. casuale: x1 −x2 −( µ1 −µ2 ) s ∼ N (0, 1)

0 t1− α =

Rifiuto H0 se |t| > t1− α (n − 1) 2 t > t1−α (n − 1) t < −t1−α (n − 1)

H1 µ 6= µ0 µ > µ0 µ < µ0

Per la var. di una pop. normale

#

(n−1)S2 σ02

S2p =

Rifiuto H0 se |z| > z1− α 2 z > z1−α z < −z1−α

H1 µ 6= µ0 µ > µ0 µ < µ0

• C. estr. da pop. norm. con var. non nota Livello di significatività: x−µ t (n) = √S 0 (µ0 è la media da verificare)

I.C. per il rapp. tra varianze

" x1 , ..., xn campione casuale di popolazione con densità ϕ (0, θ ) fx1 ,...,xn (x1 , ..., xn , θ ) = ∏ni=1 ϕ (xi , θ )

• C. estr. da pop. norm. con var. nota Livello di significatività: x−µ z = √σ 0 (µ0 è la media da verificare) n

2 (n−1)S2 , (n−1)S χ 2 α (n−1) χ 2α (n−1) 1− 2 2

I.C.1−α =

sono correlate)

Sc2 = i=1n−1i (stimatore corretto della varianza) 2 2 E [Sc ] = σ = Var (x) 2

(xi −x)4 nσ 4

• Covarianza campionaria Cx,y = 1n ∑ni=1 xi yi − xy  < 0 xi e yi correl. negativ. xi yi −xy = > 0 xi e yi correl. positiv.

varianza) ∑n

(xi −x)3 nσ 2

Indici di variazione bidimensionale

δ log L(x ,...,x ) (λ ) n 1 = λn − ∑ni=1 xi = 0 δλ λˆ = ∑n n x = 1x (è l’inverso della media) i=1 i

Intervalli di confidenza (I.C.)

• Pop. normale Var. casuale: (n−1)S2 ∼ χ 2 (n − 1) σ2 "

PARA-

Caso della media di una distr. Normale

I.C. per la varianza

• Di posizione Moda: valore con frequenza più alta ∑ni=1 xi n

TEST METRICI

# pˆ1 (1− pˆ1 ) n1

+

+

pˆ2 (1− pˆ2 ) n2

pˆ2 (1− pˆ2 ) n2

Test per il confronto tra medie (con var. nota) x −x −δ s1 2 ∼ N (0.1) σ12 σ22 n1 + n2 NOTA: se n > 30, δ = 30. Se σ12 e σ22 non sono note e il campione è di taglia grande, vengono stimate tramite S12 e S22 . H0 H1 Rifiuto H0 se µ1 = µ2 + δ µ1 6= µ2 + δ |z| > z 1− α 2 µ1 6 µ2 + δ µ1 > µ2 + δ z > z1−α µ1 > µ2 + δ µ1 < µ2 + δ z < zα

Var. non nota uguale x1 −x2 −( µ1 −µ2 )0 r ∼ T ( n1 + n2 − 2 ) 2( 1 + 1 ) SP n1 n2 H0 H1 Rifiuto H0 se µ1 = µ2 µ1 6= µ2 |t| > t (n1 + n2 − 2) 1− α 2 µ1 > µ2 t > t1−α (n1 + n2 − 2) µ1 6 µ2 µ1 > µ2 µ1 < µ2 t < tα (n1 + n2 − 2) (n −1)S12 +(n2 −1)S22 S2p = 1 n + n −2 1 2

Test di significatività per la diff. tra medie Devo verificare l’uguaglianza delle varianze. Non si fa se due campioni sono ti taglia grande, si considerano le varianze note sostituendole alle varianze campionarie. Se i campioni sono di taglia piccola e le varianze sono incognite, si effettua preliminariamente il test sull’uguaglianza tra le varianze. Considero x − y > 0 → considero D = ∑n i=1 (xi − yi ) (media campionaria delle differenze ) 2 ((xi −yi )−D) S2 = ∑n (var. campion. delle diff.) i=1 n−1 D T = D−0 ∼ T ( n − 1 ) S √D n H0 H1 Rifiuto H0 se (n − 1) D 6= 0 |T | > t D=0 1− α 2

Test per il rapp. tra varianze S12 ∼ F (n − 1, m − 1) (ho due campioni di taglia m ed n) S22 H0 H1 Rifiuto H0 se σ12 = σ22 σ12 6= σ22 F > F α (n − 1, m − 1) 1− 2 o F < F α (n − 1, m − 1) 2 σ12 6 σ22 σ12 > σ22 F > F1−α (n − 1, m − 1) σ12 > σ22 σ12 < σ22 F < Fα (n − 1, m − 1)

TEST NON PARAMETRICI Si usano quando non si hanno informazioni preliminari sul tipo e sulla forma della distribuzione e/o quando non si è certi della normalità della distribuzione.

Test dei segni per la mediana Si applica ad una popolazione qualunque di taglia n e mediana M0 . Ipotesi di test: H0 : M = M0 H0 : M 6 M0 H0 : M > M0 H1 : M = M0 H1 : M > M0 H1 : M < M0 Le differenze xi − M0 hanno probabilità di essere negative (= 12 ⇒ Q+ ), positive (= 12 ⇒ Q− ) o nulle (= 0). H0 : Q+ ∼ B(n, 12 )

Test per l’indipendenza dei caratteri qualitativi: test del χ 2 per l’indipendenza Usato per vedere l’indipendenza di due fattori in una tabella di contingenza con r righe e c colonne. f0 = freq. osservate in una cella della tabella fe = freq. teoriche o attese in una cella della tabella nel caso in cui H0 di indipendenza sia vera H0 : le due var. categoriche sono indipendenti Statistica per il test: ( f − f e )2 χ 2 = ∑tutte le celle 0 f e Attribuita a χ 2 con (r − 1)(c − 1) gradi di libertà 2 2 (Rc : χ > χ1−α )

Test di bontà dell’adattamento ad una distribuzione: test del χ 2 per l’adattamento Usato per verificare H0 , dato un campione estratto/adattato da/a una specifica distribuzione, che può essere specificata completamente o non specificata completamente (parametri stimati prima dei dati del campione)

Distribuzione multinominale Si usa quando di vogliono confrontare campioni con una probabilità teorica. (x1 , ..., xn ) v. a. multinom. di parametri n, p1 , ..., pk (x −np )2 (per n grande) ε = ∑ki=1 i np i i xi = numero di prove che danno i come risultato (si denota con Oi o Ni ) npi = E [xi ] = Ei = numero atteso di prove che danno i come risultato (Oi −Ei )2 = χ 2 (k − 1) (k è il numero di classi) ∑ki=1 Ei Si vuole eseguire una distr. campionaria F ad una distr. nota F 0 : H0 : F ∼ F 0 H1 : F ∼ F0 2 (k − 1) R.C. : χ 2 > χ1−α La frequenza attesa dev’essere almeno 5, sennò raggruppo le classi.

Distribuzione non multinominale Ei = npi Usata se i parametri della distribuzione ipotizzata non sono specificati, ma devono essere stimati preliminarmente del campione. n = k − d − 1 (n = gradi di libertà della χ 2 , k = numero di classi, d = numero di parametri stimati)

Test per l’adattamento di una distr. Normale (normal probability plot) Problema: stabilire se il campione a disposizione è estratto da una popolazione normale senza usare test parametrici o non parametrici.

Errori nei test Errore di 1a specie (con probabilità α): si rifiuta H0 quando invece è vera Errore di 2a specie (con probabilità β ): si accetta H0 quando invece è falsa Test di significatività: si calcola il p-value, e con il p-value < 0, 05 si rifiuta H0 .

E [yi ] = β0 + β1 xi E [εi] = 0 Var (yi ) = σ 2 Var (εi) = σ 2

Curva interpolante con il metodo dei minimi quadrati: caso lineare Obiettivo: determino b0 e b1 (stime di β0 e β1 ) ottimali affinchè la retta ottenuta costituisca il miglior fit possibile per i dati sperimentali. Regressione lineare: ε ∼ N (0, σ 2 ) y = αx + β + ε αˆ = b0 βˆ = b1 y = b0 + b1 x σxy ∑ xi yi −((∑ xi ∑ yi )/n) b1 = 2 = σx ∑ xi2 −((∑ xi )2 /n) ∑y ∑x b0 = y − b1 x = n i − b1 n i q 2 2 2 b 2 = σ y −(σ xy )/σ x t = q1 t ∼ t (n − 2) σ2 S e x n−2 Se2 H0 H1 Rifiuto H0 se b1 b1 = 0 b1 6 = 0 S σ x > t1− α (n − 2) 2

ANOVA (ANalysis Of VAriance) Confronto tra n > 2 medie di popolazioni normali. H0 : µ1 = µ2 = ... = µk H1 : ∃i, j / esiste almeno una coppia con µi 6= µ j (ai livelli α = 0, 05 o 0, 01 o 0, 1) NOTA: Se si fanno test a coppie, aumentano notevolmente gli errori di 1a specie. La var. aleatoria è una F di Fisher. Nel test ANOVA, ci sono due varianze: una è in funzione dei livelli del fattore, l’altra è interna (generica). Condizioni: Tutte le pop. devono essere normali, e tutte le varianze delle pop. devono essere uguali (σ12 = σ22 ...σk2 ) xi j = µ j + ei j (dove xi j sono gli elementi della tabella con i righe/elementi e j colonne/livelli, e ei j indica l’errore) ∑kj=1 µ j (media di tutte le medie) µgrandmean = k τ j = µ j − µgrandmean (τ j ci dà una variabilità sui livelli) xi j = µgrandmean + τ j + ei j Statistica del test: SSA (k−1) V R = SSW ∼ F (k − 1, N − k) (N−k) SST = SSW + SSA MSA = SSA , MSW = SSW (k−1) (N−k) NOTA: il test ANOVA si fa solo a coda destra. C.V. S.d.Q. G.L. M.Q. VR T.C. SSA k−1 MSA VR I.C. SSW N −k MSW . TOT. SST N −1 . .

ES. REGRESSIONE LINEARE Serve per riconoscere l’esistenza di un legame tra due variabili casuali.

Modello lineare y = µ (x) = β0 + β1 x1 , ..., xn è l’n-pla associata alla n-pla campionaria y1 , ..., yn yi ∼ fyi yi = β0 + β1 x + εi (eq. di regressione semplice)

Domande generiche Quando occorre usare la correzione di continuità, e in cosa consiste? Quando si utilizza l’approssimazione normale per variabili casuali discrete. Consiste nell’arrotondare i valori estremi delle classi al mezzo punto superiore. In quali situazioni si effettua uno z-test e in quali un t-test? Dettagliare tutti i casi possibili. z-test: media di v.c. normali con varianza nota; differenza tra medie di v.c. normali con varianze note. t-test: media di v.c. normali con varianza non nota; differenza tra medie di v.c. normali con varianze non note, ma uguali. A parità di livello di condenza, qual’è leffetto della taglia del campione sullintervallo di condenza per un parametro di una

data distribuzione? L’aumento della taglia rende l’intervallo più preciso. Se l’ipotesi nulla è vera, il solo aumento della dimensione campionaria aumenterà la probabilità di rifiutare lipotesi nulla. V In quali test si impiega una regione critica che costituisce una sola coda? Test del chi-quadro e analisi della varianza. Se si aumenta il livello di signicatività (es: da 0.01 a 0.05), l’ampiezza dellintervallo di condenza... a parità di taglia e varianza diminuisce. (y−µ ˆ ) La quantità p ha distribuzione t con n − 1 gradi di σ 2 /n libertà. F Il test t può essere applicato senza nessun assunto riguardo alla distribuzione della popolazione. F Il valore z della distribuzione normale standard può essere sempre usato per procedure inferenziali riguardanti proporzioni di popolazioni. F Si può utilizzare la statistica F per vericare l’uguaglianza di più medie solo se le dimensioni campionarie sono identiche. F Le popolazioni devono avere distribuzione nota? Sì, normale. Se una retta di regressione viene calcolata su dati in cui x varia da 0 a 30, si può predire y per x = 32. V Date le 2 variabili statistiche X e Y , con r (X,Y ) molto vicino a +1 o a 1, allora c’è una relazione di causa ed effetto tra X e Y . F Nel caso in cui la popolazione sia normale è preferibile usare il test di adattamento del chi-quadro oppure un test parametrico per verificare che µ = µ0 ? Un test parametrico. Qual’è lo stimatore di massima verosimiglianza del parametro λ di una distribuzione di Poisson? La media campionaria. Qual’è lo stimatore di massima verosimiglianza del parametro θ di una distribuzione uniforme continua nell’intervallo (0, θ )? (0, θ ) = max(X1 , ..., Xn )

Domande su Regr. Lineare Il modello di regressione lineare assume che al variare del valore della variabile esplicativa la varianza dell’errore aumenta. F Con il metodo dei minimi quadrati si ottengono le stime dei coefficienti di regressione. V Il segno di b1 dipende dalla covarianza tra X e Y. V Il coefficiente di determinazione indica la proporzione di variabilità totale dovuta all’errore. V Il valore atteso dello stimatore b1 è pari a β1 . F Se Y è indipendente da X, il coefficiente regressione è sempre positivo. F Un coefficiente di determinazione pari a 0.88 indica un buon adattamento della retta di regressione ai dati campionari. V La funzione di regressione descrive la relazione tra la X e il valore medio di Y. F Nel modello di regressione lineare si assume che le osservazioni della variabile risposta siano dipendenti. F Tra il peso e la statura degli individui di una popolazione esiste una relazione funzionale. F

Domande su ANOVA Per applicare il test ANOVA è necessario che tutti i campioni relativi ai diversi trattamenti abbiano la stessa varianza. F Le taglie dei campioni relativi ai diversi trattamenti nel test ANOVA devono essere uguali. F Il test ANOVA consente di stabilire quale o quali trattamenti originino delle risposte medie anomale. F La distribuzione delle popolazioni è indifferente per l’uso del test ANOVA. F Il nome del test ANOVA deriva dal fatto che significa "Analysis Of Variance". La tabella ANOVA illustra la decomposizione della varianza totale della variabile risposta Y. V Nella tabella ANOVA il valore di SSW è sempre minore del valore di SSA. F Un valore che si presenta raramente è sempre un dato anomalo. F

Es. su ANOVA SST = 162.54282, SSW = 41.35739, SSA = 121.18543 MSW = SSW = 1.5317552, MSA = SSA = 30.296358 (N−k) (k−1) C.V. S.d.Q. G.L. M.Q. VR T.C. 121.18543 4 30.296358 19.78 I.C. 41.35739 27 1.5317552 . TOT. 162.54282 31 . .