Statistică pentru învățarea automată — lecție practică de AI…

Statistica vă arată dacă modelul funcționează cu adevărat sau doar a avut noroc.

Tip: Construire Limbaj: Python Cerințe preliminare: Faza 1, lecțiile 06 (Probabilități și distribuții), 07 (Teorema lui Bayes) Durată: ~120 de minute

Obiective de învățare

Calculați de la zero statistici descriptive, corelațiile Pearson și Spearman și matrice de covarianță
Efectuați teste de ipoteză, precum testul t și testul chi-pătrat, și interpretați corect valorile p și intervalele de încredere
Folosiți reeșantionarea bootstrap pentru a construi intervale de încredere pentru diferite metrici, fără a impune o familie parametrică distribuției
Deosebiți semnificația statistică de relevanța practică folosind măsuri ale mărimii efectului

Problema

Ați antrenat două modele. Modelul A obține 0,87 pe setul de testare. Modelul B obține 0,89. Lansați modelul B în producție. Trei săptămâni mai târziu, metricile din producție sunt mai slabe decât înainte. Ce s-a întâmplat?

Modelul B nu a depășit în mod demonstrabil modelul A. Diferența de 0,02 putea fi doar zgomot. Setul de testare a fost prea mic, varianța prea mare sau ambele. Ați lansat în producție o fluctuație aleatoare prezentată drept îmbunătățire.

Acest lucru se întâmplă permanent: clasamente Kaggle care se răstoarnă, lucrări ale căror rezultate nu pot fi reproduse, teste A/B care declară câștigători pe baza câtorva sute de observații. Cauza de bază este mereu aceeași: cineva a omis analiza statistică.

Statistica vă oferă instrumentele necesare pentru a distinge semnalul de zgomot. Vă spune când datele susțin existența unei diferențe, câtă încredere puteți avea în estimare și de câte date aveți nevoie înainte de a vă putea baza pe rezultat. Orice flux de procesare (pipeline) de învățare automată, orice comparație de modele și orice experiment au nevoie de statistică. Fără ea, doar ghiciți.

Conceptul

Statistica descriptivă: rezumarea datelor

Înainte să modelați ceva, trebuie să știți cum arată datele. Statisticile descriptive comprimă un set de date în câteva numere care îi surprind forma.

Măsurile tendinței centrale răspund la întrebarea „unde este centrul?”.

Medie:   suma tuturor valorilor / numărul valorilor
        mu = (1/n) * sum(x_i)

Mediană: valoarea din mijloc după ordonare
         Robustă la valori extreme. Pentru [1, 2, 3, 4, 1000], media este 202,
         dar mediana este 3.

Mod:     valoarea cea mai frecventă
         Util pentru date categoriale; rareori informativ singur pentru date continue.

Media este punctul de echilibru. Mediana este valoarea care împarte observațiile ordonate în două jumătăți. Când cele două diferă mult, distribuția este asimetrică. Distribuțiile veniturilor au adesea media mult peste mediană, adică o asimetrie spre dreapta produsă de valorile foarte mari. Distribuțiile pierderilor pe exemple pot fi și ele asimetrice spre dreapta atunci când numeroase exemple ușoare au pierderi mici, iar câteva exemple dificile au pierderi foarte mari; în acest caz, media tinde să depășească mediana.

Notă tehnică a traducerii: Originalul afirmă că exemplele ușoare produc o distribuție asimetrică spre stânga, cu media mult sub mediană. În situația descrisă, concentrarea valorilor mici și coada formată din puține valori mari caracterizează, dimpotrivă, o asimetrie spre dreapta, iar media este de regulă mai mare decât mediana.

Măsurile dispersiei răspund la întrebarea „cât de răspândite sunt datele?”.

Varianță:   abaterea pătratică medie față de medie
            sigma^2 = (1/n) * sum((x_i - mu)^2)

Abatere standard:  rădăcina pătrată a varianței
                   sigma = sqrt(sigma^2)
                   Are aceleași unități ca datele, deci este mai ușor de interpretat.

Amplitudine:  max - min
              Sensibilă la valori extreme; rareori utilă singură.

IQR:          Q3 - Q1 (intervalul intercuartilic)
              Intervalul jumătății centrale a datelor.
              Robust la valori extreme; folosit în diagrame boxplot și detectarea valorilor atipice.

Percentilele împart conceptual datele ordonate în 100 de părți. Percentila 25, adică Q1, indică o valoare sub care se află aproximativ 25% dintre observații. Percentila 50 este mediana. Percentila 75 este Q3. Pentru eșantioane finite există mai multe convenții de interpolare, astfel încât pachetele software pot produce valori ușor diferite.

Pentru monitorizarea latenței:
  P50 = latența mediană        (experiența tipică a utilizatorului)
  P95 = percentila 95          (caz nefavorabil, dar nu extrem)
  P99 = percentila 99          (latența din coadă, adesea mult peste mediană)

În învățarea automată, percentilele sunt importante pentru latența inferenței, distribuția încrederii predicțiilor și înțelegerea distribuțiilor erorilor. Un model cu eroare medie mică, dar cu o eroare P99 foarte mare, poate fi inutil în aplicații critice pentru siguranță.

Statistici ale eșantionului față de statisticile populației. Când calculați varianța unei populații folosind un eșantion și media acelui eșantion, împărțiți la (n-1), nu la n. Aceasta este corecția lui Bessel. Ea compensează faptul că media eșantionului nu este media reală a populației. Numitorul n subestimează sistematic varianța populației în acest estimator, în timp ce numitorul (n-1) oferă un estimator neînclinat în condițiile uzuale.

Varianța populației: sigma^2 = (1/N) * sum((x_i - mu)^2)
Varianța eșantionului: s^2   = (1/(n-1)) * sum((x_i - x_bar)^2)

În practică, dacă n este mare, de ordinul miilor de observații, diferența este neglijabilă. Dacă n este mic, de ordinul zecilor, diferența contează.

Corelația: cum variază împreună variabilele

Corelația măsoară intensitatea și direcția unei relații dintre două variabile.

Coeficientul de corelație Pearson măsoară asocierea liniară:

r = sum((x_i - x_bar)(y_i - y_bar)) / ((n-1) * s_x * s_y)

r = +1:  relație liniară pozitivă perfectă
r = -1:  relație liniară negativă perfectă
r =  0:  nicio relație liniară (poate exista una neliniară)

Interval: [-1, 1]

Notă tehnică a traducerii: Formula originală folosește numitorul n * s_x * s_y fără să definească convenția pentru abaterile standard. Formula de mai sus folosește abaterile standard de eșantion, calculate cu n-1; dacă sunt folosite abateri standard ale populației, numitorul corespunzător este n * sigma_x * sigma_y.

Coeficientul Pearson descrie relația liniară și este sensibil la valori extreme. Un singur punct extrem poate deplasa r de la 0,1 la 0,9. Calcularea coeficientului în sine nu impune normalitatea variabilelor; ipotezele de normalitate devin relevante pentru anumite teste de semnificație și intervale de încredere clasice asociate lui r.

Notă tehnică a traducerii: Originalul spune că Pearson „presupune” că ambele variabile sunt aproximativ normale. Aceasta nu este o condiție pentru definirea sau calcularea coeficientului. Distribuția normală bivariată este o ipoteză a inferenței parametrice clasice despre corelația Pearson, nu a statisticii descriptive ca atare.

Corelația rangurilor Spearman măsoară asocierea monotonă:

1. Înlocuiți fiecare valoare cu rangul său (1, 2, 3, ...)
2. Calculați corelația Pearson a rangurilor

Spearman surprinde relațiile monotone, nu numai pe cele liniare.
Pentru y = x^3 pe un eșantion nebanal, Pearson dă de regulă r < 1,
iar Spearman dă rho = 1.

Când să folosiți fiecare coeficient:

Pearson:    Ambele variabile sunt continue.
            Vă interesează în mod specific relația liniară.
            Nu există valori extreme dominante.
            Pentru inferența parametrică clasică, verificați ipotezele distribuționale.

Spearman:   Date ordinale, precum clasamente și evaluări.
            Nu doriți să presupuneți normalitatea.
            Suspectați o relație monotonă, dar neliniară.
            Există valori extreme.

Regula de aur: corelația nu implică o relație de cauzalitate. Vânzările de înghețată și decesele prin înec sunt corelate deoarece ambele cresc vara. Acuratețea modelului și numărul parametrilor pot fi corelate, dar adăugarea parametrilor nu îmbunătățește automat acuratețea; consultați fenomenul de supraînvățare.

Matricea de covarianță

Covarianța dintre două variabile măsoară modul în care acestea variază împreună:

Cov_pop(X, Y) = (1/n) * sum((x_i - x_bar)(y_i - y_bar))
Cov_eșantion(X, Y) = (1/(n-1)) * sum((x_i - x_bar)(y_i - y_bar))

Cov(X, Y) > 0:  X și Y tind să crească împreună
Cov(X, Y) < 0:  când X crește, Y tinde să scadă
Cov(X, Y) = 0:  nu există covariație liniară

Notă tehnică a traducerii: Originalul prezintă numai normalizarea cu 1/n, fără să distingă între covarianța descriptivă a populației observate și estimatorul neînclinat al covarianței populației pe baza unui eșantion, care folosește 1/(n-1).

Pentru d caracteristici, matricea de covarianță C este o matrice d × d, unde C[i][j] = Cov(feature_i, feature_j). Elementele de pe diagonală C[i][i] sunt varianțele fiecărei caracteristici.

C = | Var(x1)      Cov(x1,x2)  Cov(x1,x3) |
    | Cov(x2,x1)  Var(x2)      Cov(x2,x3) |
    | Cov(x3,x1)  Cov(x3,x2)  Var(x3)     |

Proprietăți:
  - Simetrică: C[i][j] = C[j][i]
  - Pozitiv semidefinită: toate valorile proprii sunt >= 0
  - Diagonala conține varianțele
  - Elementele din afara diagonalei sunt covarianțe

Legătura cu PCA. PCA aplică descompunerea în valori și vectori proprii matricei de covarianță. Vectorii proprii definesc direcțiile sau încărcările componentelor principale, iar scorurile observațiilor sunt proiecțiile datelor pe aceste direcții. Valorile proprii indică varianța captată de fiecare componentă. Este exact ceea ce ați studiat în lecția 10, dar acum vedeți de ce matricea de covarianță este obiectul potrivit pentru descompunere: codifică toate relațiile liniare între perechile de caracteristici.

Notă tehnică a traducerii: Originalul identifică direct vectorii proprii cu „componentele principale”. În terminologia precisă, vectorii proprii sunt direcțiile sau încărcările, iar valorile componentelor pentru observații sunt scorurile obținute prin proiecție.

Legătura cu corelația. Matricea de corelație este matricea de covarianță a variabilelor standardizate, obținute prin scăderea mediei și împărțirea la abaterea standard. Corelația normalizează covarianța, astfel încât toate valorile să se încadreze în intervalul [-1, 1].

Notă tehnică a traducerii: Originalul descrie standardizarea numai prin împărțirea la abaterea standard. Standardizarea completă include și centrarea, chiar dacă scăderea mediei apare implicit în formula covarianței.

Testarea ipotezelor

Testarea ipotezelor este un cadru pentru luarea deciziilor în condiții de incertitudine. Porniți de la o afirmație, colectați date și stabiliți dacă datele sunt compatibile cu afirmația.

Configurația testului:

Ipoteza nulă (H0):        ipoteza implicită, de obicei „niciun efect”
Ipoteza alternativă (H1): afirmația pentru care căutați dovezi

Exemplu:
  H0: Modelul A și modelul B au aceeași acuratețe
  H1: Modelul B are o acuratețe mai mare decât modelul A

Valoarea p este probabilitatea, calculată presupunând că H0 și modelul statistic asociat sunt adevărate, de a observa un rezultat cel puțin la fel de extrem ca cel obținut. Nu este probabilitatea ca H0 să fie adevărată. Aceasta este una dintre cele mai frecvente interpretări greșite din statistică.

valoarea p = P(date cel puțin la fel de extreme | H0 este adevărată)

Dacă valoarea p < alpha (de obicei 0,05):
    Respingeți H0. Rezultatul este „semnificativ statistic”.
Dacă valoarea p >= alpha:
    Nu respingeți H0. Nu aveți suficiente dovezi împotriva ei.
    Aceasta NU înseamnă că H0 este adevărată.

Intervalele de încredere oferă un interval de valori plauzibile pentru un parametru în cadrul modelului și al procedurii statistice folosite:

Interval de încredere de 95% pentru medie:
    x_bar +/- z * (s / sqrt(n))

unde z = 1.96 pentru nivelul de încredere de 95%

Interpretare: dacă repetați experimentul de multe ori, 95% dintre
intervalele calculate ar conține media adevărată. Aceasta NU înseamnă
că media adevărată are probabilitatea de 95% de a fi în acest interval concret.

Notă tehnică a traducerii: Formula din bloc folosește cuantila normală z = 1,96, dar înlocuiește abaterea standard necunoscută a populației cu abaterea standard s a eșantionului. Pentru un eșantion dintr-o populație normală cu abatere standard necunoscută, intervalul clasic folosește cuantila distribuției t cu n-1 grade de libertate; formula cu z este exactă atunci când abaterea standard a populației este cunoscută și poate servi drept aproximație în eșantioane suficient de mari.

Lățimea intervalului de încredere exprimă precizia estimării. Intervalele largi indică incertitudine ridicată. Intervalele înguste indică o estimare precisă, dar nu neapărat corectă dacă datele sunt părtinitoare.

Testul t

Testul t compară medii. Există mai multe variante.

Testul t pentru un eșantion: media populației diferă de o valoare ipotetică?

t = (x_bar - mu_0) / (s / sqrt(n))

grade de libertate = n - 1

Testul t pentru două eșantioane independente: diferă mediile celor două grupuri?

t = (x_bar_1 - x_bar_2) / sqrt(s1^2/n1 + s2^2/n2)

Acesta este testul t Welch, care nu presupune varianțe egale.
Este în general preferabil testului cu varianțe egale când egalitatea varianțelor
nu este justificată de designul și modelul statistic.

Notă tehnică a traducerii: Originalul recomandă absolut „folosiți întotdeauna Welch”. Testul Welch este o alegere implicită robustă în multe comparații independente, dar alegerea testului trebuie să urmeze designul, ipoteza și structura datelor.

Testul t pentru eșantioane perechi: se folosește când măsurătorile sunt asociate în perechi, de exemplu aceleași modele evaluate pe aceleași împărțiri ale datelor:

Calculați d_i = x_i - y_i pentru fiecare pereche
Apoi aplicați valorilor d_i un test t pentru un eșantion față de mu_0 = 0

În învățarea automată, testul t pentru eșantioane perechi este frecvent: rulați ambele modele pe aceleași 10 fold-uri de validare încrucișată și comparați scorurile pereche. Totuși, fold-urile de validare încrucișată nu sunt complet independente deoarece seturile de antrenare se suprapun, aspect care trebuie luat în calcul când interpretați testul.

Testul chi-pătrat

Testul chi-pătrat verifică dacă frecvențele observate corespund frecvențelor așteptate. Este util pentru date categoriale.

chi^2 = sum((observat - așteptat)^2 / așteptat)

Exemplu: distribuția ieșirilor unui model lingvistic corespunde
distribuției de antrenare pe categorii?

Categorie   Observat   Așteptat
Pozitiv        120        100
Negativ         80        100
chi^2 = (120-100)^2/100 + (80-100)^2/100 = 4 + 4 = 8

Cu 1 grad de libertate, chi^2 = 8 dă p < 0,005.
Diferența este semnificativă statistic.

Testarea A/B pentru modele de învățare automată

Testarea A/B în învățarea automată nu este identică testării A/B de pe web. Compararea modelelor are dificultăți specifice:

1. Același set de testare: ambele modele trebuie evaluate pe date identice.
                            Seturile diferite fac comparația neinterpretabilă.

2. Metrici multiple: acuratețea singură nu este suficientă. Aveți nevoie de precizie,
                     rapel, F1, latență și metrici de echitate.

3. Varianță:          folosiți validare încrucișată sau bootstrap pentru a estima
                     incertitudinea fiecărei metrici, nu numai valori punctuale.

4. Scurgerea datelor: dacă setul de testare a fost folosit la selectarea modelului,
                     comparația este părtinitoare. Păstrați un set final separat.

Procedura:

1. Definiți metrica și nivelul de semnificație (alpha = 0,05)
2. Evaluați ambele modele pe aceleași împărțiri sau unități experimentale
3. Colectați scoruri pereche: [(a1, b1), (a2, b2), ..., (ak, bk)]
4. Calculați diferențele: d_i = b_i - a_i
5. Alegeți un test compatibil cu dependența dintre perechi; testul t pereche
   obișnuit presupune diferențe independente între unitățile experimentale
6. Verificați dacă diferența medie este compatibilă cu zero
7. Calculați un interval de încredere pentru diferența medie
8. Calculați o mărime a efectului potrivită designului pereche

Notă tehnică a traducerii: Procedura originală aplică direct un test t pereche scorurilor obținute din fold-uri de validare încrucișată. Deoarece seturile de antrenare se suprapun, diferențele dintre fold-uri nu sunt independente; inferența trebuie să folosească unități independente sau o metodă corectată ori de reeșantionare care modelează această dependență.

Semnificație statistică față de relevanță practică

Un rezultat poate fi semnificativ statistic, dar lipsit de importanță practică. Cu suficiente date, chiar și o diferență minusculă poate deveni semnificativă statistic.

Exemplu:
  Acuratețea modelului A: 0.9234
  Acuratețea modelului B: 0.9237
  n = 1.000.000 de observații de testare
  valoarea p = 0.001

Semnificativ statistic? Da.
Relevant practic? O îmbunătățire de 0,03% poate să nu justifice
costul tehnic al lansării unui model nou.

Mărimea efectului cuantifică amploarea diferenței într-o formă standardizată, mai puțin dependentă de dimensiunea eșantionului:

d pentru grupuri independente = (media_1 - media_2) / abaterea_standard_combinată
d_z pentru date pereche = media(d_i) / abaterea_standard(d_i)

d = 0.2:  efect mic
d = 0.5:  efect mediu
d = 0.8:  efect mare

Notă tehnică a traducerii: Originalul oferă numai formula cu abaterea standard combinată, potrivită grupurilor independente, imediat după o procedură pereche. Pentru observații pereche, o variantă uzuală standardizează media diferențelor prin abaterea standard a diferențelor; convenția mărimii efectului trebuie raportată explicit.

Raportați atât valoarea p, cât și mărimea efectului, împreună cu un interval de încredere și contextul aplicației. Valoarea p indică gradul de incompatibilitate a datelor cu ipoteza nulă în cadrul modelului ales; nu demonstrează că diferența este „reală” și nu îi măsoară amploarea. Mărimea efectului vă ajută să judecați dacă diferența contează practic.

Notă tehnică a traducerii: Originalul afirmă că valoarea p „vă spune dacă diferența este reală”. O valoare p nu măsoară probabilitatea ca ipoteza sau diferența să fie adevărată și nu trebuie interpretată singură drept dovadă a existenței efectului.

Problema comparațiilor multiple

Când testați multe ipoteze, unele vor apărea „semnificative” din întâmplare. Dacă efectuați 20 de teste independente la alpha = 0.05 și toate ipotezele nule sunt adevărate, numărul așteptat de rezultate fals pozitive este 1.

P(cel puțin un rezultat fals pozitiv) = 1 - (1 - alpha)^m

m = 20 de teste, alpha = 0.05:
P(cel puțin un fals pozitiv) = 1 - 0.95^20 = 0.64

Probabilitatea cel puțin unui rezultat fals pozitiv este 64%.

Notă tehnică a traducerii: Formula 1 - (1 - alpha)^m și valoarea de 64% presupun independența testelor. Fără independență, probabilitatea exactă depinde de structura dependenței, deși problema inflației erorii de tip I rămâne.

Corecția Bonferroni: împărțiți alpha la numărul testelor.

Alpha ajustat = alpha / m = 0.05 / 20 = 0.0025

Respingeți H0 numai dacă valoarea p < 0.0025.
Metoda este simplă și conservatoare și controlează eroarea familiei
fără să necesite independența testelor.

Notă tehnică a traducerii: Ultima propoziție din bloc este prea restrictivă. Inegalitatea Bonferroni controlează rata erorii la nivelul familiei de teste fără să impună independența valorilor p, dar poate fi conservatoare, mai ales când testele sunt numeroase sau dependente.

În învățarea automată, această problemă apare când comparați un model după mai multe metrici, testați multe configurații de hiperparametri sau evaluați pe mai multe seturi de date.

Metode bootstrap

Bootstrap estimează distribuția de eșantionare a unei statistici prin reeșantionarea cu înlocuire a datelor observate. Metoda evită alegerea unei familii parametrice explicite, dar are în continuare nevoie de ipoteze despre modul în care eșantionul reprezintă populația și despre dependența observațiilor.

Algoritmul:

1. Aveți n observații
2. Extrageți n observații CU înlocuire; unele apar de mai multe ori,
   iar altele nu apar deloc
3. Calculați statistica pe acest eșantion bootstrap
4. Repetați de B ori, de obicei între 1.000 și 10.000
5. Distribuția statisticilor bootstrap aproximează
   distribuția de eșantionare

Interval de încredere bootstrap prin metoda percentilelor:

Ordonați cele B statistici bootstrap
IC 95% = [percentila 2,5; percentila 97,5]

De ce contează bootstrap în învățarea automată:

- Acuratețea pe setul de testare este o estimare punctuală. Bootstrap oferă
  intervale de încredere.
- Nu puteți presupune că distribuțiile metricilor sunt normale, mai ales
  pentru AUC, F1 și precizia la k.
- Bootstrap poate fi aplicat multor statistici: mediană, raportul a două medii
  sau diferența AUC dintre două modele.
- Nu este necesară o formulă analitică închisă.

Notă tehnică a traducerii: Afirmațiile „fără presupuneri” și „pentru orice statistică” din original sunt prea largi. Bootstrap-ul obișnuit presupune, între altele, că schema de reeșantionare reproduce mecanismul relevant de eșantionare; pentru date dependente sunt necesare variante precum block bootstrap. Unele statistici și eșantioane mici duc la intervale percentile cu acoperire slabă, motiv pentru care există metode precum BCa.

Bootstrap pentru compararea modelelor:

1. Aveți predicțiile modelelor A și B pe același set de testare
2. Pentru fiecare iterație bootstrap:
   a. Reeșantionați indicii de testare cu înlocuire
   b. Calculați metrica_A și metrica_B pe eșantionul obținut
   c. Păstrați diferența = metrica_B - metrica_A
3. Intervalul de încredere de 95% pentru diferență este:
   [percentila 2,5 a diferențelor; percentila 97,5 a diferențelor]
4. Dacă intervalul nu conține 0, rezultatul corespunde unui test bilateral
   la nivelul aproximativ de 5%, în condițiile metodei bootstrap folosite

Această abordare evită ipoteza de normalitate a diferențelor impusă de testul t clasic pentru perechi și poate fi mai potrivită pentru metrici cu distribuții complicate. Nu este însă lipsită de ipoteze: trebuie să păstrați asocierea predicțiilor și să folosiți o schemă de reeșantionare compatibilă cu structura datelor.

Notă tehnică a traducerii: Originalul numește bootstrap „mai robust” deoarece „nu face nicio presupunere distribuțională”. Metoda este neparametrică în sensul că nu fixează o familie de distribuții, dar validitatea ei depinde de reprezentativitate, independență sau de modelarea explicită a dependenței și de regularitatea statisticii estimate.

Teste parametrice față de teste neparametrice

Testele parametrice presupun un model distribuțional specific, adesea normal:

Test t:      pentru inferența clasică, presupune normalitatea statisticii relevante
             sau folosește o aproximație pentru eșantioane suficient de mari
ANOVA:       varianta clasică presupune normalitatea reziduurilor și varianțe egale
Pearson r:   inferența parametrică uzuală poate presupune normalitate bivariată

Testele neparametrice evită specificarea unei familii parametrice complete, dar au propriile ipoteze despre independență, identitatea distribuțiilor, simetrie sau ordonare, în funcție de test:

Mann–Whitney U:        compară distribuțiile a două grupuri independente
Wilcoxon signed-rank:  analizează diferențe pereche prin ranguri cu semn
Spearman rho:          măsoară corelația rangurilor
Kruskal–Wallis:        compară distribuțiile mai multor grupuri

Notă tehnică a traducerii: Formularea originală „nu fac nicio presupunere distribuțională” este inexactă. Testele neparametrice fac mai puține presupuneri despre forma parametrizată a distribuției, dar nu sunt lipsite de condiții. De asemenea, testul Mann–Whitney nu testează în general egalitatea mediilor sau medianelor; el testează o relație între distribuții, iar interpretarea ca deplasare de localizare cere ipoteze suplimentare.

Când să folosiți teste neparametrice:

- Eșantion mic și date clar nenormale, după verificarea ipotezelor testului ales
- Date ordinale, precum evaluări și clasamente
- Valori extreme puternice pe care nu le puteți elimina justificat
- Distribuții asimetrice pentru care testul pe ranguri răspunde întrebării dorite

Când să folosiți teste parametrice:

- Eșantion suficient de mare pentru aproximația statisticii testului
- Date aproximativ simetrice, fără valori extreme dominante
- Modelul parametric este justificat și oferă o putere statistică mai mare

În experimentele de învățare automată aveți deseori un număr mic de rulări sau fold-uri, de exemplu 5 ori 10. Testele pe ranguri, precum Wilcoxon pentru eșantioane perechi, pot fi uneori mai potrivite decât testele t, dar alegerea nu trebuie făcută mecanic numai după mărimea eșantionului. Verificați întrebarea statistică, independența, simetria diferențelor și designul reeșantionării.

Teorema limitei centrale: implicații practice

Teorema limitei centrale afirmă că, în condiții corespunzătoare, distribuția mediei eșantionului se apropie de o distribuție normală pe măsură ce n crește, indiferent de forma distribuției populației.

Dacă X_1, X_2, ..., X_n sunt iid, cu media mu și varianța sigma^2:

    X_bar ~ Normal(mu, sigma^2 / n)    când n -> infinit

Calitatea aproximației nu are un prag universal pentru n.
Ea depinde de asimetrie, cozi și existența momentelor distribuției.

Notă tehnică a traducerii: Pragurile n ≥ 30 și n ≥ 100 sunt reguli euristice, nu consecințe universale ale teoremei. Viteza convergenței depinde de distribuția de bază, de existența momentelor, de asimetrie și de comportamentul cozilor; pentru unele distribuții aproximația este bună mai devreme, iar pentru altele poate necesita eșantioane mult mai mari.

De ce contează pentru învățarea automată:

1. Poate justifica aproximații normale pentru anumite medii și statistici agregate
2. Ajută la înțelegerea stabilizării mediilor, fără a elimina dependența
   dintre fold-urile validării încrucișate
3. Media gradientului pe un mini-lot poate aproxima gradientul populației,
   dacă schema de eșantionare și momentele necesare sunt adecvate
4. Medierea predicțiilor mai multor modele poate reduce varianța,
   în funcție de corelația dintre erorile modelelor

Notă tehnică a traducerii: Aceste exemple sunt intuiții, nu justificări automate. Fold-urile validării încrucișate au seturi de antrenare suprapuse și nu sunt independente; gradientul unui mini-lot poate fi un estimator al gradientului populației fără ca succesul optimizării să fie garantat de teorema limitei centrale; iar predicțiile modelelor dintr-un ansamblu sunt de regulă corelate. Stabilitatea trebuie evaluată în designul concret.

Ce NU face teorema limitei centrale:

- NU face datele normale; în condițiile teoremei, distribuția mediei se apropie de normală.
- Forma clasică NU se aplică distribuțiilor cu varianță infinită,
  precum distribuția Cauchy.
- Forma iid NU se aplică direct datelor dependente, precum seriile temporale,
  fără condiții sau corecții suplimentare.

Greșeli statistice frecvente în lucrările de învățare automată

Testarea pe setul de antrenare. Produce o evaluare optimistă și nu măsoară generalizarea. Păstrați întotdeauna date pe care modelul nu le vede în timpul antrenării.
Absența intervalelor de încredere. Raportarea unei singure valori a acurateții fără incertitudine împiedică evaluarea preciziei rezultatului și face comparațiile greu de verificat.
Ignorarea comparațiilor multiple. Testarea a 50 de configurații și raportarea celei mai bune fără corecție mărește rata rezultatelor fals pozitive.
Confundarea semnificației statistice cu relevanța practică. O valoare p de 0,001 pentru o îmbunătățire a acurateții de 0,01% nu implică automat o valoare practică.
Folosirea acurateții pe date dezechilibrate. O acuratețe de 99% pe un set de date în care 99% dintre exemple aparțin clasei negative poate fi obținută fără o separare utilă a claselor. Folosiți precizie, rapel, F1 sau AUC, în funcție de obiectiv.
Selectarea convenabilă a metricilor. Raportarea numai a metricii la care câștigă modelul dumneavoastră ascunde imaginea completă. O evaluare onestă prezintă toate metricile relevante.
Scurgerea informației între împărțirile de antrenare și testare. Exemplele includ normalizarea înaintea împărțirii sau folosirea datelor viitoare pentru a prezice trecutul.
Seturi de testare mici, fără estimări ale varianței. Evaluarea pe 100 de observații și revendicarea unei îmbunătățiri de 2% nu oferă, singură, dovezi suficiente pentru a separa semnalul de zgomot.
Presupunerea independenței când datele nu sunt independente. Exemplele includ imagini medicale de la același pacient și mai multe propoziții din același document. Observațiile dintr-un grup sunt corelate.
P-hacking. Încercarea repetată a unor teste, subseturi sau criterii de excludere până când se obține p < 0.05 transformă rezultatul într-un artefact al căutării.

Construirea soluției

Veți implementa:

Statistici descriptive de la zero: medie, mediană, mod, abatere standard, percentile și IQR
Funcții de corelație: Pearson și Spearman, împreună cu matricea de covarianță
Teste de ipoteză: testul t pentru un eșantion, testul t pentru două eșantioane și testul chi-pătrat
Intervale de încredere bootstrap: pentru diferite statistici, fără alegerea unei familii parametrice
Simulator de teste A/B: generați date, efectuați testul și verificați erorile de tip I și II
Demonstrație a semnificației statistice față de relevanța practică: arătați că un n mare face semnificative statistic chiar și efecte foarte mici

Veți construi totul de la zero, folosind numai math și random, fără NumPy și fără SciPy.

Termeni-cheie

Termen	Definiție
Medie	Suma valorilor împărțită la numărul lor. Este sensibilă la valori extreme.
Mediană	Valoarea centrală a datelor ordonate. Este robustă la valori extreme.
Abatere standard	Rădăcina pătrată a varianței. Măsoară dispersia în unitățile datelor originale.
Percentilă	Valoare sub care se află un anumit procent al datelor, conform unei convenții de estimare.
IQR	Interval intercuartilic: Q3 minus Q1, adică dispersia jumătății centrale a datelor.
Corelație Pearson	Măsoară asocierea liniară dintre două variabile. Se află în intervalul `[-1, 1]`.
Corelație Spearman	Măsoară asocierea monotonă folosind rangurile.
Matrice de covarianță	Matricea covarianțelor între toate perechile de caracteristici.
Ipoteză nulă	Ipoteza implicită, de obicei absența unui efect sau a unei diferențe.
Valoare p	Presupunând adevărate ipoteza nulă și modelul statistic, probabilitatea de a obține un rezultat cel puțin la fel de extrem ca cel observat.
Interval de încredere	Interval calculat printr-o procedură care, la repetarea eșantionării în aceleași condiții, acoperă parametrul într-o proporție egală cu nivelul de încredere declarat.
Test t	Testează ipoteze despre diferențe între medii folosind distribuția t.
Test chi-pătrat	Testează dacă frecvențele observate diferă de cele așteptate.
Mărimea efectului	Amploarea unei diferențe, exprimată separat de mărimea eșantionului. `d` al lui Cohen este o măsură frecventă.
Corecția Bonferroni	Împarte pragul de semnificație la numărul de teste pentru a controla probabilitatea cel puțin unui rezultat fals pozitiv în familia de teste.
Bootstrap	Reeșantionare cu înlocuire pentru estimarea distribuțiilor de eșantionare.
Eroare de tip I	Rezultat fals pozitiv: respingerea lui `H0` când aceasta este adevărată.
Eroare de tip II	Rezultat fals negativ: nerespingerea lui `H0` când aceasta este falsă.
Putere statistică	Probabilitatea de a respinge corect o ipoteză `H0` falsă. Puterea este 1 minus rata erorilor de tip II.
Teorema limitei centrale	În condiții corespunzătoare, distribuția mediilor eșantioanelor converge către o distribuție normală pe măsură ce mărimea eșantionului crește.
Test parametric	Presupune un model distribuțional specific pentru date sau pentru statistica testului, de obicei bazat pe normalitate.
Test neparametric	Nu fixează o familie parametrică completă; folosește adesea ranguri sau semne, dar păstrează ipoteze specifice testului.

Sursă: Statistics for Machine Learning — original

Navigare: înapoi: 01.14 — Norme și distanțe · Faza 1 — Fundamente matematice · Catalog complet · în continuare: 01.16 — Metode de eșantionare.