Lineaarregressioon

Lineaarregressioon on statistiline meetod, mille abil saab lähendada muutujate vahelisi seoseid. Lineaarregressiooni kasutatakse näiteks masinõppes. Selle tarbeks leitakse sobiv lineaarfunktsioon, mis vaadeldud andmete vahelist seost piisaval määral kirjeldab. Ennustada võib nii ühe kui ka mitme tunnuse põhjal. Ühe tunnuse ehk vaba muutuja põhjal ennustamise korral on tegemist lihtsa lineaarregressiooniga ning mitme puhul mitmekordse lineaarregressiooniga.

Juhuslikud andmepunktid ja lineaarregressioon nende põhjal

Otsitav tulemus

Ühe tunnuse põhjal kõige paremini sobiva sirge võrrandit kujutatakse järgmiselt:

${\check {y}}=b_{0}+b_{1}\cdot x$,

kus ${\check {y}}$ on ennustatud väärtus, $x$ on väärtus, mille põhjal ennustatakse, $b_{1}$ on tõus ning $b_{0}$ on nullkoht. Suuremates dimensioonides mitmete vabade muutujate kasutamise puhul nimetatakse selle võrrandi tulemust tasandiks või hüpertasandiks. Kui kasutusel on $d$ vabat muutujat $x_{1},...,x_{d}$, on tarvis leida väärtused $b_{0},b_{1},...,b_{d}$, mida nimetatakse ka kaaludeks või koefitsientideks. Et neid väärtusi saab kujutada vektoritena, on ülaltoodud lihtne võrrand tihtipeale asendatud vektor- ja maatrikstehetega, mis võtavad arvesse mitmete vabade muutujatega regressiooni arvutamist.

Andmetele sobitamine

Sinisega on märgitud regressioonisirge, punased on andmepunktid ning rohelised jooned tähistavad väärtusi, mille ruutusid minimeeritakse vähimruutude meetodiga

Enamasti kasutatakse lineaarregressiooni sirge sobitamiseks vähimruutude meetodit, mida nimetatakse ka tavaliseks vähimruutude meetodiks. Selle meetodi abil arvutatakse välja kõige paremini sobiv sirge, minimeerides iga andmepunkti ja vastava sirge väärtuste vahede ruutude summat piki vertikaaltelge. Vahede suurused võetakse ruutu, et kõik tulemused oleksid positiivsete väärtustega ega nulliks teineteist. Teisisõnu otsitakse väärtusi $b_{0}$ ja $b_{1}$nii, et minimeerida väärtust $Q$, mis väljendub valemina

$$Q=\sum _{i=1}^{n}(y_{i}-{\check {y}}_{i})^{2},$$

kus $y_{i}$ tähistab märgendi tegelikku väärtust ning $n$ vaadeldava andmehulga suurust.

Võõrväärtus, ebatüüpiline vaatlus ja erind

Andmestikule leitud regressioonisirgest kaugel asuvaid üksikuid väärtusi nimetatakse võõrväärtusteks. Võõrväärtuste näol on tegemist vaadeldud andmetega, mis kirjeldavad ebatüüpilisi juhtumeid või erindeid ja mis mõjutavad regressioonisirge asendit väga olulisel määral. Mida kaugemal on võõrväärtus teistest mööda horisontaaltelge, seda suuremat mõju avaldab see regressioonisirge tõusule. Selliste võõrväärtuste eemaldamist nimetatakse ka müra vähendamiseks andmestikus.

Kui üksiku vaatluse standardiseeritud jäägi absoluutväärtus

• $|u_{i}^{std}|>2$ on tegemist ebatüübilise väärtusega
• $|u_{i}^{std}|>3$ on tegemist erindiga.

Gradientlaskumine

Enam kui ühe sisendtunnusega lineaarregressioonimudelit treenides võib optimeerimiseks kasutada gradientlaskumist. Gradientlaskumise kasutamine näeb ette koefitsientide algväärtustamist suvaliste arvudega ning seejärel itereerides nende väärtuste muutmist sedasi, et need minimeeriks vigade suurust.

Regulariseerimine

Lineaarregressioonimudeli liigse keerukuse vähendamiseks kasutatakse regulariseerimismeetodeid, millest levinumad on Lasso ja Ridge. Nende rakendamise tagajärjel muutub osade koefitsientide väärtus nulliks, st mõnede tunnuste osatähtsus muutub olematuks. Masinõppes peetakse liiga keerukaks mudeleid, mis sisaldavad palju reegleid ning tihtipeale on need ülesobitatud treeninguandmetele.

Ekstrapoleerimine

Lineaarregressioonimudeli sobitamisel andmestikule on tarvis tähelepanu pöörata andmestikus esinevate väärtuste vahemikule. Regressioonimudeli kasutamine andmetel, mis jäävad selle treeninguvahemikust välja, võib päädida uskumatute tulemustega, sest mudel peab ennustamiseks ekstrapoleerima.