Keelekorpus: erinevus redaktsioonide vahel

'''Korpuseks''' nimetatakse [[lingvistika]]s valitud, digitaliseeritud ja teatud reeglite järgi töödeldud [[tekstide kogum]]it. Korpusi kasutatakse keele uurimise alusena [[Statistiline analüüs|statistilises analüüsis]], statistiliste hüpoteeside kontrollimiseks ja keelereeglite kindlaks tegemisekskindlakstegemiseks.

Korpus võib sisaldada ühe keele (ühekeelne korpus) või mitme keele (mitmekeeline korpus) tekste. Mitme keelelisedMitmekeelelised korpused, mis olid loodud keelte erinevate võrdlemiseks, nimetatakse [[Paralleelne korpus|paralleelseteks korpusteks]].

Korpuste tähtsuse tõstmiseks uuringute jaoks, kasutatakse [[Märgendamine|märgendamist]] (annotatsiooni)<ref name="korpusedVene"> Keelekorpused (vene keeles) [https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D0%BF%D1%83%D1%81_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2''Корпус текстов''.]</ref>, sest märgendamata tekstikogude (tekstoteegidetekstoteekide) rakendamisvõimalused on piiratud. Analüüsitava materjali maht on tavaliselt suur ja tasakaalustatud kujul on rohkem võimalusi objektiivsete uurimistulemuste saavutamiseks.

* Tehniline - eraldatakse [[Tekstiosa|tekstiosad]]: pealkirjad, laused, lõigud, fraasid mõnel juhtudel nähtused, mis võrreldes tavaliste sõnadega võivad käituda väga erinevalt (lühendid, numbrid);.

* Ortograafiline – määratakse kindlaks mõne märge funktsioon. Näitena võib tuua punkti funktsioon (lause lõpus, lühendites), suurtähe funktsioon (pärisnimi, lause algus, suurtest tähtedest koosnev lühend);.

* Semantiline – märgendatakse [[Semantika|semantilisi]] suhteid või tähenduslikku kuuluvust;.

* Diskursuslik – lause tasandist kõrgemate nähtuste märgendamine;.

* Morfoloogiline – märgendatakse iga sõna sõnaliik, [[Algvorm|algvorm]] ja info grammatiliste kategooriate kohta;.

* Süntaktiline – igale sõnale lauses on lisatud märgend tema funktsiooni kohta;.

Kõne korpustesKõnekorpustes kasutatakse lisaks [[Prosoodia|prosoodilist]] ja [[Foneetika|foneetilist]] märgendamist. Prosoodiline on vajalik rõhu, intonatsiooni, pauside eristamiseks., Foneetilinefoneetiline aga suulise kõne häälduse märkimiseks.

Kõige levinumad maailmas on morfoloogiline ja [[Süntaktika|süntaktiline]] märgendamine. Tüüpiliselt on süntaktiliselt märgendatud korpused on ka morfoloogiliselt märgendatud.

Märgendamine algab teksti jagamisest lõikudeks ja lauseteks (või mingiteks teisteks üksusteks). Seda tehakse tavaliselt täisautomaatselt, kuid märgendada saab ka käsitsi (arvutiarvutipoolse interaktiivse abiga) või kombineerides neid kahte meetodit<ref name="märgendamineJatk"> Eesti keele tehnoloogilised ressursid ja vahendid [http://www.hm.ee/index.php?popup=download&id=3993''Kadri Muischnek, Heili Orav, Heiki-Jaan Kaalep, Haldur Õim, Tallinn 2003''.]</ref>.

Eesti kõige vanim kirjakeele korpus ulatub 1889. aastasse ja selle uurimisperiood annab võimaluse jälgida eesti keele arengut umbes 650 aasta vältel.

Edasi saab korpuste ajaloos saab eristada kolme põlvkonda. Esimese põlvkonna korpusedkorpuste koostamine olidoli piiratud arvutimälu ressursiga. Olulist osa mängis tekstide valik ja nende kasutusvaldkond. Näiteks 80ndate1980. aastate kirjaliku eesti keele korpus koosnes täiskasvanute jaoks Eestis ilmunud tekstidest perioodis 1984-1987. Viimase algallikad olid paberkandjatel.

Teise põlvkonda kuuluvad koondkorpus ja selle allosa tasakaalus korpus. Koondkorpuse puhul tekstide valikuvalikul piiranguid ei rakendata, suuresuurt osakaalu omab ajalehekeel ja korpus koosneb umbes 250 miljonist sõnast. Tasakaalus korpus on jagatud [[Ilukirjandus|ilukirjanduse]], [[Ajakirjandus|ajakirjanduse]] ja teaduse tekstide vahel. Iga korpuse koostisosa sisaldab umbes 5 miljonit sõna. Tasakaalus korpuse [[Kasutajaliides|kasutajaliides]] on sõltumatu koondkorpuse kasutajaliidesest, mis välistab lause sattumist vastusesse mitu korda.