PRELUCRAREA LIMBAJULUI NATURAL

PRELUCRAREA LIMBAJULUI NATURAL

Din punct de vedere stiintific, limbajul natural (uman) constituie obiectul de cercetare a numeroase discipline si, in primul rand, al lingvisticii sau 'stiintei limbii'. Acelasi obiect de investigatie intereseaza insa si filozofia, psiholingvistica, lingvistica matematica, lingvistica computationala, prelucrarea limbajului natural.

Lingvistica matematica este un termen general folosit pentru un numar de aplicatii ale modelelor si procedurilor matematice in studiul lingvistic. Ca disciplina, lingvistica matematica urmareste sa gaseasca un formalism matematic prin care sa descrie limbajul natural si concepe teoreme, leme, corolare etc. prin care vrea sa descrie fenomenele, schimbarile limbii. Ea nu foloseste tehnici computerizate.

Lingvistica matematica inseamna, de fapt, studiul fenomenelor din limba cu mijloace matematice. Au fost examinate, spre exemplu, tipurile de opozitii lingvistice in corelatie cu tipurile de multimi (finite sau infinite), problema de interes in toate compartimentele limbii, dar cu precadere utila in studiul lexicului. Modelele matematice ale limbii (asupra carora vom reveni), sunt analitice si generative si reprezinta constructii matematice care retin unele aspecte relationale ale fenomenelor lingvistice. Rolul lor este de a sistematiza unele notiuni si relatii deja cunoscute, precum si de a descoperi relatii si moduri noi de organizare, care nu au putut fi puse in evidenta prin alte mijloace.

Noua disciplina s-a constituit relativ recent (in jurul anului 1960), perioada al carei vis lingvistic a fost reprezentat in mare masura de traducerea automata, fiind bine reprezentata de oamenii de stiinta rusi, dar si de alte nationalitati. Ea apare ca o disciplina de intersectie, care este privita ca reprezentand atat lingvistica, cat si matematica.

In directia fundamentarii unei discipline autonome, cu baze teoretice, dar si cu o larga aplicabilitate practica, se remarca si scoala romaneasca, prin aportul profesorului Solomon Marcus si al colaboratorilor sai.

Din punct de vedere stiintific, dezvoltarea lingvisticii matematice a fost favorizata, pe de o parte, de lingvistica structurala si de utilizarea metodei axiomatic-deductive iar, pe de alta parte, de importanta dobandita in matematica de teoria multimilor. Astfel, descrierea matematica a notiunilor de baza ale lingvisticii s-a facut cu precadere prin aplicarea teoriei multimilor. In unele cazuri se apeleaza la teoria algebrelor lui Boole si la teoria codurilor. Alte aplicatii ale algebrei (in special teoria semigrupurilor libere) in lingvistica descriptiva sunt corelate cu studiul distributiei si al contextului. Un aspect important al lingvisticii matematice este legat de statistica (teoria probabilitatilor in general, lanturi Markov, legea lui Zipf) si a condus la conceperea unei noi metode de cercetare a vocabularului sau lexicului, numita statistica lexicala.

Lingvistica computationala aplica tehnici computerizate in cercetarea lingvistica implicand, in felul acesta, utilizarea de algoritmi, structuri de date si modele formale ale reprezentarii si rationamentului, precum si tehnici ale inteligentei artificiale (in special metode de reprezentare si de cautare). Unele dintre problemele specifice pe care le trateaza sunt: identificarea structurii propozitiilor, modelarea rationamentului si a cunoasterii, stabilirea modului in care poate fi folosit limbajul natural pentru realizarea acestor obiective, traducerea asistata de calculator, prelucrari statistice ale limbajului (spre exemplu, parsing statistic sau analiza sintactica de natura stocastica) s.a.

Scopul lingvisticii computationale este, asadar, acela de a dezvolta o teorie computationala a limbajului folosind elemente ale informaticii (algoritmi, structuri de date etc.). Se pot desprinde cel putin doua motivatii pentru dezvoltarea modelelor computationale, cea de natura stiintifica si cea de natura practica sau tehnologica.

Motivatia stiintifica urmareste sa obtina o intelegere mai buna asupra modului cum functioneaza limbajul. Este un fapt bine cunoscut acela ca nici una dintre celelalte discipline traditionale nu dispune de mijloacele necesare pentru a trata aceasta problema in totalitate. O teorie completa, obtinuta prin combinarea tuturor ipotezelor dezvoltate de catre diverse discipline ar fi mult prea complexa pentru a putea fi studiata exclusiv cu metodele traditionale. Se incearca, de aceea, modelarea algoritmica a acestor teorii complexe, pentru ca ele sa poata fi programate si apoi testate pe calculator. Se crede ca, prin intermediul calculatorului, se va putea obtine o mai completa si mai profunda intelegere asupra modului cum actioneaza limbajul uman. Modelele computationale pot oferi idei deosebit de utile referitoare la comportamentul lingvistic (si deci uman) atat in prezent, cat si in viitor, idei care pot fi exploatate de catre psiholingvisti. In acelasi timp, nu putem sa nu remarcam faptul ca limbile naturale au fost adesea studiate in special cu scopul de a fi predate altora, fiind ignorate principiile generale care stau la baza tuturor limbilor naturale. Intre lingvisti nu exista inca un consens cu privire la multe dintre faptele, notiunile si conceptele lingvistice de baza. Toate acestea au facut sa fie resimtita si mai mult necesitatea existentei unor modele computationale generale referitoare la limbajul natural. Pe de alta parte, motivatia practica sau de natura tehnologica enunta ideea ca, datorita capacitatilor sale, utilizarea limbajului natural va revolutiona modul de folosire a calculatoarelor. In acest context, reamintim faptul ca prin procesarea limbajului natural se intelege acea tehnologie care creeaza si implementeaza modalitati de a efectua diferite sarcini referitoare la limbajul natural. Spre exemplu, aceasta tehnologie poate fi utilizata pentru a construi interfete (bazate pe limbajul natural) cu baze de date, pentru a realiza traducerea automata (in special in domenii tehnice restranse) s.a.

Procesarea limbajului natural reprezinta o tehnologie (adica un ansamblu de procese, metode, operatii) care creeaza si implementeaza modalitati de a executa diferite sarcini referitoare la limbajul natural (cum ar fi constructia unor interfete - bazate pe limbaj natural - cu baze de date, traducerea automata s.a.). Procesarea limbajului natural reprezinta si astazi o problema dificila si in cea mai mare parte nerezolvata. Gasirea unei tehnologii adecvate este extrem de grea datorita naturii multidisciplinare a problemei, fiind implicate urmatoarele stiinte si domenii: lingvistica, psiholingvistica, lingvistica computationala, filozofie, informatica, in general, si inteligenta artificiala, in mod special, etc. Ingineria limbajului natural se ocupa de implementarea unor sisteme de mare anvergura.

Aplicatiile procesarii limbajului natural se inscriu in trei mari categorii:

aplicatiile bazate pe text, dintre care amintim:

clasificarea documentelor (si respectiv gasirea documentelor legate de anumite subiecte);

regasirea informatiei (cautarea unor cuvinte-cheie sau concepte);

extragerea informatiei (legate de un anumit subiect, deci de un anumit cuvant-cheie);

intelegerea textelor (care presupune o analiza profunda a structurii acestora);

traducerea automata si traducerea asistata de calculator dintr-o limba in alta;

alcatuirea de sinteze;

achizitia de cunostinte.

aplicatiile bazate pe dialog, care implica comunicarea intre om si masina, aplicatii cum ar fi sistemele de invatare, sistemele de interogare si raspuns la intrebari, rezolvarea problemelor, controlul (bazat pe limba vorbita) al unui calculator s.a.

procesarea vorbirii (Este important sa facem distinctia intre problemele de recunoastere a vorbirii si cele de intelegere a limbajului. Astfel, trebuie sa remarcam inca de la inceput faptul ca un sistem de recunoastere a vorbirii nu foloseste nici un element de intelegere a limbajului. Recunoasterea vorbirii se ocupa numai de identificarea cuvintelor vorbite provenind de la un semnal dat, nu si de intelegerea mesajului, adica a modului in care aceste cuvinte sunt folosite in procesul de comunicare. Pentru a deveni un sistem de intelegere a limbajului, un dispozitiv de recunoastere a vorbirii trebuie sa furnizeze intrarea sa unui sistem de intelegere a limbajului natural, operatie care produce un asa-numit 'sistem de intelegere a limbajului vorbit'. Caracteristica de baza a oricarui sistem de intelegere este aceea ca el realizeaza o reprezentare a intelesului propozitiilor intr-un limbaj de reprezentare, care poate fi utilizat in vederea unei procesari ulterioare).