• Powerset
• Hakia
• Google (Ohiko galderak erantzutea /Question Answering)
• Google (Hizkuntzen arteko bilaketa /CLIR Cross Lingual Information Retrieval)
• Google (Esaldiko hutsuneak bete / Fill-in-the-blank search )
• Google (lematizazioa, hutsuneak bete )
  

Guztiz libreak:

* Maltparser
Guztiz librea eta ona ere Nivrerena da (maltparser, Javaz dago).
Parser estatistikoa da. Edozein hizkuntzatarako egokitu daiteke, 
noski, sintaktikoki etiketatuta dagoen corpus bat edukiz gero.
Ingeleserako entrenatuta dago eta erabiltzeko eta jaisteko aukera ematen dute.
Ixa taldeko Koldo Gojenola eta Kepa Bengoetxea ari dira euskararako entrenatzen.

* Stanford Parser
Emaitza onak aurkeztu dituzte artikuluetan. Librea ere bai (GNU lizentzia) 

* Freeling 
Espainierakoa aspaldi dago martxan. Ingeleserakoa garapen mailan dabil oraindik, 
baina azken hilebetetan hobekuntza nabarmena jaso du. 
Guztiz librea (GNU GPL).

* NLTK 
Natural Language ToolKit
Hizkuntzaren prozesaketarako tresna multzo honetan parser sinple bat eskaintzen da. 
Python lengoaia erabili da programatzeko.

Libreak ikerketetarako, baina erabilera komertzialetarako lizentzia ordaindu behar da:

* RASP
Egungo erronka  handiena da ezagutza linguistikoa eta estatistikoa
konbinatzea analizatzaile hobeak lortzearren. Ildo horretatik ikertuz
John Carroll-ek Robust Accurate Statistical Parsing (RASP) sistema sortu du. 
Oso ondo dabil eta hainbeste ikerkuntza-proiektutan zein aplikaziotan erabiltzen ari da. 

* Bikel 
Oinarria aurretik erabiltzen ziren bi parser estatistiko hauek dira: Collins 
eta Charniak.
Bikel-ek egin zuen berrinplementazioa java lengoaiaz, 
eta orain Bikelen parser hori erabiltzen da.

Erabil daitezke Internet-en bidez esaldi batzuk analizatzeko, baina ezin dira jaitsi norberaren makinan erabiltzeko:

* Connexor  
Ezagutza linguistikoan oinarritutakoa.
* Xerox
Ezagutza linguistikoan oinarritutakoa.

QAko sistemari lengoaia naturalezko galderak egiten zaizkio (kontuz gero, galdera horiek ez dira hitz gako hutsak!), eta sistemak testu librezko bilduma erraldoiak aztertu behar ditu emaitza gisa erantzun labur eta zehatzak itzultzeko (dokumentu osorik ez!).

Aurten NIST TREC QA lehiaketaren zazpigarren saioa jarri da martxan.  Aurreko lehiaketek eragile-lan ukaezina egin dute QA arloan, egun edonon onartzen diren ebaluazio-neurriak eta ebaluazio-eskakizunak  ezarri ditu-eta. Hala ere, hasierako TREC QA lehiaketetan ingelesa baino ez zen lantzen, eleaniztasuna ez zen inondik ere azaltzen.

2008ko lehiaketan euskara ere izango da hizkuntza aztergaien artean. Guztira hamar izango dira: alemanera, bulgariera, errumaniera, espainiera, euskara, frantsesa, greziera, ingelesa, italiera, eta portugesa. Euskara bi modutan izango da aztergai: 

• Proba batean euskaraz idatzitako testuetan bilatu beharko dira erantzunak. Galderak espainieraz, euskaraz edo ingelesez egingo dira.
• Beste proba batean galderak euskaraz egingo dira, eta erantzunak bilatu beharko dira espainieraz, ingelesez edo italieraz dauden testuetan.

Hizkuntzaren Azterketa eta Prozesamendua masterraren barruan, Roberto Navigli adituak hitzen adiera desanbiguazioa eta adieren granularitateari buruzko hitzaldiak eskainiko ditu Donostiako informatika fakultatean.

Roberto Navigli ikerlari italiarra Erromako "La Sapienza" unibertsitateko irakaslea da. Internet Semantiko eta Lengoaia Naturalaren Prozesamenduan aritzen da, adiera desanbiguazioan, ontologien ikasketan eta ezagutzaren ikasketan orohar.

HAP masterraren barruan, Donostiako Informatika fakultatean bi hitzaldi eskainiko ditu (gradu aretoan, apirilak 25 ostirala, arratsaldeko 4etan):

• An Introduction to Word Sense Disambiguation, with a Focus on Knowledge-based Methods
• Dealing with the Complexities of Sense Granularity: Knowledge-Based Validation of Fine-grained Sense Annotations

Hitzaldiak irekiak eta ingelesez izango dira.

Itxura hori zuen gizonak ikusi du.

Ematen du amesgaiztoa ez dela bukatzen. Egunkariaren auzia ez da ixten.
Orain dela bost urte mezu hau zabaldu genuen hizkuntza-teknologiako hainbat eragilek  hizkuntza-teknologiako hainbat posta zerrendetan. Berriro ekarri nahi izan dut hona Egunkariak hizkuntza-teknologiari egin zion ekarpena gogora dezagun.

Subject: Today Basque is "an even more" endangered language. (2003/03/05)
Dear colleagues
We know that this kind of message is not common in this mailing list, but we would like to inform you about a direct attack to the Basque culture, which has a direct influence in our research efforts.
The only Basque language newspaper in the world "Egunkaria" was temporarily closed on February the 20th and 10 top representatives of Basque culture arrested by a Spanish judge, under allegations of collaboration with terrorists. We want to stress that there has not been any trial yet; they have been held in protective custody. Before even finding the newspaper employees guilty, the judge decided to close down the newspaper. The closing of the newspaper is a preventive temporary measure, but Spanish law allows the closing to go on for five years. Even after a few weeks the newspaper becomes financially unfeasible.
It is worth mentioning that Egunkaria has the support of different political sensibilities in the Basque Society, and it is also well known in the International Community. The vast majority of Basque society does not agree with the closing of Egunkaria (list of supporters in http://www.euskalnet.net/ileturia/egunkaria/list.htm). The International Federation of Journalists (http://www.ifex.org/alerts/view.html?id=11985),
Reporters Without Borders (http://www.rsf.org/article.php3?id_article=4998)
and the president of the European Bureau of Lesser Used Languages, among others, have also criticized the measure.
Being Basque an endangered language (around 800.000 speakers) under a normalization process, currently available corpora are small in size, and one of the most promising sources for our research efforts was Egunkaria.
There is also an English version of it that would allow us to research on parallel corpora. One of the biggest linguistic corpora available for Basque is the compilation of the daily issues since 2000. Language technology was being used to search in their online news database (unfortunately, their internet edition was also closed). A document classification research project was underway, as well as a research project on a pragma-rhetorical analysis of the contents of EGUNKARIA.

We do not want to initiate a debate. If you want more information or to express your sympathy, please refer to
http://www.sustatu.com/english/egunkaria.

Today Basque is "an even more" endangered language.

Research groups and companies working on Human Language Technology from the Basque Country supporting this message:

   AHOLAB group (http://bips.bi.ehu.es)
   DELi group (http://www.deli.deusto.es)
   ILCLI group on semantics, pragmatics and rhetoric
(http://www.sc.ehu.es/ilcli)
   IXA NLP group (http://ixa.si.ehu.es)
   Code & Syntax (http://www.codesyntax.com)
   Diana Teknologia (http://www.diana-tek.com)
   Eleka (http://www.eleka.net)
   Elhuyar (http://www.elhuyar.com)
   Hizkia Informatika (http://www.hizkia.fr)
   UZEI (http://www.uzei.com)

Fernando Morillo idazleak aho zabalik utzi gaitu ostiraleko Hiztek mintegian. Argi geratu zaigu etorri handikoa dela azpeitiar hau, baita ere teknologia funtsezkoa zaiola etorri hori aberasteko. Bi orduko saioan bere jardun profesionaleko 25 programa aurkeztu dizkigu, pantailan eta martxan. Txundituta utzi gaitu.

• Hitzaldia: Hizkuntza-teknologia berriak eta literatura
• Non: Donostiako Informatika Fakultateko Gradu Aretoan
• Hizlaria: Fernando Morillo
  Azpeitiarra da eta zientziazale amorratua txikitatik. Fisika ikasten hasi zen baina Filosofia ikasketak burutu zituen. Literatur sarien irabazle: /Gudoste ametsak/ lanak Donostia Hiria saria oparitu zion 1999. urtean; Pasaiako Hiria, Igartza Literatur beka eta Gabriel Aresti saria irabazi ditu, besteak beste. CAF-Elhuyar-ek emandako zientzia artikuluen gaineko sarien irabazle suertatu da birritan ere.
• Gaia: hizkuntza-teknologiek literatura sortzerakoan eskaintzen dituzten aukerez mintzatuko da. Eta gogoeta egitearekin batera, literatura egiteko baliagarri izan daitezkeen hainbat tresna erakutsiko dizkigu.

Ricardo Baeza-Yates ikerlari txiletarra EHUko Informatika Fakultatean izango da urriaren 16an. 
Dokumentu-bilatzaileak nola hobetu? Hori da gaia.
- Eguna: urriaren 16a
- Ordua: arratsaldeko 4etan
- Gaiak: IR y NLP. Mineria de consultas 
    (hitzaldiak gaztelaniaz izango dira)
- Tokia: Donostiako Informatika Fakultateko gradu-aretoa

Ricardo Baeza-Yates

Yahoo! Research Barcelona ikerketa-zentroko zuzendaria da  gaur egun,
baita Yahoo! Research Latin America zentrokoa ere. 
Lehenago, 2005. urtera arte, Txileko Weberako ikerketa zentroko zuzendaria 
eta Bartzelonako Pompeu Fabra unibertsitateko katedraduna izan zen.
Oso ikerlari famatua da Information Retrieval arloan.
Bere argitalpenen artean aipagarria da Modern Information Retrieval liburua

Dokumentuen berreskurapena (IR, Information Retrieval)

Aplikazio honen helburua hainbat eta hainbat dokumenturen artean bakar bat (edo batzuk) hautatzea da, bilatzen dugun kontzeptu bat edo informazio bat daukana. Noski, adibide tipikoena Interneterako bilatzaileena da,  Google  eta Yahoo !esatebaterako. Euskarazko testuetan hitz osoak bilatzea oso praktikoa ez denez, hainbat ekarpen izan  dira:

• Ametzagaina taldearen Kapsula softwarea,

• Diana Teknologia enpresaren Xerka, eta IXA taldearen lematitzailea erabilita.

• IXA taldearen lematizatzailea zenbait web gunetan integratu izan da: Berria egunkariaren hemerotekan, ZientziaNet-en, Jalgi-n...

• Urrian bertan plazaratuko da Elebila Interneteko bilatzaile berria euskarazko dokumentuetan bakarrik bilatuko dituena eta euskararen ezaugarriak kontuan hartuta.

IR-ko programek barruan hiru modulu edukitzen dute: modulu indexatzailea, dokumentuak aztertuta hitzekin indizeak sortzen dituena;  modulu bilatzailea, indizeak erabilita dokumentu interesgarriak azkar bilatzen dituena; eta dokumentu horiek beren garrantziaren arabera ordenatzen dituen modulua.

Asko aurreratu da azken 10 urteetan baina erronka berriak badira IR-ko ikerketan:  dokumentuen ereduak, dokumentuen sailkapena eta kategorizazioa, arkitektura eta lengoaia bereziak, erabiltzaileen interfazeak, datuen bistaratzea eta iragazketa,

  1.techniques for shallow parsing: treebanks, linguistic grammars,  
  2.Disambiguation.
  3.parser evaluation
  4.high precision parsing
  5.efficient deep parsing
  6.robust parsing and shallow semantics

Distributions of the senses of words are often highly skewed. This fact is exploited by word sense disambiguation (WSD) systems which back off to the predominant (most frequent) sense of a word when contextual clues are not strong enough. The topic domain of a document has a strong influence on the sense distribution of words.
Unfortunately, it is not feasible to produce large manually sense-annotated corpora for every domain of interest. Previous experiments have shown that unsupervised estimation of the predominant sense of certain words using corpora whose domain has been determined by hand outperforms estimates based on domain-independent text for a subset of words and even outperforms the estimates based on counting occurrences in an annotated corpus.
In this talk I will address the question of whether it is possible to _automatically_ produce domain-specific corpora which could be used to acquire predominant senses appropriate for specific domains.