EM word alignment exercise

EM word alignment exercise

Source:
bre urna lui Tracosh fotə, au zdədud la tonmie viiu-zəu, Zaz fotə shi au tsimud tonmiia 4 ami shi au nurid.
tubə ge au nurid Zaz fotə, au tsimud tonmiia viiu-zəu, Latsgo fotə 8 ami.
tubə tonmiia lui Poctam fotə au tonmid Bədru fotə, viiu-zəu Nushadu, 16 ami.
bre urna au zdədud la tonmie vradi-zəu, Ronam fotə, 3 ami.
bre urna lui Latsgo fotə au tonmid Poctam fotə 6 ami.

Target:
tubə foiefotul Tracosh a tonmid viul zəu Zaz, tonmia gəruia tsimâmt 4 ami aboi a nurid.
tubə ge a nurid foiefotul Zaz, a tonmid 8 ami viul zəu, foiefotul Latsgo.
tubə tonmia lui foiefotului Poctam a tonmid foiefotul Bedru shi viul zəu, Nushad, dinb te 16 ami.
aboi a urnad tonmia vradelui zəu, foiefotul Ronam, dinb te 3 ami.
tubə foiefotul Latsgo a tonmid 6 ami foiefotul Poctam.

Addressing SMT Data Sparseness when Translating into Morphologically-Rich Languages

Alexandru Ceausu and Dan Tufis, Addressing SMT Data Sparseness when Translating into Morphologically-Rich Languages, NLPCS 2011

Slide-uri cursuri 19-20 mai

Multilingual Resources (ro)

Word Alignment (en)

Sentence Alignment (en)

Tutorial model factorizat

Instalaţi PuTTY şi WinSCP ca să interacţionaţi mai uşor cu maşina virtuală. Dacă nu aveţi acces la maşina virtuală folosind Putty, este posibil ca VMWare Player să nu fie configurat corect. În cazul acesta, mai rulaţi odată instalarea VMWare Player cu opţiunea „Reparare”.

Descărcaţi o nouă variantă de corpus şi de scripturi de aici. Dezarhivaţi-le în /home/user/smt/naacl-fact/

Pregătirea de aliniere

wa-prep.sh

durează câteva minute. Produce un director „corpus” în „tm-enro”

Alinierea corpusului
pentru direcţia engleză-română:

walign.sh 1

pentru direcţia română engleză:

walign.sh 2

durează o jumătate de oră pentru fiecare direcţie. Puteţi să le lansaţi în paralel folosind "screen". În urma alinierii aveţi două noi directoare „giza.en-ro” şi „giza.ro-en” în „tm-enro”

Extragerea echivalenţilor de traducere

train-tm-fact.sh

durează aprox. 10 minute. În urma rulării în directorul „tm-enro” apare un director „model”. Fişierul de configurare a sistemului (moses.ini) se găseşte în directorul „model”.

Testarea sistemului

test-tm.sh tm-enro/model/moses.ini

Optimizarea parametrilor

tune.sh

durează aproximativ 3:30 h. În urma rulării, în fişierul „moses.ini” din directorul mert-enro veţi avea o variantă a sistemului cu parametrii optimizaţi pe datele de optimizare (dev-set)

Testarea sistemului optimizat

test-tm.sh mert-enro/moses.ini

Slide-uri

Scurtă istorie a traducerii automate 

Evaluarea traducerii automate

Traducerea automată bazată pe metode statistice

Traducerea automată bazată pe reguli de transfer

Traducerea automată bazată pe exemple

Slide-urile au la bază:

• cursul de Traducere Automată de la Universitatea din Edinburgh predat de Philipp Koehn şi Miles Osborne (http://www.inf.ed.ac.uk/teaching/courses/mt/)

• cursul de Traducere Automată bazată pe Metode Statistice ţinut la ESSLLI 2010 de Adam Lopez (http://www.cs.jhu.edu/~alopez/esslli2010.html)

Moses Scripts install

Note: The word alignment stage in the training scripts needs Giza++ in order to run -- see the post on how to install Mgiza++ (a multi-threaded version of Giza++).

in mosesdecoder/scripts
edit Makefile

instead of:
< TARGETDIR?=/home/s0565741/terabyte/bin
< BINDIR?=/home/s0565741/terabyte/bin
replace with:
> TARGETDIR=/home/user/smt
> BINDIR=/home/user/smt/mgiza/bin

in check-dependencies.pl
modify line 28: GIZA++ with mgiza and snt2cooc.out to snt2cooc
to something like:
unless (-x "$bin_dir/mgiza" && -x "$bin_dir/snt2cooc" && -x "$bin_dir/mkcls" ) {

make release

## Don't forget to set your SCRIPTS_ROOTDIR with:
   export SCRIPTS_ROOTDIR=/home/user/smt/scripts-20110216-1712
or add it in .bashrc

Install multi-threaded Giza++

checkout latest version of mgizapp

A word alignment tool based on famous GIZA++, extended to support multi-threading, resume training and incremental training. 

svn co https://mgizapp.svn.sourceforge.net/svnroot/mgizapp/trunk/mgizapp mgizapp

create a folder for mgiza installation (something like /home/user/smt/mgiza)

configure and install mgiza
./configure --prefix=/home/user/smt/mgiza
make install