Saturday, August 20, 2011
Addressing SMT Data Sparseness when Translating into Morphologically-Rich Languages
Alexandru Ceausu and Dan Tufis, Addressing SMT Data Sparseness when Translating into Morphologically-Rich Languages, NLPCS 2011
Tuesday, May 24, 2011
Monday, May 9, 2011
Tutorial model factorizat
Instalaţi PuTTY şi WinSCP ca să interacţionaţi mai uşor cu maşina virtuală. Dacă nu aveţi acces la maşina virtuală folosind Putty, este posibil ca VMWare Player să nu fie configurat corect. În cazul acesta, mai rulaţi odată instalarea VMWare Player cu opţiunea „Reparare”.
Descărcaţi o nouă variantă de corpus şi de scripturi de aici. Dezarhivaţi-le în /home/user/smt/naacl-fact/
Pregătirea de aliniere
Alinierea corpusului
pentru direcţia engleză-română:
Extragerea echivalenţilor de traducere
Testarea sistemului
Testarea sistemului optimizat
Descărcaţi o nouă variantă de corpus şi de scripturi de aici. Dezarhivaţi-le în /home/user/smt/naacl-fact/
Pregătirea de aliniere
wa-prep.shdurează câteva minute. Produce un director „corpus” în „tm-enro”
Alinierea corpusului
pentru direcţia engleză-română:
walign.sh 1pentru direcţia română engleză:
walign.sh 2durează o jumătate de oră pentru fiecare direcţie. Puteţi să le lansaţi în paralel folosind "screen". În urma alinierii aveţi două noi directoare „giza.en-ro” şi „giza.ro-en” în „tm-enro”
Extragerea echivalenţilor de traducere
train-tm-fact.shdurează aprox. 10 minute. În urma rulării în directorul „tm-enro” apare un director „model”. Fişierul de configurare a sistemului (moses.ini) se găseşte în directorul „model”.
Testarea sistemului
test-tm.sh tm-enro/model/moses.iniOptimizarea parametrilor
tune.shdurează aproximativ 3:30 h. În urma rulării, în fişierul „moses.ini” din directorul mert-enro veţi avea o variantă a sistemului cu parametrii optimizaţi pe datele de optimizare (dev-set)
Testarea sistemului optimizat
test-tm.sh mert-enro/moses.ini
Sunday, February 27, 2011
Slide-uri
- cursul de Traducere Automată de la Universitatea din Edinburgh predat de Philipp Koehn şi Miles Osborne (http://www.inf.ed.ac.uk/teaching/courses/mt/)
- cursul de Traducere Automată bazată pe Metode Statistice ţinut la ESSLLI 2010 de Adam Lopez (http://www.cs.jhu.edu/~alopez/esslli2010.html)
Thursday, February 17, 2011
Moses Scripts install
Note: The word alignment stage in the training scripts needs Giza++ in order to run -- see the post on how to install Mgiza++ (a multi-threaded version of Giza++).
in mosesdecoder/scripts
edit Makefile
instead of:
< TARGETDIR?=/home/s0565741/terabyte/bin
< BINDIR?=/home/s0565741/terabyte/bin
replace with:
> TARGETDIR=/home/user/smt
> BINDIR=/home/user/smt/mgiza/bin
in check-dependencies.pl
modify line 28: GIZA++ with mgiza and snt2cooc.out to snt2cooc
to something like:
unless (-x "$bin_dir/mgiza" && -x "$bin_dir/snt2cooc" && -x "$bin_dir/mkcls" ) {
make release
## Don't forget to set your SCRIPTS_ROOTDIR with:
export SCRIPTS_ROOTDIR=/home/user/smt/scripts-20110216-1712
or add it in .bashrc
in mosesdecoder/scripts
edit Makefile
instead of:
< TARGETDIR?=/home/s0565741/terabyte/bin
< BINDIR?=/home/s0565741/terabyte/bin
replace with:
> TARGETDIR=/home/user/smt
> BINDIR=/home/user/smt/mgiza/bin
in check-dependencies.pl
modify line 28: GIZA++ with mgiza and snt2cooc.out to snt2cooc
to something like:
unless (-x "$bin_dir/mgiza" && -x "$bin_dir/snt2cooc" && -x "$bin_dir/mkcls" ) {
make release
## Don't forget to set your SCRIPTS_ROOTDIR with:
export SCRIPTS_ROOTDIR=/home/user/smt/scripts-20110216-1712
or add it in .bashrc
Install multi-threaded Giza++
checkout latest version of mgizapp
create a folder for mgiza installation (something like /home/user/smt/mgiza)
configure and install mgiza
./configure --prefix=/home/user/smt/mgiza
make install
A word alignment tool based on famous GIZA++, extended to support multi-threading, resume training and incremental training.svn co https://mgizapp.svn.sourceforge.net/svnroot/mgizapp/trunk/mgizapp mgizapp
create a folder for mgiza installation (something like /home/user/smt/mgiza)
configure and install mgiza
./configure --prefix=/home/user/smt/mgiza
make install
Install Moses Decoder
Tested for mosesdecoder from SVN up to rev. 4169
for Ubuntu 10.10 - 11.04 32bit / 64bit
install compression library
install boost-thread library
install xmlrpc for c
check-out last version of moses
(Recently, Moses development moved to git repository. This installation tutorial was tested for versions up to 4169. Just add -r 4169 to the following command if you have problems compiling it.)
svn co https://mosesdecoder.svn.sourceforge.net/svnroot/mosesdecoder/trunk mosesdecoder
build moses (in moses directory)
./regenerate-makefiles.sh
./configure
(opt) for multi-threaded moses run:
./configure --enable-threads
(opt) if you also want the moses XML-RPC server run instead:
./configure --with-xmlrpc-c=/usr/bin/xmlrpc-c-config --enable-threads
after configuration run make:
make -j 4
for Ubuntu 10.10 - 11.04 32bit / 64bit
install compression library
zlib is a library implementing the deflate compression method foundsudo apt-get install zlib1g-dev
in gzip and PKZIP.
install boost-thread library
Toolkit for writing C++ programs that execute as multiple,sudo apt-get install libboost-thread1.42-dev
asynchronous, independent, threads-of-execution.
install xmlrpc for c
XML-RPC is a quick-and-easy way to make procedure calls over the Internet.sudo apt-get install libxmlrpc-c3-dev
It converts the procedure call into an XML document, sends it to a remote
server using HTTP, and gets back the response as XML. This library provides a modular implementation of XML-RPC for C and C++.
check-out last version of moses
(Recently, Moses development moved to git repository. This installation tutorial was tested for versions up to 4169. Just add -r 4169 to the following command if you have problems compiling it.)
svn co https://mosesdecoder.svn.sourceforge.net/svnroot/mosesdecoder/trunk mosesdecoder
build moses (in moses directory)
./regenerate-makefiles.sh
./configure
(opt) for multi-threaded moses run:
./configure --enable-threads
(opt) if you also want the moses XML-RPC server run instead:
./configure --with-xmlrpc-c=/usr/bin/xmlrpc-c-config --enable-threads
after configuration run make:
make -j 4
Subscribe to:
Posts (Atom)