Zie ook: AlpinoTokenizerPython

installeren

ln -s /net/aistaff/vannoord/z/Alpino/Tokenization/libtok_no_breaks.c .
perl -p -e 's/QDATUM|new_t_accepts|qentry|qinit|qinsert|qpeek|qremove|queue|replace_from_queue|resize_buf|t_accepts|transition_struct|trans|unknown_symbol/$&1/g' \
    /net/aistaff/vannoord/z/Alpino/Tokenization/libtok.c > libtok1.c
perl Makefile.PL INSTALL_BASE=$HOME
make
make test
make install

gebruik

In de shell:

export PERL5LIB=$HOME/lib/perl5
perldoc AlpinoTokenizer
man AlpinoTokenizer  # dit werkt als $HOME/bin in $PATH staat

Perl-script:

   1 use AlpinoTokenizer;
   2 
   3 $zin = "Dit is een test. En dit ook! Etc., enz.";
   4 
   5 print AlpinoTokenizer::tokenize($zin);    # zonder newlines
   6 print "\n";
   7 
   8 print AlpinoTokenizer::tokenize($zin, 0); # zonder newlines
   9 print "\n";
  10 
  11 print AlpinoTokenizer::tokenize($zin, 1); # met newlines
  12 print "\n";
  13 
  14 AlpinoTokenizer::test();

attachments

Download alles: AlpinoTokenizerPerl.tar.gz

CategoryAlpino CategoryCorpora CategoryPerl CategorySwig