Werkoverleg met GvN.
Taken:
- Tokenizer
Invoer: test.txt
invoer tokenize.sh tokenize_no_breaks.sh
Dit is een test. En dit ook! Etc., enz. Dit is een test . Dit is een test . En dit ook ! Etc. , enz.
En dit ook !
Etc. , enz.
Aap 'tuut'-vorm noot. Aap 'tuut'-vorm noot . Aap 'tuut'-vorm noot .
Aap ’tuut’-vorm noot. Aap ’tuut’-vorm noot . Aap ’tuut’-vorm noot .
Aap `tuut`-vorm noot. Aap `tuut`-vorm noot . Aap `tuut`-vorm noot .
Aap (buiten)gewoon noot. Aap (buiten)gewoon noot . Aap (buiten)gewoon noot .
Aap 'auto's' noot. Aap ' auto's ' noot . Aap ' auto's ' noot .
Aap "auto"s" noot. Aap " auto"s " noot . Aap " auto"s " noot .
Aap `auto`s` noot. Aap ` auto`s ` noot . Aap ` auto`s ` noot .
Aap ,auto,s, noot. Aap , auto , s , noot . Aap , auto , s , noot .
Aap ’auto’s’ noot. Aap ’ auto’s ’ noot . Aap ’ auto’s ’ noot .
Aap ‘auto‘s‘ noot. Aap ‘ auto‘s ‘ noot . Aap ‘ auto‘s ‘ noot .
Aap ”auto”s” noot. Aap ” auto”s ” noot . Aap ” auto”s ” noot .
Aap “auto“s“ noot. Aap “ auto“s “ noot . Aap “ auto“s “ noot .
Aap ‚auto‚s‚ noot. Aap ‚ auto‚s ‚ noot . Aap ‚ auto‚s ‚ noot .
Aap „auto„s„ noot. Aap „ auto„s „ noot . Aap „ auto„s „ noot .
Aap fietsen…… noot. Aap fietsen … … noot . Aap fietsen … … noot .
Aap fietsen..... noot. Aap fietsen ..... noot . Aap fietsen ..... noot .
Aap fietsen⋯ noot. Aap fietsen⋯ noot . Aap fietsen⋯ noot .
Aap «fietsen» noot. Aap « fietsen » noot . Aap « fietsen » noot .
Aap »fietses« noot. Aap » fietses « noot . Aap » fietses « noot .
Aap <fietsen> noot. Aap <fietsen> noot . Aap <fietsen> noot .
Aap <<fietsen>> noot. Aap <<fietsen>> noot . Aap <<fietsen>> noot .
Aap (fietsen) noot. Aap ( fietsen ) noot . Aap ( fietsen ) noot .
Aap ((fietsen)) noot. Aap ( ( fietsen ) ) noot . Aap ( ( fietsen ) ) noot .
Aap [fietsen] noot. Aap \[ fietsen \] noot . Aap \[ fietsen \] noot .
Aap [[fietsen]] noot. Aap \[ \[ fietsen \] \] noot . Aap \[ \[ fietsen \] \] noot .
Aap {fietsen}} noot. Aap { fietsen } } noot . Aap { fietsen } } noot .
Aap {{fietsen}} noot. Aap { { fietsen } } noot . Aap { { fietsen } } noot .
Aap.noot. Aap.noot . Aap.noot .
Aap,noot. Aap , noot . Aap , noot .
(Dat is een feit) Ik aap noot. ( Dat is een feit ) ( Dat is een feit ) Ik aap noot .
Ik aap noot .
huis- tuin- en keuken huis- tuin- en keuken huis- tuin- en keuken
ik ga -zoals gezegd- naar huis (minus) ik ga - zoals gezegd - naar huis ( minus ) ik ga - zoals gezegd - naar huis ( minus )
ik ga –zoals gezegd– naar huis (n-dash) ik ga – zoals gezegd – naar huis ( n-dash ) ik ga – zoals gezegd – naar huis ( n-dash )
ik ga —zoals gezegd— naar huis (m-dash) ik ga — zoals gezegd — naar huis ( m-dash ) ik ga — zoals gezegd — naar huis ( m-dash )
ik ga — zoals gezegd — naar huis (m-dash) ik ga — zoals gezegd — naar huis ( m-dash ) ik ga — zoals gezegd — naar huis ( m-dash )
ik ga—zoals gezegd—naar huis (m-dash) ik ga—zoals gezegd—naar huis ( m-dash ) ik ga—zoals gezegd—naar huis ( m-dash )
Aap 1-2 noot (minus) Aap 1-2 noot ( minus ) Aap 1-2 noot ( minus )
Aap 1–2 noot (n-dash) Aap 1–2 noot ( n-dash ) Aap 1–2 noot ( n-dash )
Aap 1—2 noot (m-dash) Aap 1—2 noot ( m-dash ) Aap 1—2 noot ( m-dash )