Werkoverleg met GvN.
Taken:
EarleyParser
Vanaf nu met volgende set-up:
Categorieën door Alpino
Met regel: parse → ( robust | skip )*Evaluatie: negeer nodes parse, parse_list en skip. Gedaan.
Tests tegen 1 t/m 29 delen: Gedaan.
- OK, FAIL
- Gemiddelde F-score
- Tijd
- Geheugen
Verschillende sets van 1000 zinnen testen: variatie in scores en aantal FAIL. Gedaan.
Kolmogorov–Smirnov test — in R: ks.test()
Earley-parser draaien op Millipede Cluster. Gedaan.
Bij 1.2:
Zie: http://www.let.rug.nl/kleiweg/Earley/2013-06-26
N |
Fail |
F-score |
Tijd |
Gb |
Regels |
1 |
33.1 |
0.676 |
0:46 |
0.8 |
73588 |
2 |
21.9 |
0.721 |
1:20 |
1.4 |
122112 |
3 |
17.3 |
0.744 |
2:06 |
1.7 |
163014 |
4 |
14.7 |
0.754 |
2:47 |
2.4 |
200377 |
6 |
11.2 |
0.768 |
3:41 |
3.5 |
267192 |
9 |
8.9 |
0.782 |
4:48 |
4.5 |
353991 |
14 |
6.9 |
0.790 |
6:13 |
5.6 |
475250 |
19 |
5.5 |
0.797 |
8:55 |
11.4 |
581778 |
24 |
4.9 |
0.803 |
10:51 |
13.3 |
678087 |
29 |
4.7 |
0.806 |
14:41 |
15.2 |
766751 |
Fail is percentage parses waar 'robust' niet de top is.
Tijd is op volker.
Bij 1.3:
5 sets van 1000 onbekende zinnen tegen grammatica van 9 delen.
Percentages gebruik van category 'parse': 8.0 9.0 9.3 10.7 10.8
K-S Statistic |
||||
|
Min |
Gemiddeld |
Max |
|
Precision |
0.023 |
0.043 |
0.081 |
|
Recall |
0.030 |
0.043 |
0.073 |