Werkoverleg met GvN.

Taken:

1. LassyDemo

   • ✔ Wanneer nieuwe schrijfruimte beschikbaar is, tabel lassy_wiki opnieuw opbouwen

     • ✻ Beginnend bij 500.000 zinnen, in stappen verdubbelen to 8.000.000 zinnen.
     • ✔ Voor elk stap noteren: tijd voor opslaan zinnen en triplets; tijd voor opslaan van paren woord/lemma; schijfruimte. Zie onder.

     • ✔ Programma tags opnieuw draaien, en menu in lassy bijwerken.

2. TwitterData

   • ✔ Naive Bayes classifier

     • ✻ http://nlp.stanford.edu/IR-book/

     • ✻ http://nlp.stanford.edu/IR-book/ppt/13bayes.pptx vanaf sheet 24

     • → zelfde trainings- en testdata als studenten: F-score = .981

     • ✔ Ook met hoofddomeinen van lange urls: http://foo.bar.baz/lala → .baz

       • → F-score = .983

     • ? Wat doen we hier verder mee?

   • ✔ In gecorrigeerde samples een kopie maken waarin korte urls zijn vervangen door lange urls.
   • ✔ Sneller zoeken van keyword in tweets
     • ✘ Snel vanuit json of MongoDB?
       • zcat | grep | tweet2tab | grep → traag
       • dump van alle tweets vanuit MongoDB | grep → traag
     • ✔ Alleen tekst en screenname opslaan in tekstbestanden

Werkoverleg met WvdM en AP.

Taken:

1. CLCG
   • ✔ Root-toegang tot ingediende gevens: HTTP_X_FORWARDED_FOR

   • ❏ Beperken toegang tot mensen binnen universiteit: via .htaccess werkt niet vanwege forwarding

   • ✔ Dubbelen verwijderen in uitvoer van PhD-projecten.

LassyDemo

Aanmaken lassy_wiki

Aantal delen is incrementeel. Bij 100 zijn er 50 toegevoegd aan de 50 die er al waren.

De tijd voor het maken van de tabel _word is over alle data, niet alleen het laatste toegevoegd.

CategoryLassy CategoryCornetto CategoryTwitter CategoryClcg