Friday 31 July 2009

Come una foto qui nella mia testa

Era da un po' che F. non era uno spettacolo...

- F., ti ricordi di quando abbiamo fatto quel giro in bici su al lago e abbiamo fatto il picnic?
- No...
- Sicuro? Era qualche anno fa, avrai avuto tre anni, stavi sul seggiolino della bici e io pedalavo, poi siamo arrivati davanti alla galleria, faceva fresco, ci siamo seduti lì e abbiamo mangiato i panini, pane, salame, marmellata, ...
- Ahh, sii, è vero... non me lo ricordo bene, ma un po' sì... è come una fotografia, qui nella mia testa...
- :-) E com'è fatta questa fotografia?
- Siamo io e te sulla bici, io sul seggiolino rosso, e io mi giro e vedo il lago là sotto, dietro di noi...
- Magari un giorno mi fai un disegno...
- Papà, ma perché non me lo ricordo tutto?

S.

Thursday 23 July 2009

Invited talks

I'll be giving two invited talks in the next months:
  • Readersourcing: Scholarly publishing, peer review, and barefoot cobbler's children @ FDIA 2009 @ ESSIR 2009, 01/09/2009.

    Abstract:

    I will start from an introduction to the field of scholarly publishing, the main knowledge dissemination mechanism adopted by science, and I will pay particular attention to one of its most important aspects, peer review. I will present scholarly publishing and peer review aims and motivations, and discuss some of their limits: Nobel Prize winners experiencing rejected papers, fraudulent behavior, sometimes long publishing time, etc. I will then briefly mention Science 2.0, namely the use of Web 2.0 tools to do science in a hopefully more effective way.

    I will then move to the main aspect of the talk. My thesis is composed of three parts.

    (i) Peer review is a scarce resource, i.e., there are not enough good referees today. I will try to support this statement by something more solid than the usual anecdotal experience of being reject because of bad review(er)s --- that I'm sure almost any researcher has experienced.

    (ii) An alternative mechanism to peer review is available right out there, it is already widely used in the Web 2.0, it is quite a hot topic, and it probably is much studied and discussed by researchers: crowdsourcing. According to Web 2.0 enthusiasts, crowdsourcing allows to outsource to a large crowd tasks that are usually performed by a small group of experts. I think that peer review might be replaced --- or complemented --- by what we can name Readersourcing: a large crowd of readers that judge the papers that they read. Since most scholarly papers have many more readers than reviewers, this would allow to harness a large evaluation workforce. Today, readers's opinions usually are discussed very informally, have an impact on bibliographic citations and bibliometric indexes, or stay inside their own mind. In my opinion, it is quite curious that such an important resource, which is free, already available, used and studied by the research community in the Web 2.0 field, is not used at all in nowadays scholarly publishing, where the very same researchers publish their results.

    (iii) Of course, to get a wisdom of the crowd, some readers have to be more equal than others: expert readers should be more influential than naive readers. There are probably several possible choices to this aim; I suggest to use a mechanism that I proposed some years ago, and that allows to evaluate papers, authors, and readers in an objective way. I will close the talk by showing some preliminary experimental results that support this readersourcing proposal.

    Disclaimer: This talk might harm your career; don't blame me for that.

    P.S. Yes, this is somehow related to a previous post...

  • Two Tales on Relevance Crowdsourcing: Criteria and Assessment @ GIScience Colloquium, University Zurich-Irchel, 13/10/2009.

    Abstract (DRAFT):

    In Information Retrieval (IR) and Web search, relevance is a central notion. I will discuss how to outsource to the crowd two relevance-related tasks. The first task concerns the elicitation of relevance criteria. After some results obtained in the 90es, relevance criteria (i.e., the features of the retrieved items that determine their relevance) seem well known and stable. We conjectured that for e-Commerce / product search the criteria might be different, and we used Amazon Mechanical Turk, a crowdsourcing platform, to find a confirmation of our hypothesis.

    The second task concerns effectiveness evaluation. A common evaluation methodology for search engines and IR systems is to rely on a benchmark (a.k.a. test collection); benchmarks need relevance assessment, i.e., to assess the relevance of documents to information needs; usually this task is done by experts, either paid for their work or participating in the evaluation exercise themselves. Again, we used Mechanical Turk, this time to re-assess some TREC topic/document pairs and thus see if we can "get rid of" relevance assessors by replacing them with a crowd working remotely on the Web. I'll discuss the preliminary results on the reliability of the crowd of assessors.

    (this is joint work with Omar Alonso, A9.com; thanks also to Dan Rose)
I'll publish the slides here, once ready. Meaning: after the talks :-)
S.

Wednesday 22 July 2009

Wednesday 8 July 2009

Perché la democrazia non funziona

Guidavo. Era sera. Pioveva. Ascoltavo Travaglio. Lo ascolto spesso ultimamente. E a un certo punto ho improvvisamente capito. Perché la democrazia non funziona più.

Due motivi:
1. Corsa alle armi informazionale: la complessità aumenta sempre e capire cosa è giusto e cosa è sbagliato è sempre più difficile. Ognuno di noi cresce linearmente con le proprie conoscenze, mentre la conoscenza totale globale cresce esponenzialmente?
2. Ignoranza. Se ognuno di noi capisce meno, siamo tutti più ignoranti. Non in termini assoluti, non rispetto ai nostri avi. Ma rispetto a quello che servirebbe. E se non c'è cultura, educazione, la democrazia non funziona. Come ha detto quel comunista di Franklin D. Roosevelt, "Democracy cannot succeed unless those who express their choice are prepared to choose wisely. The real safeguard of democracy, therefore, is education. ". Perché vince (=prende voti) non chi fa le cose giuste ma chi parla agli istinti, anche ai più bassi istinti, delle persone. E diventa tutto un MagnaMagna.

Ho capito.

Uhm.

D'altro canto, oggi le tecnologie consentono di accedere alle informazioni in modo molto più veloce ed efficace di quanto accadenva in passato. Quindi è vero che ci sono più informazioni e più complesse ma anche più possibilità di accedervi. Mah. Ho improvvisamente capito. O almeno credo. O forse no. Ho perso le parole eppure ce le avevo là un attimo fa.

S.

Didattica complicata... (was: CCL.zip.deluso)

I fatti:
  • Da 8 anni tengo un corso al primo anno di università. Il corso è stato fino allo scorso anno di 10 crediti (CFU), di cui 6 di teoria e 4 di laboratorio. Da quest'anno (2008/09) il corso è di 6 CFU di teoria e 6 di laboratorio. I 6 CFU di teoria corrispondono a 48 ore di lezione frontale in aula (lucidi, lavagna, concetti, esempi, ecc.). I 6 CFU di laboratorio corrispondono a 72 ore; in queste ore gli studenti devono fare, appunto, attività di laboratorio: stare seduti davanti a un calcolatore e svolgere esercizi di programmazione. Totale del corso: 120 ore.
  • Non ho mai tenuto il corso da solo: la parte di teoria è tenuta per 24 ore da me e per 24 ore da un mio collega, P. Fino a quest'anno l'attività di laboratorio veniva svolta con l'assistenza da parte di un docente (di solito altri 3 dottorandi, 24 ore a testa).
  • Per il tipo di corso, l'attività di laboratorio è importante. Per gli studenti è importante "fare", mettendo continuamente in pratica quello che spieghiamo durante le lezioni di teoria. La parte di teoria pesa 6 crediti, esattamente come quella di laboratorio. Gli studenti dovrebbero passare 48 ore in aula e 72 ore in laboratorio. Il laboratorio è quindi una parte centrale del corso, non un'appendice.
  • Negli anni abbiamo affinato l'attività di laboratorio. Tramite un'applicazione Web (inizialmente costruita da P e poi raffinata negli anni), gli studenti ricevono gli esercizi da svolgere nell'ordine opportuno.
  • Da quest'anno abbiamo cominciato a sperimentare una metodologia innovativa: l'autovalutazione (il peer assessment). Parte dell'attività di laboratorio consiste nel valutare le soluzioni prodotte da altri studenti.
  • Per lo studente, valutare esercizi svolti da altri studenti è didatticamente valido (perché vede soluzioni a cui magari non aveva pensato). Per il docente, avere una "potenza di valutazione" più elevata consente di assegnare - e valutare - esercizi che altrimenti non verrebbero assegnati o valutati. Il peer assessment è un tema molto studiato, e molto caldo in questi anni.
  • Ovviamente il peer assessment pone il problema dell'affidabilità della valutazione: non sempre gli studenti saranno in grado di assegnare un voto corretto agli esercizi che correggono. Per risolvere questo problema, abbiamo pensato di basarci su un meccanismo che ho proposto qualche anno fa per la letteratura scientifica e che è stato adattato anche a Wikipedia. Questo meccanismo è stato modificato per il peer assessment, e le potenzialità sono notevoli perché le sperimentazioni svolte finora sono incoraggianti e perché in questo dominio, a differenza dei due precedenti, è disponibile un'autorità (il docente) in grado di decidere il voto corretto dell'esercizio, e ciò dovrebbe favorire la convergenza del sistema.
  • Stiamo sperimentando anche altre metodologie didattiche innovative: usiamo strumenti del Web 2.0 per condividere materiale, notizie e informazioni con gli studenti; stiamo implementando un'applicazione per calcolatori e dispositivi mobili che consenta agli studenti di "votare" in tempo reale una lezione, di richiedere approfondimenti ed esempi, e comunque di comunicare al docente informazioni utili sia durante la lezione sia alla fine di essa (altra idea di P, se ricordo bene).
  • La preparazione degli esercizi, la loro correzione, il rispondere alle domande degli studenti (anche e spesso poste per email), la valutazione dell'attività svolta in laboratorio, la preparazione di un progetto di fine corso e la sua correzione sono tutte attività collegate al laboratorio e che finora abbiamo sempre svolto P ed io.
  • Tutto questo a costo zero. Non abbiamo mai chiesto un euro per sviluppare il software, per raccogliere i dati, per avviare sperimentazioni, ecc. ecc. Tutto questo non sarebbe stato possibile se non ci fosse stata una squadra, guidata da P e me, a lavorarci.
  • Per il prossimo anno intendevamo continuare più o meno nello stesso modo. P ed io avevamo anche proposto al Preside, mesi fa e di nostra iniziativa, di ridurre la presenza del docente in laboratorio da 72 ore a 24 ore, per più motivi: la pesante riduzione del budget supplenze (motivo principale!), la disponibilità dell'autovalutazione, la bassa frequenza in laboratorio (essendo gli esercizi disponibili sul Web, lo studente li può svolgere da casa, con gli orari che più gli convengono, con il proprio calcolatore - che è probabilmente migliore di quello che trova in laboratorio -, con le proprie modalità, ecc.), ecc.
Durante gli ultimi CCL e CdF ci sono stati vari attacchi a questo corso. Durante l'ultimo consiglio è stata bocciata la nostra proposta, ossia:
  • 24 ore di supplenza (per P), 24 ore di collaborazione didattica (per un dottorando), continuità didattica con gli scorsi anni (8 anni!), metodologie didattiche innovative, 2 docenti (24 ore a testa) per la parte di teoria.
Motivazioni: gli studenti del primo anno devono vedere un unico docente.

Mah. Triste è dire poco. Chissà qual è il principio pedagogico fondamentale per cui un solo docente è meglio di due. Se qualcuno ne è a conoscenza, me lo comunichi, per favore: io credevo che il Docente Unico fosse solo l'idiozia di qualche politico. Sostenere che un solo docente fa meglio mi pare demenz... ehm, diciamo insensato: due docenti si confrontano, si complementano, spesso quello che uno spiega male viene spiegato meglio dall'altro, ecc. ecc. Non sono a conoscenza di nessuna lamentela da parte degli studenti sui due docenti. In almeno un altro insegnamento ci sono due docenti.

Chi ha votato contro non ha neanche fornito alternative. Che il corso lo tenga io da solo mi pare fuori questione. Sono 120 ore, credo che nessun docente tenga 120 ore di didattica al primo anno, più altre 96 agli anni successivi, tutto gratuito, e dopo aver avuto per tre anni un carico didattico di 120 ore, rispetto alle 96 della maggior parte dei miei colleghi. (c'è qualcuno?)

Diciamo che per simmetria con l'insegnamento omologo in un corso di laurea simile, io potrei tenere la parte di teoria e chiedere una supplenza per coprire le 72 ore di laboratorio.

Forse questa soluzione è migliore? Costerà di più. Ipotizza che la parte di teoria è quella centrale (come detto prima per questo corso non è così). Le lezioni verranno fatte peggio. La collaborazione instaurata da anni con P non proseguirà. Le metodologie didattiche innovative, che potrebbero portare anche vantaggi in termini di finanziamenti e valutazione di Facoltà e ateneo, non verranno più sperimentate. Mah. E tutto questo quando ci sono altri corsi che da anni presentano chiari problemi...

Ci dev'essere sotto qualcos'altro. Forse una visione vecchia degli argomenti del corso per cui dovremmo insegnare cose diverse? Forse una visione limitata, per cui le cose importanti che dovremmo insegnare nel corso sono quelle che servono al docente X per il suo insegnamento? Forse una visione vecchia dell'attività di insegnamento per cui il docente se ne sta sul suo piedistallo nella sua torre d'avorio a pontificare il Verbo e questi esperimenti di autovalutazione sono delle stupidaggini? Ho usato il forse e il condizionale, ma queste posizioni sono state espresse in modo esplicito e più volte durante riunioni e consigli.

A pensare male si potrebbe anche pensare alla malafede - cosa che mi sforzo continuamente di non fare, ma sinceramente il non farlo mi è sempre più difficile. Forse alla base c'è semplicemente un'opposizione preconcetta verso P che si guadagna i soldi della supplenza e che spesso ha detto quello che pensava? Forse ho detto anche io troppo spesso quello che pensavo? Forse c'è il desiderio di affossare l'intero corso di laurea?

Mah. Triste è dire poco. Deluso. Smetto di dire quello che penso. Lo scrivo.
S.

Saturday 4 July 2009

Berlusconi dall'estero

Servizi simili sulle nostre televisioni? (io non le guardo, ma immagino già la risposta...)
Quando al prossimo convegno qualcuno mi chiederà di spiegargli Berlusconi, gli dirò che ne sa più di me...

S.

Wednesday 1 July 2009