make.tenure.FAST

:-)

S.

IIR 2010

I though that I would never have organized something again, but I was wrong. Yes: errare humanum est, sed perseverare diabolicum. But this sounds interesting.


I'm organizing the Italian Information Retrieval workshop. Feel free to contact me for further infos. And feel free to submit your papers, of course!!

S.

Mechanical Turk and relevance

The slides of my second invited talk.

S.

E

Tra un po' non avremo più tesisti e subito dopo nemmeno studenti, figurarsi i dottorandi.

E

Research evaluation and bibliometrics - again

Another REF report. Quotations:

bibliometric indicators alone cannot provide a sufficiently robust measure of quality to drive funding allocations in any discipline at present. (p. 27, emphasis added)

Through those initial consultations – and the more recent bibliometrics pilot exercise – a widespread consensus has emerged that while metrics should inform expert review they are not sufficiently robust to replace expert review. While we remain concerned to reduce the burden of assessment, we believe we have exhausted the main options for any radically different alternative approach. The REF will be driven by a process of expert review, informed by metrics. (p. 27, emphasis added)

As I wrote time ago: it is stupid not to rely on bibliometric indicators. And it is stupid to rely on bibliometric indicators only.

S.

Promemoria

Non discutere con uno stupido: la gente potrebbe non notare la differenza.

Non discutere con uno stupido: devi scendere al suo livello,  e poi lui ti batte con l'esperienza.

S.

Almalaurea, statistiche, e dintorni.

Uno degli argomenti più frequenti nei consigli della mia facoltà è la differenza fra gli studenti di Informatica e TWM (lauree triennali) e Informatica e Tecnologie dell'informazione (lauree specialistiche). Quando si solleva la questione, di solito è sempre per dire che:

• gli studenti di TWM sono di qualità inferiore, e me ne accorgo durante il mio insegnamento di XXX;
• il corso di TWM è più facile.

Io faccio sempre notare tre cose. Primo, che forse è vero, e forse no. Secondo, che non è da stupirsi che gli studenti di TWM abbiano maggiori difficoltà dato che il corso è più giovane, ancora in assestamento, e che TWM viene sempre visto come il fratello minore di Informatica, e che quindi se c'è da scegliere fra i due (ad esempio mutuare un corso da uno all'altro, o decidere a chi di due docenti assegnare il corso a Informatica e chi a TWM, o ecc.) la scelta privilegia sempre Informatica (mutuando si mantiene il programma del corso di Informatica; il docente più "bravo" va a Informatica; ecc.). Terzo, che forse l'approccio scientifico sarebbe diverso: non basarsi sulle opinioni e sensazioni, ma guardare i dati. Finalmente i dati ci sono, grazie ad Almalaurea che, recentemente, ha introdotto la possibilità di vedere i dati per i singoli corsi di laurea. E i dati sono interessanti:

• Laureati 2008: Informatica - TWM
  

• Laureati 2008: Informatica - Tecnologie dell'informazione
  

Posted from Diigo.

S.

PhD in Computer Science @ Udine

We have a PhD degree in Computer Science at the University of Udine, Dept. of Mathematics and Computer Science. If you're interested, you have only two days left to submit an application (and you can do that online).

S.

Readersourcing

Readersourcing.org. Have a look. (there you can also download the slides of my first invited talk)

S.

On peer review and scholarly publishing - again

Another interesting proposal, although my own papers are not cited ;-)

S.

Come una foto qui nella mia testa

Era da un po' che F. non era uno spettacolo...

- F., ti ricordi di quando abbiamo fatto quel giro in bici su al lago e abbiamo fatto il picnic?
- No...
- Sicuro? Era qualche anno fa, avrai avuto tre anni, stavi sul seggiolino della bici e io pedalavo, poi siamo arrivati davanti alla galleria, faceva fresco, ci siamo seduti lì e abbiamo mangiato i panini, pane, salame, marmellata, ...
- Ahh, sii, è vero... non me lo ricordo bene, ma un po' sì... è come una fotografia, qui nella mia testa...
- :-) E com'è fatta questa fotografia?
- Siamo io e te sulla bici, io sul seggiolino rosso, e io mi giro e vedo il lago là sotto, dietro di noi...
- Magari un giorno mi fai un disegno...
- Papà, ma perché non me lo ricordo tutto?

S.

Invited talks

I'll be giving two invited talks in the next months:

• Readersourcing: Scholarly publishing, peer review, and barefoot cobbler's children @ FDIA 2009 @ ESSIR 2009, 01/09/2009.
  
  Abstract:
  
  I will start from an introduction to the field of scholarly publishing, the main knowledge dissemination mechanism adopted by science, and I will pay particular attention to one of its most important aspects, peer review. I will present scholarly publishing and peer review aims and motivations, and discuss some of their limits: Nobel Prize winners experiencing rejected papers, fraudulent behavior, sometimes long publishing time, etc. I will then briefly mention Science 2.0, namely the use of Web 2.0 tools to do science in a hopefully more effective way.
  
  I will then move to the main aspect of the talk. My thesis is composed of three parts.
  
  (i) Peer review is a scarce resource, i.e., there are not enough good referees today. I will try to support this statement by something more solid than the usual anecdotal experience of being reject because of bad review(er)s --- that I'm sure almost any researcher has experienced.
  
  (ii) An alternative mechanism to peer review is available right out there, it is already widely used in the Web 2.0, it is quite a hot topic, and it probably is much studied and discussed by researchers: crowdsourcing. According to Web 2.0 enthusiasts, crowdsourcing allows to outsource to a large crowd tasks that are usually performed by a small group of experts. I think that peer review might be replaced --- or complemented --- by what we can name Readersourcing: a large crowd of readers that judge the papers that they read. Since most scholarly papers have many more readers than reviewers, this would allow to harness a large evaluation workforce. Today, readers's opinions usually are discussed very informally, have an impact on bibliographic citations and bibliometric indexes, or stay inside their own mind. In my opinion, it is quite curious that such an important resource, which is free, already available, used and studied by the research community in the Web 2.0 field, is not used at all in nowadays scholarly publishing, where the very same researchers publish their results.
  
  (iii) Of course, to get a wisdom of the crowd, some readers have to be more equal than others: expert readers should be more influential than naive readers. There are probably several possible choices to this aim; I suggest to use a mechanism that I proposed some years ago, and that allows to evaluate papers, authors, and readers in an objective way. I will close the talk by showing some preliminary experimental results that support this readersourcing proposal.
  
  Disclaimer: This talk might harm your career; don't blame me for that.
  
  P.S. Yes, this is somehow related to a previous post...
  
  
• Two Tales on Relevance Crowdsourcing: Criteria and Assessment @ GIScience Colloquium, University Zurich-Irchel, 13/10/2009.
  
  Abstract (DRAFT):
  
  In Information Retrieval (IR) and Web search, relevance is a central notion. I will discuss how to outsource to the crowd two relevance-related tasks. The first task concerns the elicitation of relevance criteria. After some results obtained in the 90es, relevance criteria (i.e., the features of the retrieved items that determine their relevance) seem well known and stable. We conjectured that for e-Commerce / product search the criteria might be different, and we used Amazon Mechanical Turk, a crowdsourcing platform, to find a confirmation of our hypothesis.
  
  The second task concerns effectiveness evaluation. A common evaluation methodology for search engines and IR systems is to rely on a benchmark (a.k.a. test collection); benchmarks need relevance assessment, i.e., to assess the relevance of documents to information needs; usually this task is done by experts, either paid for their work or participating in the evaluation exercise themselves. Again, we used Mechanical Turk, this time to re-assess some TREC topic/document pairs and thus see if we can "get rid of" relevance assessors by replacing them with a crowd working remotely on the Web. I'll discuss the preliminary results on the reliability of the crowd of assessors.
  
  (this is joint work with Omar Alonso, A9.com; thanks also to Dan Rose)
  

I'll publish the slides here, once ready. Meaning: after the talks :-)
S.

Per rinfrancar lo spirito fra un post e l'altro

Mi hanno detto che il mio blog ultimamente diventa sempre più triste, e quindi...

S.

Perché la democrazia non funziona

Guidavo. Era sera. Pioveva. Ascoltavo Travaglio. Lo ascolto spesso ultimamente. E a un certo punto ho improvvisamente capito. Perché la democrazia non funziona più.

Due motivi:
1. Corsa alle armi informazionale: la complessità aumenta sempre e capire cosa è giusto e cosa è sbagliato è sempre più difficile. Ognuno di noi cresce linearmente con le proprie conoscenze, mentre la conoscenza totale globale cresce esponenzialmente?
2. Ignoranza. Se ognuno di noi capisce meno, siamo tutti più ignoranti. Non in termini assoluti, non rispetto ai nostri avi. Ma rispetto a quello che servirebbe. E se non c'è cultura, educazione, la democrazia non funziona. Come ha detto quel comunista di Franklin D. Roosevelt, "Democracy cannot succeed unless those who express their choice are prepared to choose wisely. The real safeguard of democracy, therefore, is education. ". Perché vince (=prende voti) non chi fa le cose giuste ma chi parla agli istinti, anche ai più bassi istinti, delle persone. E diventa tutto un MagnaMagna.

Ho capito.

Uhm.

D'altro canto, oggi le tecnologie consentono di accedere alle informazioni in modo molto più veloce ed efficace di quanto accadenva in passato. Quindi è vero che ci sono più informazioni e più complesse ma anche più possibilità di accedervi. Mah. Ho improvvisamente capito. O almeno credo. O forse no. Ho perso le parole eppure ce le avevo là un attimo fa.

S.

Didattica complicata... (was: CCL.zip.deluso)

I fatti:

• Da 8 anni tengo un corso al primo anno di università. Il corso è stato fino allo scorso anno di 10 crediti (CFU), di cui 6 di teoria e 4 di laboratorio. Da quest'anno (2008/09) il corso è di 6 CFU di teoria e 6 di laboratorio. I 6 CFU di teoria corrispondono a 48 ore di lezione frontale in aula (lucidi, lavagna, concetti, esempi, ecc.). I 6 CFU di laboratorio corrispondono a 72 ore; in queste ore gli studenti devono fare, appunto, attività di laboratorio: stare seduti davanti a un calcolatore e svolgere esercizi di programmazione. Totale del corso: 120 ore.
  
• Non ho mai tenuto il corso da solo: la parte di teoria è tenuta per 24 ore da me e per 24 ore da un mio collega, P. Fino a quest'anno l'attività di laboratorio veniva svolta con l'assistenza da parte di un docente (di solito altri 3 dottorandi, 24 ore a testa).
• Per il tipo di corso, l'attività di laboratorio è importante. Per gli studenti è importante "fare", mettendo continuamente in pratica quello che spieghiamo durante le lezioni di teoria. La parte di teoria pesa 6 crediti, esattamente come quella di laboratorio. Gli studenti dovrebbero passare 48 ore in aula e 72 ore in laboratorio. Il laboratorio è quindi una parte centrale del corso, non un'appendice.
• Negli anni abbiamo affinato l'attività di laboratorio. Tramite un'applicazione Web (inizialmente costruita da P e poi raffinata negli anni), gli studenti ricevono gli esercizi da svolgere nell'ordine opportuno.
• Da quest'anno abbiamo cominciato a sperimentare una metodologia innovativa: l'autovalutazione (il peer assessment). Parte dell'attività di laboratorio consiste nel valutare le soluzioni prodotte da altri studenti.
  
• Per lo studente, valutare esercizi svolti da altri studenti è didatticamente valido (perché vede soluzioni a cui magari non aveva pensato). Per il docente, avere una "potenza di valutazione" più elevata consente di assegnare - e valutare - esercizi che altrimenti non verrebbero assegnati o valutati. Il peer assessment è un tema molto studiato, e molto caldo in questi anni.
• Ovviamente il peer assessment pone il problema dell'affidabilità della valutazione: non sempre gli studenti saranno in grado di assegnare un voto corretto agli esercizi che correggono. Per risolvere questo problema, abbiamo pensato di basarci su un meccanismo che ho proposto qualche anno fa per la letteratura scientifica e che è stato adattato anche a Wikipedia. Questo meccanismo è stato modificato per il peer assessment, e le potenzialità sono notevoli perché le sperimentazioni svolte finora sono incoraggianti e perché in questo dominio, a differenza dei due precedenti, è disponibile un'autorità (il docente) in grado di decidere il voto corretto dell'esercizio, e ciò dovrebbe favorire la convergenza del sistema.
  
• Stiamo sperimentando anche altre metodologie didattiche innovative: usiamo strumenti del Web 2.0 per condividere materiale, notizie e informazioni con gli studenti; stiamo implementando un'applicazione per calcolatori e dispositivi mobili che consenta agli studenti di "votare" in tempo reale una lezione, di richiedere approfondimenti ed esempi, e comunque di comunicare al docente informazioni utili sia durante la lezione sia alla fine di essa (altra idea di P, se ricordo bene).
• La preparazione degli esercizi, la loro correzione, il rispondere alle domande degli studenti (anche e spesso poste per email), la valutazione dell'attività svolta in laboratorio, la preparazione di un progetto di fine corso e la sua correzione sono tutte attività collegate al laboratorio e che finora abbiamo sempre svolto P ed io.
• Tutto questo a costo zero. Non abbiamo mai chiesto un euro per sviluppare il software, per raccogliere i dati, per avviare sperimentazioni, ecc. ecc. Tutto questo non sarebbe stato possibile se non ci fosse stata una squadra, guidata da P e me, a lavorarci.
• Per il prossimo anno intendevamo continuare più o meno nello stesso modo. P ed io avevamo anche proposto al Preside, mesi fa e di nostra iniziativa, di ridurre la presenza del docente in laboratorio da 72 ore a 24 ore, per più motivi: la pesante riduzione del budget supplenze (motivo principale!), la disponibilità dell'autovalutazione, la bassa frequenza in laboratorio (essendo gli esercizi disponibili sul Web, lo studente li può svolgere da casa, con gli orari che più gli convengono, con il proprio calcolatore - che è probabilmente migliore di quello che trova in laboratorio -, con le proprie modalità, ecc.), ecc.
  

Durante gli ultimi CCL e CdF ci sono stati vari attacchi a questo corso. Durante l'ultimo consiglio è stata bocciata la nostra proposta, ossia:

• 24 ore di supplenza (per P), 24 ore di collaborazione didattica (per un dottorando), continuità didattica con gli scorsi anni (8 anni!), metodologie didattiche innovative, 2 docenti (24 ore a testa) per la parte di teoria.

Motivazioni: gli studenti del primo anno devono vedere un unico docente.

Mah. Triste è dire poco. Chissà qual è il principio pedagogico fondamentale per cui un solo docente è meglio di due. Se qualcuno ne è a conoscenza, me lo comunichi, per favore: io credevo che il Docente Unico fosse solo l'idiozia di qualche politico. Sostenere che un solo docente fa meglio mi pare demenz... ehm, diciamo insensato: due docenti si confrontano, si complementano, spesso quello che uno spiega male viene spiegato meglio dall'altro, ecc. ecc. Non sono a conoscenza di nessuna lamentela da parte degli studenti sui due docenti. In almeno un altro insegnamento ci sono due docenti.

Chi ha votato contro non ha neanche fornito alternative. Che il corso lo tenga io da solo mi pare fuori questione. Sono 120 ore, credo che nessun docente tenga 120 ore di didattica al primo anno, più altre 96 agli anni successivi, tutto gratuito, e dopo aver avuto per tre anni un carico didattico di 120 ore, rispetto alle 96 della maggior parte dei miei colleghi. (c'è qualcuno?)

Diciamo che per simmetria con l'insegnamento omologo in un corso di laurea simile, io potrei tenere la parte di teoria e chiedere una supplenza per coprire le 72 ore di laboratorio.

Forse questa soluzione è migliore? Costerà di più. Ipotizza che la parte di teoria è quella centrale (come detto prima per questo corso non è così). Le lezioni verranno fatte peggio. La collaborazione instaurata da anni con P non proseguirà. Le metodologie didattiche innovative, che potrebbero portare anche vantaggi in termini di finanziamenti e valutazione di Facoltà e ateneo, non verranno più sperimentate. Mah. E tutto questo quando ci sono altri corsi che da anni presentano chiari problemi...

Ci dev'essere sotto qualcos'altro. Forse una visione vecchia degli argomenti del corso per cui dovremmo insegnare cose diverse? Forse una visione limitata, per cui le cose importanti che dovremmo insegnare nel corso sono quelle che servono al docente X per il suo insegnamento? Forse una visione vecchia dell'attività di insegnamento per cui il docente se ne sta sul suo piedistallo nella sua torre d'avorio a pontificare il Verbo e questi esperimenti di autovalutazione sono delle stupidaggini? Ho usato il forse e il condizionale, ma queste posizioni sono state espresse in modo esplicito e più volte durante riunioni e consigli.

A pensare male si potrebbe anche pensare alla malafede - cosa che mi sforzo continuamente di non fare, ma sinceramente il non farlo mi è sempre più difficile. Forse alla base c'è semplicemente un'opposizione preconcetta verso P che si guadagna i soldi della supplenza e che spesso ha detto quello che pensava? Forse ho detto anche io troppo spesso quello che pensavo? Forse c'è il desiderio di affossare l'intero corso di laurea?

Mah. Triste è dire poco. Deluso. Smetto di dire quello che penso. Lo scrivo.
S.

A good tutorial on publishing good research

A good tutorial on publishing good research (from William Webber’s Research Blog). I'd use it for my wanna-be-course.

S.

Berlusconi dall'estero

Servizi simili sulle nostre televisioni? (io non le guardo, ma immagino già la risposta...)

• Spagna
• BBC
• CNN

Quando al prossimo convegno qualcuno mi chiederà di spiegargli Berlusconi, gli dirò che ne sa più di me...

S.

Questa poi...

:-)

S.

Prova grafici

Voce 1:


Voce 2:


Voce 3:

Prova

Voce 1:

Voce 2:

Voce 3:

S.

L'ultima legge ad personam di Silvio Berlusconi

... clienti... pene giuste... minorenni... finalmente...

Beh, è divertente.

S.

PhD course on Scientific information dissemination

I've been suggesting that PhD students at my department - and at my university as well - should be offered a seminar/course on "Scientific information dissemination" (I should find a better title, actually...). Topics:

• how to write a research paper
• how to give a good presentation
• tools for writing and presenting
• Web 2.0 as a scientific dissemination tool (blogs, wikis, youtube, facebook, etc.)

I also have half-volunteered to organize and teach such a seminar. Let's see...
S.

Research evaluation & bibliometrics

At my university there is a strong push, by... someone, to use bibliometric indicators to evaluate research productivity. My position is:

• Bibliometrics is useful. It would be crazy not to use it.
• Bibliometrics is not enough. It would be equally crazy to rely on bibliometrics only. A more general, scientometrics-based approach, should be used.
  
• Expert peer review, informed by bibliometrics but not only, is the only reliable evaluation mechanism.
• Evaluation needs resources (money, people, time, data, ...).
• Evaluation strategies and approaches should be decided by evaluation experts, not by beginners.
  

Probably, someone, somewhere in the world, is fighting trying to convince they colleagues and/or administrators, that bibliometrics is useful. At my university, I'm in the opposite position: I'm fighting trying to convince people that bibliometrics can give some indication, but it's just one of the parameters to be measured, and that it is stupid to rely on bibliometrics only.

BTW, so far I did not get much success - they just pretend I'm not saying anything. Well, actually they've changed from using bibliometrics to evaluate single researchers (a position that demonstrated their level of... erm let's be polite and say "expertise"...) to using bibliometrics to evaluate groups of researchers. But I'm stubborn ;-)

Anyway, I'm writing this post because I'm happy that in the last REF report one can read:

There was a strong consensus that bibliometrics are not sufficiently mature to be used formulaically or to replace expert review, but there is considerable scope for citation indicators to inform expert review in the REF.

Let's see if bibliometrics enthusiast at my university will take this into account, or just pretend it doesn't exist.

And, yes, of course, let's see if bibliometrics-retractors will take this into account, or just pretend it doesn't exist.

S.

If research papers...

... had a comment section...

S.

Milano, Alabama

Oggi quell’autobus è in un museo, Rosa Parks sta nel cielo dei giusti, Obama abita alla Casa Bianca, e Matteo Salvini fa il capogruppo della Lega a Milano.

S.

Eco

• Tirar fuori la pistola | L'espresso

• La lista aperta | L'espresso
  

Posted from Diigo.
S.

50 Years of Stupid Grammar Advice - ChronicleReview.com

• 50 Years of Stupid Grammar Advice - ChronicleReview.com

  tags: no_tag

  • American students
    • and what about non-Americans, i.e., non-native speakers? - post by stefanomizzi

• http://www.academicproductivity.com/2009/50-years-of-stupid-grammar-advice-chroniclereviewcom

Posted from Diigo.

WikiTracer: Mapping the Wikisphere

• WikiTracer: Mapping the Wikisphere

  tags: wiki, ej

  • WikiTracer is a web service providing platform-independent analytics and comparative growth statistics for wikis.

Posted from Diigo.

S.

Dialogue on a Midspring's Night Dream in Dagstuhl

Prologue

[Any reference to real people is not casual. You'll recognize yourself if you were there. :) ]

N.B. So what's your proposal about?

K. Yes, describe it to us.

S. You can describe it in several ways. One...

K. Oh no, it can't work.

M. Sure it can't, readers will not behave properly.

N.B. Poor guy, he hasn't started yet. Wait a minute.

S. That's the usual reaction: have an opinion - a strong one - before even trying to understand my model. One: in current scholarly publishing system, the reviewers are the scarce resource.

K. I agree.

S. We are all reviewing more and more papers; reviewers are being paid; authors re-submit rejected papers without any change and (different) reviewers have to re-review them. And so on. The more the paper publication rate increases, the more the situation gets worst.

K.: Right. I know that. I've been working on that with Karl Popper, he was a good friend of mine. We wrote a paper on it, actually. But you should consider that if I ask people to review papers, they will do it.

S. You said that you agree that reviewers are the scarce resource.

K. I'll give you an example of that. Quite a good example actually. I just asked 150 top scientists to do some reviews, and all of them agreed. None refused.

S. Ok, sure, but we're talking about something different here.

N.B.: Guys, just look at your hands. You can see some body language there. But I don't understand what you're talking about.

S. - Ok, I'll show you some slides (picks up his laptop - a Mac, of course)

N.S. I'll go and grab some cheese. I'm hungry. They did not give us enough food for dinner.

A. I'm not hungry at all.

S. We're eating far too much.

A. I'll have some wine.

Everybody: Me too!

S. So; One: reviewers are a scarce resource. Two: there are a lot of readers out there.

D. Lots of what?

S. Readers. Scientists that read scientific papers, form an opinion about them, and take that opinion in their mind - or maybe share it with a few colleagues. The scientific community as a whole does not benefit from reader's knowledge. The scholarly publishing and knowledge dissemination field could do something similar to Web 2.0 by exploiting the "wisdom of readers": a scholarly paper is refereed by 2, 3, maybe 4 researchers, but it is hopefully read by dozens (10^1), hundreds (10^2), or even thousands (10^3) of researchers. And these researchers usually form an opinion about the paper. And this opinion is usually left inside their mind, or communicated in a very informal manner. We're just using the logarithm of the reading power that we have!

M. Wait wait, log of thousands is 3 not 4, you're cheating!!!

S. Sorry, ok, that's wrong, I had too much cheese... erm, beer, but you should get the whole idea anyway. It's log(x-1)...

M. You're cheating again! log(x-1) is undefined for no readers.

S. Come on... (lifting the middle finger of his right hand - and having some cheese)

D. Jesus these guys are crazy.

M. So what? Who cares? That's bullshit.

N.B. Are you suggesting to use readers judgments?

M. But you have to prove that your system is better than the h-index. The h-index measures researcher quality. I do have a high h-index.

S. Yes and no. Wait a minute and you'll see.

N.B. So you're going to suggest to use readers judgments. Oh no that can't work. I feel like a Strasbourg goose, but I'll have some more cheese anyway.

N.S. Yef cheefe if fey goot. Pfleafe, hafe fome. Gulp. But do you mean that if a student of mine judges my paper as crap I should be penalized for that?

S. To a certain extent yes. But, wait a minute, can I have some cheese?

D. - "Jesus, these guys are crazy."

S. We're eating far too much.

M. I'll go and skype my daughters. As we will see later, that'll be the last serious thing for today.

S. Readers judgments will be weighted on the basis of how good they are.

K. Right. But who decides if I am a good reader? I could, of course, but not anybody can. If you put a cat in a box and ask him to judge your papers, would you be happy? And what if the cat is dead? You know this is a known paradox in Quantum Mechanics, and it has actually been studyed by me and Zeilinger when he was a PhD student of mine. We proved that the cat paradox can be solved if you consider the probabilistic deontic paranormal logic of the unjustified true beliefs.

S. You are a good reader if you express good judgment.

K. Right. But ...

S. Stop stop stop! If you start again with that we won't get anything. So: the goodness of your judgment depends on the score of the paper after the last reader has read it. Of course you don't have the final paper score at that time; you can approximate it by using the current score. And this approximation will be revised as time goes on and new judgments on the same paper are expressed: this will cause the paper score to change, and the goodness of previous judgments to change as well, and so on. It's complex, but it's recursive, like PageRank, and this animation on my slides shows that...

K. (having some wine) So my judgment is good if it is close to the current paper score.

S. Yes and no.

K. Oh, we're playing quantum logic here. You know that in the 40es when a was a PhD student in Transilvania with Heisenberg we proved that, in quantum mechanics, professors can be old and young at the same time, provided that...

S. Stop stop stop!! Shut up! Shuuuuut uuuuuppppp!! Shuuuuut uuuuuppppp!! Shuuuuut uuuuuppppp!!

D. S., I'm wondering what kind of beer are you drinking?

S. It's not the beer, it the glass. This is the wrong glass for that kind of beer. You'd better drink it from the bottle. Like grappa.

N.S. Grappa? Who said grappa??

A. Friend, he said that, but there's no grappa here.

N.S. He's no more my friend.

M. I've just seen that my h-index is almost as K.'s.

N.B. I do feel like a Strasbourg goose now. I'll go and grab some cheese. And go to bed. It can't work. Democracy is not science.

S. I told you it's not democracy.

Epilogue of the prologue (i.e., after some cheese/wine/beer)

S. BTW, I even published a paper on it.

N. When? Where?

K. Why I don't know it?

S. 2003, On a peer reviewed journal. JASIST.

K. Ok, send me the paper. I'd love to read it.
K. Ok, send me the paper, so you stop saying stupid nonsense bullshit.

N.S. Yes send the paper.
N.S. You're no more my friend.

The cat in the box: meow!

A. Have you seen Copenhagen by M. Frayn?

D. These guys are crazy.

M.P. - Spam lovely spaam!

C. (just passing by) Guys, we're eating far too much!!

M.P. - Spam lovely spaam!

S. Stop stop stop!! Shut up! Shuuuuut uuuuuppppp!! Shuuuuut uuuuuppppp!! Shuuuuut uuuuuppppp!!


References:

• Monthy Python Spam video on YouTube; actually I prefer this version with Japanese (?) subtitles
• The paper (in a preprint version)
• A blog (discussing similar themes, and one more), and another post on another blog, and an interesting related project.

S.

What's wrong with scholarly publication

At the recent grappa ehm liquidpub workshop, I maintained the following position:

1) In today's scholarly publishing and knowledge dissemination field, peer review is the scarce resource. There is not enough reviewing force; reviews are often done quickly, if not badly; there is almost no acknowledgment for being a good peer reviewer; etc.

2) The scholarly publishing and knowledge dissemination field is not learning from what is being done for quality control out there on the Web: Web 2.0 (whatever it is) exploits the wisdom of crowd to attach ratings, opinions, tags, etc. to digital objects, apparently in an effective way. Think of digg, delicious, reddit, ebay, epinions, slashdot, karma, etc. etc.

3) The scholarly publishing and knowledge dissemination field could do something similar by exploiting the "wisdom of readers": a scholarly paper is refereed by 2, 3, maybe 4 researchers, but it is hopefully read by dozens (10^1), hundreds (10^2), or even thousands (10^3, 10^4) of researchers. And these researchers usually form an opinion about the paper. And this opinion is usually left and lost inside their mind, or communicated in a very informal manner. We, the scholars community, are just using the logarithm of the reading (and reviewing/rating/judging/evaluating) power that we have!

Of course there's the issue of distinguishing good and bad reviewers/readers. On that, time ago, I published a (peer reviewed!) paper about an alternative/supplementary concrete mechanism to peer review:

S. Mizzaro. Quality Control in Scholarly Publishing: A New Proposal, Journal of the American Society for Information Science and Technology, 54(11):989-1005, 2003. pdf (in a preprint version)

Also, recently we've been working at applying the same model to Wikipedia, where the rules are different from the scholarly publishing world: distributed authorship, dynamic/liquid papers, implicit judgments on the basis of the amount of editing, etc. We experimentally evaluated the approach, obtaining some encouraging preliminary results. That's a second paper:

Alberto Cusinato, Vincenzo Della Mea, Francesco Di Salvatore, Stefano Mizzaro. QuWi: Quality Control in Wikipedia. In WICOW 2009: 3rd Workshop on Information Credibility on the Web in conjunction with 18th World Wide Web, Madrid, 20 April 2009, forthcoming.

Time will tell if this model will be used, if it would work in the real world, etc. But for sure there is some stir about the scholarly publishing:

• A blog (discussing similar themes, and one more), and another post on another blog (Update: another one).
• Three interesting pieces.
  
• Some interesting web pages.

S.

Notizia

Dalla BBC.

S.

GRAPPA!!

I've been participating to an interesting workshop last week. The highlight of the workshop, from my own personal standpoint, was a work meeting I had with other colleagues during the last evening. Here is the record.

The discussion was driven by the Conversational menu (thanks Gloria):



(which also has a back - more understandable later, perhaps)


The main characters (sorry for the low quality of the photos, but as you know the iPh*ne is good for several things, including a decent network connectivity, but not good in taking photos in low light conditions):

• Enrico, pretending to drink tea while linking Italian university situation with the ontological status of the wave functions in quantum physics:

• Joe, involved in deep discussion about the hidden relationship between written and spoken Gaelic
• Matus, devising a useless but novel system to evaluate the quality of Grappa pinot nero on the basis of drinker's judgments and their reputation
• Jim, complaining about network connectivity ("Oh if I only had go*gle here, I could understand this wave function ontological stuff...")
• A mistaken photo The wave function.
• Someone enjoying grappa - and oh yes paying attention to the wave function as well.

S.

A quello di Lincoln non c'era andato...

Dichiarazione del nostro pre$idente del con$iglio, rispondendo a una domanda sull'insediamento di Obama:

"Non sono andato a quello di Bush e quindi non andrò neanche a quello di Obama"

Forse qualcuno dovrebbe dirgli che all'insediamento di Bush nel gennaio 2001 lui non era presidente del consiglio?

P.S. Sì, poi i giornali si concentrano su altro :-(

S.

Professore

Mah... io non mi vergogno neanche un po', di essere professore. Anzi ne sono orgoglioso.

Ma scherziamo: un professore sarebbe peggio di un tornitore della Ferrari. Che tristezza (ne avevo già parlato)

(Update: ho scoperto che le notizie ANSA vengono cancellate dopo 24 ore...

Brunetta, sì proprio lui, ha dichiarato:

Se uno ora fa il professore, il burocrate, l’impiegato al catasto si vergogna di dire quello che fa. Se invece dice al figlio ‘faccio il tornitore alla Ferrari’, lo dice con il sorriso, con orgoglio e dignità.

Ora puoi rileggere dall'inizio...)

S.