Computer science education

Un post interessante...

S.

Cerchi lavoro?

A breve bandirò un assegno di ricerca annuale per lavorare al progetto Axiometrics: Foundations of Evaluation Metrics in IR. Il progetto è finanziato da un Google Faculty Research Award (http://research.google.com/university/relations/research_awards.html).

Abstract del progetto Axiometrics
Effectiveness evaluation is of paramount importance in the field of Information Retrieval (IR). IR is probably the most evaluation-oriented field in computer science, as witnessed by an evaluation methodology developed in the 60s during the Cranfield experiments and by several evaluation initiatives running today (TREC, CLEF, NTCIR, INEX, FIRE). One crucial aspect of evaluation are evaluation metrics. About 100 IR effectiveness metrics exist, and counting. This project aims at understanding the relationships among them, in terms of both axiomatic properties and statistical relations, for both metric science (understanding of metrics) and engineering (their development). More in detail, we aim at proposing:

• Axioms: rules that any metric must satisfy. For example, when swapping a relevant document and a non-relevant one in the ranking, by decreasing the rank of the relevant one and increasing the rank of the non relevant one, the metric value should decrease. Axioms might be verified and compared with user intuition using crowdsourcing.
• Desiderata: desirable properties that a metric should have, based on common sense. For example, an effectiveness value according to one metric should be affected more by a swap in earlier rank positions than a swap in later ranks.
• Empirical properties: those that emerge from data, i.e., from actual test collections and system comparisons. These include robustness, statistical correlation between metrics, etc.

Axiometrics è una delle linee di ricerca più importanti per l’IR proposte durante il meeting SWIRL 2012 (http://www.cs.rmit.edu.au/swirl12/). L’attività è svolta in collaborazione con:

• Stefano Mizzaro (Principal Investigator), Dept. of Maths and Computer Science, University of Udine, Italy, mizzaro_pippo@uniud.it.
• Julio Gonzalo (co-Principal Investigator) ed Enrique Amigó, E.T.S.I. Informática de la UNED,  Madrid, Spain, julio_pippo@lsi.uned.es, enrique_pippo@lsi.uned.es.
• Evangelos Kanoulas (Google sponsor), Google Zurigo, ekanoulas_pippo@gmail.com.

[ovviamente gli indirizzi email contengono alcuni caratteri in più da rimuovere, a meno che tu non sia uno spammer :)]
Se pensi che ti possa interessare, contattami.

Stefano Mizzaro
www.dimi.uniud.it/~mizzaro

Tempi moderni

Da questo mese il mio ateneo ha organizzato due iniziative, potenzialmente sensate:

1.  Una comunicazione settimanale con le iniziative di ateneo della settimana seguente;

2. Una "Newsletter" mensile con notizie di interesse della vita di ateneo.

"Ah, hanno fatto un blog", direte voi... Eh no:

1. La comunicazione settimanale arriva sotto forma di un link, spedito via email il venerdì, da cui scaricare un file pdf tutto bello formattato con le varie iniziative della settimana seguente.

2. (non ho ancora ricevuto la Newsletter ma mi aspetto che) la Newsletter venga spedita con modalità analoghe. In più, se si vuole pubblicare qualcosa nella Newsletter, bisogna spedire un messaggio di posta elettronica alla propria segretaria di dipartimento, che poi lo inoltra a qualcuno che, di nuovo, lo formatterà, ecc. ecc.

Probabilmente non gli è venuto in mente ma con ciclostile, telegramma, fotocopiatrice e fax si poteva fare anche qualcosa di meglio... Apprezzo la volontà di trasparenza (era ora... ma questo è un discorso lungo...), ma non bastava fare un blog con accesso riservato ai docenti dell'università? (e magari a qualcuno che raccogliesse comunicazioni da studenti e/o esterni). Con i feed le comunicazioni arrivano ben prima, si risparmiava lavoro manuale inutile, e introdurre scadenze inutili per far aspettare le notizie un mese o una settimana non ha nessun senso, mi pare. Bah. Viva il Web.

S.

P.S. E io continuo a pensarla così.

Rassegna stampa

Sono finito su "la Repubblica" grazie alla mia pagina "Come-non-si-scrive-la-tesi", ma...



Bah. Meglio google
S.

Alcune bufale sull'università italiana

Alberto Baccini su ROARS elenca alcune affermazioni sull'università italiana, affermazioni che si sentono spesso e che sono, come dice appunto Baccini, false e/o distorte -- insomma, "bufale":

Il contesto. Ecco ciò-che-tutti-sanno-dell’università-italiana (poco importa che alcuni punti dello scenario siano sostanzialmente falsi e altri ingigantiti e distorti):
1.  “La ricerca scientifica attraversa un periodo di stasi”, perché l’università produce poca ricerca [si legga qui e qui], ed è avviata al declino;
2. “La ricerca scientifica deve servire alla scienza e alle esigenze nazionali. Non deve servire a creare nuove cattedre e nuovi insegnamenti.” Il declino della ricerca italiana è causato dall’autoreferenzialità dei baroni.
3. Il sistema di reclutamento è distorto e corrotto da nepotismo e clientele. Il merito è mortificato.
4. All’università italiana e alla ricerca non mancano le risorse. La ricerca condotta dai baroni è spesso inutile per la società ed autoreferenziale.
5. I baroni hanno stipendi tra i più alti al mondo.
Da questo segue che l’università italiana è irriformabile con gli strumenti legislativi usuali; c’è bisogno di una rivoluzione (lo sostiene per esempio  Andrea Ichino). La politica ha il compito di individuare una élite accademica illuminata e d’avanguardia che possa modificare dall’alto il funzionamento della università e della ricerca italiana. I due snodi fondamentali sono finanziamento e reclutamento. Lo strumento istituzionale è l’ANVUR: un organismo tecnico di nomina ministeriale, lasciato incompiuto dal governo di centro-sinistra, cui vengono attribuiti poteri (oltre a molti altri) su valutazione e criteri per il reclutamento.

S.

Bibliostremista

Fatti:

• l'università di Udine assegna ogni anno un budget di 2.200.000 € per la biblioteca;
• se ho capito bene la maggior parte (la totalità?) di questo budget è speso per abbonamento a periodici;
• all'università di Udine ci sono 708 fra professori e ricercatori;
• 2.200.000€/708 = 3.000+€ a testa, in media;
• negli ultimi anni ho ricevuto 0 € (zero), o al massimo poche centinaia di euro (<500€) come fondi di ricerca per acquisto attrezzature, viaggi, partecipazioni a convegni, ecc.

Tremila. Zero. All'ultimo consiglio di dipartimento ho fatto notare la cosa e ho dichiarato che a mio parere questa è una situazione insostenibile, anche e soprattutto tenendo conto della diffusione di ebook, open access, accesso elettronico in generale, ecc. ecc. e delle numerose azioni internazionali di protesta e boicottaggio nei confronti degli editori. Qualcuno ha detto amichevolmente che sono un estremista :)

Adesso sembra che anche ad Harvard facciano gli estremisti...

S.

SWIRL 2012

Last week I attended SWIRL 2012: these are my highlights.

Facts.

SWIRL 2012 has been a workshop where around 50 jetlagged top IR researchers gathered together essentially to experience summer during winter and incidentally to discuss the future of IR research. I am not sure that I count among the top IR researchers. Actually, probably the selection mechanism was more oriented towards the most crazy IR researchers since some really top were missing and some very crazy were definitely there. So I am not sure that I count among the top IR researchers, we can discuss if I count among the top crazy ones, but I'm sure I count among the top jetlagged ones. Luckily enough, all the others were jetlagged as well, and looked like Australians in Europe, so I managed to camouflage myself somehow. Also, and surprisingly, being very jetlagged even helped, since we had long discussions during the nights, and we managed to use the nights to read our emails :) and have the days free for working.

The workshop started with the usual nice dinner in a nice hotel. Well, actually we had a prologue, with some talks at RMIT from some IR researchers. They were, guess, extremely jetlagged, so probably not all the talks were so good, and yes I was one of the speakers. You see what I mean? Anyway, I presented Readersourcing, and I learned two things:

1. Now I know who was one of the referees of the famous Go*gle/PageRank paper rejected from SIGIR; and that that submitted version wasn't that good... Anyway...
2. When presenting Readersourcing in these years, I managed to discuss... ehm let's say to argue with S, K, and B. I did not record the first "discussion", but I did for the second one here. Now, the point is: shouldn't I seriously consider to quit this line of research?!?

Anyway, after that, the workshop started with the usual nice dinner in a nice hotel. During it I learned three things:

1. Evaluation? We haven't had enough.
2. How to wreck a nice beach (don't ask me to explain this, ask David).
3. You can live your life as a party (ask Leif)

Then the crowd of 50-top-and-seriously-jetlagged-IR-researchers was packed into a bus and sent to Lorne to experience real summer. Indeed, the first thing we did in Lorne was to go to the nice beach (...). But after that we started to do some serious work. I don't recall all the details, probably because I was considerably jetlagged, but I do remember the main things. We were divided into 6 random groups that had to produce some ideas about the future of IR, i.e., research topics and directions that we felt important for the field. After that, we pooled all the ideas together (you know, we like pooling; actually, it is surprising to me that we didn't manage to stick into this process a logarithm, or a significance test, or the definition of a novel evaluation metric) and we voted the 6 top ideas. Indeed we didn't like the voting result too much so we slightly modified it (I'd say "the Italian way", but strangely there were no Italians driving this process) by merging, splitting, adding, removing, changing, deleting, twinkling, etc., and we obtained The-list-of-the-6-top-ideas-that-will-change-the-IR-world-in-the-future:

1. Mobile IR
2. Structured and unstructured information
3. users People
4. SmartIR (aka information literacy)
5. "(less than) zero query" [sic]
6. and, of course, Argy-Bargy

The other ideas were not killed, and will go back into play later on. We were then asked to form six groups, each one aiming at discussing one of the six ideas. Looking at the list it was very difficult for me to choose which group to join. Obviously, any schoolboy will understand the foundational and metaphysics nature of Argy-Bargy. Anyone will agree that we shall have no other information besides structured and unstructured. We can't kill users People, of course (fair enough, we didn't write "students"). SmartIR is the smarter term in the list. I've been working for the last 10 years, and published most of my last papers, on "(less than) zero query" [sic], although with different, and equally stupid strange labels like "query-free IR", "zero-interaction interactive IR", "browsing the virtual space by walking in the physical space", etc.

But at the end I joined the Mobile IR group. And, guess it, it was not about Mobile IR. It was about Understanding what Mobile IR is. Funny: a group that did not understand what it was about but aimed at understanding what its (mistaken) topic was about. How couldn't we succeed? Plus, when people chose their own group, strange things happened. Some people were not able to find their group; perhaps it was on the nice beach? Some people (those above plus others) joined another "wrong" group, and some of them, just to avoid being idle, decided to act as trolls. We had two trolls in the Mobile IR group, and you will understand how that made the discussion far more interesting, lively, polite, and constructive than you could ever imagine. Luckily, the night came, and after a good sleep (or perhaps some good chats, beers, barbecues, etc., since we were seriously jetlagged and can't manage to have that much sleep anyway), the morning after, Jamie and Vanessa had a clear vision of what the group was about and started drafting the report (each group was meant to write a report). Not having trolls around early morning probably helped. Did trolls suffer from jetlag? Did trolls take surfer lessons? We will never know.

As mentioned above, the other not-top-6-best-great-ideas were not killed, and some still-quite-heavily-jetlagged-IR-researchers volunteered to write a short report on those. Now, I have to mention the best name of the workshop: Axiometrics (credits to Arjen), a research line aimed at defining axioms in order to understand the about 100 IR effectiveness metrics. BTW, we might think of Anatometrics as well.

Comments?

So the workshop was great, the organizers incredibly managed to obtain something out of about-50-top-crazy-IR-researchers-that-as-you-know-were-very-jetlagged, the discussions were interesting, I managed to have some good ideas and contacts for future paper writing, and perhaps some contact for my sabbatical as well (I'm looking for places were to stay during my sabbatical; please let me know if you're interested. I promise that I won't be so jetlagged for the whole sabbatical duration.) Plus, I've been out of business recently, for several reasons including lack of funds, A.'s birth, etc., and it was really nice to meet some old good friends and some new ones.

Criticisms? I always have. We could have made use of some "Social Web/Web2.0" tools, like Gdocs, Facebook, Twitter, to have a virtual discussion as well and, for example, to vote the ideas (did I hint that the voting mechanism was a bit... "italianized"? Now, we all know about Arrow's theorem, but that was far beyond that). Someone said that s/he had the impression that we were simply drafting a report to make easier for US and Australian researchers to get funds. Someone had the impression that the meeting was a bit too "old fashioned". But as I wrote, the organizers did manage to get something out of about-50-top-IR-researchers-that-as-you-know-were-very-jetlagged, and this is an enormous success.

Quotations!

Some interesting sentences were uttered during those days, and shall never be forgotten:

• Cloud computing is not transparent.
• You can't leave indoor outdoor, but you can't leave outdoor outdoor either.
• How to wreck a nice beach.
• Life as a party.
• (Julio please help with the other one)
• (anybody welcome to add)

Post workshop!!

Once back in Melbourne, a (randomly) selected subgroup of all those (somehow) 50 selected IR researcher had an interesting post-workshop, post-dinner, during-beer mini-workshop on p*orn and user models. I took some pictures of the participants:

As you can see, we range from someone (pretending to be?) not interested, or perhaps simply jetlagged, to someone really having fun, to a shy guy who doesn't want to be recognized, to someone counting beers (not an easy task!), to someone hiding in the shade. I learned some interesting statistics about user features. Anyway, guys, it was fun. Thanks!

S.

Bah

Qualche Consiglio di Facoltà fa si è discusso dei laboratori di facoltà. Qualcuno (me compreso) sosteneva che forse prima di spendere migliaia di euro in postazioni di lavoro poteva aver senso pensare di "sfruttare" i portatili degli studenti e investire i miseri fondi in altro (software, server, infrastrutture, ecc.).

Più o meno contestualmente, qualche Consiglio di Facoltà fa (qualche mese fa!) ho chiesto che venisse creata una mailing list di facoltà. Ancora niente... (è un'operazione di pochi minuti). Volevo usare la mailing list anche per divulgare i risultati di un questionario; siccome la mailing list non c'è, divulgo qui.

Il questionario riguardava proprio la situazione laboratori di facoltà e conteneva varie domande, alcune con risposte aperte in testo libero. Hanno risposto in 406 (su circa un migliaio di studenti della facoltà). Fra i risultati, solo il 6% non ha a disposizione un suo portatile; solo il 17% preferisce avere a disposizione una postazione fissa in laboratorio. Fra i commenti in testo libero, ci sono anche un po' di richieste "interessanti" e ricorrenti, tipo avere stampanti migliori, avere accesso a internet e alla rete Wi-Fi, ecc.

Insomma, in una facoltà con corsi di laurea vari in Informatica, IT, ICT, la situazione è:

• non c'è una mailing list dei membri della facoltà;
• dai laboratori non c'è l'accesso alla rete WiFi;
• si fa fatica a stampare.

Ecco: bah.

P.S. Riporto qui anche la mail che avevo fatto inviare il 5 ottobre 2011 a tutti i membri del CdF, così, per completezza (tanto, in barba alla netichetta, è già arrivata ad altre persone oltre i destinatari originali...):

Oggetto: Sui laboratori di facolta'

Care/i tutte/i,

durante l'ultimo CdF, [...] ha sollecitato una riflessione ponderata sul modo migliore per investire il contributo per i laboratori di facolta' che l'Ateneo (forse) ci assegnera'. Vorrei portare alcuni contributi piu' meditati di quanto ho gia' detto in Facolta', e soprattutto alcuni dati. Cerco di essere sintetico.

Innanzi tutto, osservo che questo non e' un problema solo nostro, e che se ne parla ormai da anni, come una veloce ricerca su google consente di appurare:

- http://www.google.com/search?q=what+computer+lab+should+university+have+now+that+students+have+laptops%3F

Poi, ecco alcuni dati:

1) Ho svolto un veloce sondaggio al corso di Programmazione e laboratorio per la laurea in TWM. Erano presenti circa 70 studenti, la maggior parte matricole piu' alcuni studenti degli anni successivi. Risultato: il 100% (*tutti*) avra' un portatile entro 6 mesi.

2) Ho svolto un sondaggio piu' sistematico usando Google Form. Il sondaggio dovrebbe essere stato inviato agli indirizzi mail SPES di tutti gli studenti di un corso di laurea della nostra facolta' (incluso l'interfacolta' CMTI). Risultati:

- hanno finora risposto 304 studenti (su un totale di circa 1000, immagino), in due giorni e mezzo;
- il 95% ha un proprio portatile o ce l'avra' entro 6 mesi;
- il 50% dichiara di preferire di "Poter usare il tuo portatile"; il 25% si dichiara "Indifferente"; il 16% di preferire di "Avere a disposizione un calcolatore fisso da usare, fornito dalla Facoltà".

Il sondaggio e' ancora in compilazione, immagino soprattutto da parte di studenti del primo anno che forse non hanno ancora un indirizzo email su SPES. Fra qualche giorno chiudero' il sondaggio e rendero' disponibili tutti i dati; comunque il quadro mi pare gia' chiaro.

Sulla base di questi dati, mi pare che non si possa che ribadire la necessita' di ridiscutere le modalita' di allocazione degli eventuali fondi per il laboratorio. Mi sembra che sia da considerare seriamente l'opzione di *non* investire in 50 postazioni di lavoro ma in infrastrutture di rete, prese elettriche, stampanti, software, licenze, servizi Web, ecc., come appunto suggerito durante il CdF. Molti commenti degli studenti (raccolti con altre domande specifiche del questionario) vanno in questo senso.

Secondo me sarebbe anche una buona mossa investire in un certo numero di laptop (5? 10?) da fornire in comodato d'uso ai migliori studenti di ogni corso di laurea, magari in convenzione con qualche venditore per avere prezzi scontati e una buona pubblicita'.

Gia' che ci sono, aggiungo in chiusura anche due brevi riflessioni sul sistema informativo di ateneo/facolta'.

A livello di ateneo, non c'e' una mailing list degli studenti di un certo anno/corso/facolta'. Per inviare il questionario a tutti gli studenti ho dovuto interagire con l'URP che, "a mano" (non so i dettagli...) ha dovuto estrarre da un database i vari sottoinsiemi di studenti e procedere a piu' invii separati (per inciso, questo e' il motivo per cui ho usato poc'anzi condizionale sull'invio a tutti gli studenti della facolta'). Ho interagito per un'ora con Google Forms per preparare il sondaggio, e poi ho interagito per un giorno con l'URP per riuscire a inviarlo. Scusate se sono brutale, ma mi sembra una cosa ridicola.

Ma ancora piu' ridicolo mi sembra il fatto che non c'e' una mailing list dei docenti del nostro CdF (di Scienze!), ne' del CCL (in discipline *informatiche*!). Per il CCL c'e' un elenco di docenti "in chiaro", e per il CdF neanche quello. Le liste CdF/CCL consentirebbero di far circolare certi dati per email (tipo questo messaggio, ma anche, ad es., i dati sulle immatricolazioni/iscrizioni), con conseguente risparmio di tempo e maggiore trasparenza. Usando gli strumenti di Google si fa tutto in un'ora; e c'e' comunque anche un servizio di ateneo.

Quindi concludo chiedendo che vengano create al piu' presto le mailing list di CdF e CCL, con gestione in carico alla segreteria di facolta'. Se questo non verra' fatto entro il prossimo consiglio, e' mia intenzione chiedere una votazione durante le Varie ed eventuali per deliberare sulla creazione immediata delle liste.

Saluti,
S.

Bah.
S.

Why The New Guy Can't Code

An interesting post.

S.

Interessante

Se siete indecisi se studiare o meno, guardate cosa dice una statistica (negli USA):

Anche se la statistica è traballante...

S.

Sulla considerazione che il governo ha dell'università

Giusto qualche dato:

• ci sarà un taglio di 0.5Ge (su 7.5Ge totali) dell'FFO 2011;
• il PRIN 2009 (!) ancora non è stato assegnato, e siamo nel 2011, e a quanto pare la valutazione non è neppure iniziata;
• il decreto di assegnazione dell'FFO 2010 è stato pubblicato il 31 dicembre 2010.

Bah,
S.

Vieni via con me - Cultura

Finalmente ho visto un po' di spezzoni della trasmissione "Vieni via con me" (come sapete non ho la tv, viva il Web2.0, ecc. ecc.); molti gli spunti emozionanti e interessanti. Qui segnalo solo quello relativo alla cultura. E continuo a ripetere che il problema in Italia non sono i baroni, o i concorsi universitari truccati, o ecc. ecc.; il problema *è* la mancanza di risorse. E di cultura.

S.

Altro che Giavazzi...

Riguardo a un post di qualche giorno fa, segnalo:

• Sylos Labini su Il Fatto Quotidiano;
• Giuseppe De Nicolao su www.unipd.eu;
• Sylos Labini su Scienza in Rete.

Appunto, altro che le falsità di Giavazzi...

Sempre sull'università: speriamo che alla dichiarazione di Tremonti di oggi ("ci sarà un miliardo per l’università") seguano, per una volta, i fatti concreti...

S.

Funds...

Believe it or not, at our department we've run out of envelopes, and we don't have funds to buy them :( Email only from now on.

S.

P.S. It's not so bad: we've run out of _small_ envelopes. We still have some big ones. So if you get something from me, it's not an empty big envelope: look carefully inside and you'll find a small piece of paper...

Premio Telecom

Notizia :)

20 mila euro per un programma sviluppato al dipartimento di Matematica e informatica

Ricerca e web, premio Telecom a un progetto nato nei laboratori dell'ateneo friulano

Sistema automatico per ottenere da internet le informazioni giuste, nel posto giusto, al momento giusto

Un programma che seleziona automaticamente da internet informazioni e applicazioni utilizzabili dall’utente di un dispositivo mobile (palmari e smarth phone) sulla base del luogo e della situazione in cui si trova. È il Context-Aware Browser, il sistema ideato da un gruppo di informatici del laboratorio di Sistemi mobili dipendenti dal contesto (Smdc) dell’università di Udine, premiato da Telecom Italia con un riconoscimento di 20 mila euro nell’ambito del progetto Working Capital. Scopo dell’iniziativa, infatti, è sostenere l’innovazione attraverso la valorizzazione dei giovani talenti e la promozione delle iniziative imprenditoriali in internet.

Il Context-Aware Browser è un browser (programma che consente di visualizzare i contenuti delle pagine web e di interagire con essi) che permette una navigazione nel mondo digitale sulla base della situazione in cui ci si trova nel mondo reale. «L’idea generale alla base del progetto – spiega il portavoce del gruppo, l’udinese Luca Vassena, dottorando in Informatica – è poter ottenere automaticamente le applicazioni e le informazioni giuste, nel posto giusto, al momento giusto».

Ad esempio, entrando in una città il Context-Aware Browser mostra automaticamente all’utente informazioni relative alla città, ai luoghi d’interesse, agli eventi ecc. Oppure, all’ora di cena, se l’utente non è a casa, il programma consiglia automaticamente i locali dove poter andare a mangiare, filtrandoli in base alle sue preferenze. Quando poi una persona entra nella propria abitazione, il dispositivo mobile fornisce automaticamente l’applicazione web che si collega con l’impianto domotico per controllare la casa. L’applicazione viene quindi rimossa nel momento in cui la persona esce dall’abitazione.

Nel centro commerciale, invece, il dispositivo ottiene l’applicazione web per gestire la lista della spesa e permette di ricevere avvisi pubblicitari mirati in base al singolo utente e alle sue preferenze. E ancora, in un museo il dispositivo dell’utente mostra automaticamente la guida turistica relativa a quel museo, dando informazioni dettagliate sulle opere a cui il visitatore si avvicina o consigliando percorsi particolari in base al suo profilo.

Al progetto, realizzato presso il laboratorio di Sistemi mobili dipendenti dal contesto del dipartimento di Matematica e informatica, in collaborazione con lo spin off MoBe srl, hanno lavorato un gruppo di ricercatori e assegnisti di ricerca coordinati dai docenti Paolo Coppola e Stefano Mizzaro.
25/10/2010

S.

Solite news...

Dopo lo spot farlocco di int*sa - s*np*olo, eccone uno più... realistico... :(

S.

Good news

Computer Science enrollments are increasing.

S.

Frase

"Di imparare non si finisce mai, e quel che non si sa è sempre più importante di quel che si sa già" (Gianni Rodari).

S.

Invited talks

I'll be giving two invited talks in the next months:

• Readersourcing: Scholarly publishing, peer review, and barefoot cobbler's children @ FDIA 2009 @ ESSIR 2009, 01/09/2009.
  
  Abstract:
  
  I will start from an introduction to the field of scholarly publishing, the main knowledge dissemination mechanism adopted by science, and I will pay particular attention to one of its most important aspects, peer review. I will present scholarly publishing and peer review aims and motivations, and discuss some of their limits: Nobel Prize winners experiencing rejected papers, fraudulent behavior, sometimes long publishing time, etc. I will then briefly mention Science 2.0, namely the use of Web 2.0 tools to do science in a hopefully more effective way.
  
  I will then move to the main aspect of the talk. My thesis is composed of three parts.
  
  (i) Peer review is a scarce resource, i.e., there are not enough good referees today. I will try to support this statement by something more solid than the usual anecdotal experience of being reject because of bad review(er)s --- that I'm sure almost any researcher has experienced.
  
  (ii) An alternative mechanism to peer review is available right out there, it is already widely used in the Web 2.0, it is quite a hot topic, and it probably is much studied and discussed by researchers: crowdsourcing. According to Web 2.0 enthusiasts, crowdsourcing allows to outsource to a large crowd tasks that are usually performed by a small group of experts. I think that peer review might be replaced --- or complemented --- by what we can name Readersourcing: a large crowd of readers that judge the papers that they read. Since most scholarly papers have many more readers than reviewers, this would allow to harness a large evaluation workforce. Today, readers's opinions usually are discussed very informally, have an impact on bibliographic citations and bibliometric indexes, or stay inside their own mind. In my opinion, it is quite curious that such an important resource, which is free, already available, used and studied by the research community in the Web 2.0 field, is not used at all in nowadays scholarly publishing, where the very same researchers publish their results.
  
  (iii) Of course, to get a wisdom of the crowd, some readers have to be more equal than others: expert readers should be more influential than naive readers. There are probably several possible choices to this aim; I suggest to use a mechanism that I proposed some years ago, and that allows to evaluate papers, authors, and readers in an objective way. I will close the talk by showing some preliminary experimental results that support this readersourcing proposal.
  
  Disclaimer: This talk might harm your career; don't blame me for that.
  
  P.S. Yes, this is somehow related to a previous post...
  
  
• Two Tales on Relevance Crowdsourcing: Criteria and Assessment @ GIScience Colloquium, University Zurich-Irchel, 13/10/2009.
  
  Abstract (DRAFT):
  
  In Information Retrieval (IR) and Web search, relevance is a central notion. I will discuss how to outsource to the crowd two relevance-related tasks. The first task concerns the elicitation of relevance criteria. After some results obtained in the 90es, relevance criteria (i.e., the features of the retrieved items that determine their relevance) seem well known and stable. We conjectured that for e-Commerce / product search the criteria might be different, and we used Amazon Mechanical Turk, a crowdsourcing platform, to find a confirmation of our hypothesis.
  
  The second task concerns effectiveness evaluation. A common evaluation methodology for search engines and IR systems is to rely on a benchmark (a.k.a. test collection); benchmarks need relevance assessment, i.e., to assess the relevance of documents to information needs; usually this task is done by experts, either paid for their work or participating in the evaluation exercise themselves. Again, we used Mechanical Turk, this time to re-assess some TREC topic/document pairs and thus see if we can "get rid of" relevance assessors by replacing them with a crowd working remotely on the Web. I'll discuss the preliminary results on the reliability of the crowd of assessors.
  
  (this is joint work with Omar Alonso, A9.com; thanks also to Dan Rose)
  

I'll publish the slides here, once ready. Meaning: after the talks :-)
S.

WikiTracer: Mapping the Wikisphere

• WikiTracer: Mapping the Wikisphere

  tags: wiki, ej

  • WikiTracer is a web service providing platform-independent analytics and comparative growth statistics for wikis.

Posted from Diigo.

S.