Gianluca is back! (or: PhD course on Micro-task crowdsourcing)

It is with much pleasure that I welcome Gianluca Demartini back at Udine University, Department of Mathematics and Computer Science, for a PhD course on Micro-task crowdsourcing. Gianluca got his Master's degree under my supervision some years ago (don't ask!) and since then he has obtained several research positions abroad. He is now Lecturer at the University of Sheffield.

The lecture timetable is below, together with a tentative program; everyone is welcome!

Timetable (all lectures are in the "Aula Multimediale / DIMI"):

1. Monday 15/6 10:00 - 12:00
2. Monday 15/6 15:00 - 17:00
3. Tuesday 16/6 10:00 - 12:00
4. Tuesday 16/6 15:00 - 17:00
5. Wednesday 17/6 10:00 - 12:00
6. Wednesday 17/6 15:00 - 17:00
7. Thursday 18/6 10:00 - 12:00

Preliminary/tentative program:

Lecture 1 - Introduction to Crowdsourcing
We will start with an overview of the entire module highlighting its aims and objectives. Then, we will look at fundamental definitions and different types of crowdsourcing incentives. Finally, we will present early examples of crowdsourcing such as reCAPTCHA and the ESP game.

Lecture 2 - Introduction to Micro-task Crowdsourcing Platforms
After defining the key terminology of micro-task crowdsourcing, we will introduce popular crowdsourcing platforms such as Amazon MTurk and CrowdFlower including a demonstration on how to use such systems both as a crowd worker as well as a requester.

Lecture 3 - How to Setup a Crowdsourcing Task
In this lecture we will discuss all the dimensions involved in crowdsourcing task design such as pricing, question design, and quality assurance mechanisms (e.g., honeypots). We will also design and deploy a task during the lecture and see how to collect results back from the crowdsourcing platform.

Lecture 4 - Crowdsourcing Patterns
In this lecture we will define the concept of crowdsourcing pattern (i.e., the combination of multiple crowdsourcing tasks) and present popular example patterns. We will also discuss the concept of crowdsourcing workflows where multiple tasks as well as machine processing steps are combined together.

Lecture 5 - Hybrid Human-machine Systems
In this lecture we will see some advanced example uses of crowdsourcing applied to the database, web, and biomedical domains. We will see how systems that combine both the scalability of machines over large amounts of data as well as the quality of human intelligence can be used to improve the effectiveness of Big Data systems.

Lecture 6 - Crowdsourcing Scalability
In hybrid human-machine systems the latency bottleneck lays on the side of the crowd as human intelligence is naturally slower than machine-based computation. In this lecture we will see recent research results that proposed techniques to improve the latency of crowdsourcing platforms.

Lecture 7 - Open Research Directions in Crowdsourcing
In this lecture we will give an overview on which micro-task crowdsourcing research questions different Computer Science areas focus on including database, information retrieval, semantic web, human-computer interaction, multimedia, and bio-informatics.

Prerequisites:
No prior knowledge is needed. Having at least basic programming skills is a plus.

S.

Computer science education

Un post interessante...

S.

Dottorato in informatica: in memoriam?

Fra i 21 dottorati di ricerca dell'Universita' di Udine c'e' un dottorato in Informatica. A causa di un recente decreto, i 21 dottorati attuali verranno ridotti a circa 10. Semplificando un po': ogni dottorato deve avere 6 borse, e a UD sembra che ci siano circa 60 borse in totale; ci devono essere 16 membri del collegio docenti "sopra le mediane" (...), di cui al massimo 4 ricercatori; e altro.

Le soluzioni che oggi ci sono state proposte dal coordinatore del dottorato di informatica sono:

1) dottorato in Informatica e Matematica (con i nomi in qualche ordine);

2) dottorato in Informatica, Matematica e Fisica (con i nomi in qualche ordine).

A me sembra una follia l'eliminare, o anche solo lo sminuire, il dottorato di Informatica. Lo e', secondo me, sia da un punto di vista storico (Udine e' stata una delle prime sedi della laurea in informatica e il dottorato di Informatica esiste fin dal primo ciclo, anche se nei primi anni e' stato in consorzio), sia geografico (non ci sono altri dottorati in regione, per i piu' vicini bisogna andare a VE, PD, VR), sia culturale (importanza dell'informatica oggi ecc. ecc.).

E' sostenibile un dottorato di Informatica? Secondo me si' (sarebbe da fare conti precisi ma non ne ho ne' il tempo, ne' la voglia; ne' e' compito mio...). Ci sono 4 dottorati da "cannibalizzare": Informatica, Matematica e fisica, Ingegneria dell'informazione, Comunicazione multimediale, sia in termini di borse sia come docenti. Le borse "portate in dote" dai 4 dottorati potrebbero essere 3/4+1+1+1 = 6/7. A Udine siamo 40 docenti di informatica (INF/01 e ING-INF/05), piu' altri di settori affini (matematici applicati, ingegneria dell'informazione, ...). E fra 40 non riusciamo a trovarne 16 sopra le mediane??

Io farei una "battaglia" con gli organi di governo del tipo: noi proponiamo che ci sia un dottorato di informatica fatto cosi'; supportateci (non tanto economicamente, ma politicamente: e' una scelta strategica che va fatta a livello di governance). Se invece non lo volete, ditecelo chiaramente e assumetevene le responsabilita', e allora si vedra' che fare. Ma che risulti chiaro di chi e' la responsabilita' di "ammazzare" il dottorato in Informatica.

Mi lascia quantomeno perplesso che questa battaglia non si voglia fare...

S.

P.S. E questa sara' probabilmente un'altra occasione persa, dopo non aver fatto la Facolta' di Informatica e il Dipartimento di Informatica...

Cerchi lavoro?

A breve bandirò un assegno di ricerca annuale per lavorare al progetto Axiometrics: Foundations of Evaluation Metrics in IR. Il progetto è finanziato da un Google Faculty Research Award (http://research.google.com/university/relations/research_awards.html).

Abstract del progetto Axiometrics
Effectiveness evaluation is of paramount importance in the field of Information Retrieval (IR). IR is probably the most evaluation-oriented field in computer science, as witnessed by an evaluation methodology developed in the 60s during the Cranfield experiments and by several evaluation initiatives running today (TREC, CLEF, NTCIR, INEX, FIRE). One crucial aspect of evaluation are evaluation metrics. About 100 IR effectiveness metrics exist, and counting. This project aims at understanding the relationships among them, in terms of both axiomatic properties and statistical relations, for both metric science (understanding of metrics) and engineering (their development). More in detail, we aim at proposing:

• Axioms: rules that any metric must satisfy. For example, when swapping a relevant document and a non-relevant one in the ranking, by decreasing the rank of the relevant one and increasing the rank of the non relevant one, the metric value should decrease. Axioms might be verified and compared with user intuition using crowdsourcing.
• Desiderata: desirable properties that a metric should have, based on common sense. For example, an effectiveness value according to one metric should be affected more by a swap in earlier rank positions than a swap in later ranks.
• Empirical properties: those that emerge from data, i.e., from actual test collections and system comparisons. These include robustness, statistical correlation between metrics, etc.

Axiometrics è una delle linee di ricerca più importanti per l’IR proposte durante il meeting SWIRL 2012 (http://www.cs.rmit.edu.au/swirl12/). L’attività è svolta in collaborazione con:

• Stefano Mizzaro (Principal Investigator), Dept. of Maths and Computer Science, University of Udine, Italy, mizzaro_pippo@uniud.it.
• Julio Gonzalo (co-Principal Investigator) ed Enrique Amigó, E.T.S.I. Informática de la UNED,  Madrid, Spain, julio_pippo@lsi.uned.es, enrique_pippo@lsi.uned.es.
• Evangelos Kanoulas (Google sponsor), Google Zurigo, ekanoulas_pippo@gmail.com.

[ovviamente gli indirizzi email contengono alcuni caratteri in più da rimuovere, a meno che tu non sia uno spammer :)]
Se pensi che ti possa interessare, contattami.

Stefano Mizzaro
www.dimi.uniud.it/~mizzaro

Tempi moderni

Da questo mese il mio ateneo ha organizzato due iniziative, potenzialmente sensate:

1.  Una comunicazione settimanale con le iniziative di ateneo della settimana seguente;

2. Una "Newsletter" mensile con notizie di interesse della vita di ateneo.

"Ah, hanno fatto un blog", direte voi... Eh no:

1. La comunicazione settimanale arriva sotto forma di un link, spedito via email il venerdì, da cui scaricare un file pdf tutto bello formattato con le varie iniziative della settimana seguente.

2. (non ho ancora ricevuto la Newsletter ma mi aspetto che) la Newsletter venga spedita con modalità analoghe. In più, se si vuole pubblicare qualcosa nella Newsletter, bisogna spedire un messaggio di posta elettronica alla propria segretaria di dipartimento, che poi lo inoltra a qualcuno che, di nuovo, lo formatterà, ecc. ecc.

Probabilmente non gli è venuto in mente ma con ciclostile, telegramma, fotocopiatrice e fax si poteva fare anche qualcosa di meglio... Apprezzo la volontà di trasparenza (era ora... ma questo è un discorso lungo...), ma non bastava fare un blog con accesso riservato ai docenti dell'università? (e magari a qualcuno che raccogliesse comunicazioni da studenti e/o esterni). Con i feed le comunicazioni arrivano ben prima, si risparmiava lavoro manuale inutile, e introdurre scadenze inutili per far aspettare le notizie un mese o una settimana non ha nessun senso, mi pare. Bah. Viva il Web.

S.

P.S. E io continuo a pensarla così.

Sempre riguardo al vulcano...

... di cui scrivevo tempo fa, qui ci sono un po' di considerazioni. E di precedenti...

S.

Rassegna stampa

Sono finito su "la Repubblica" grazie alla mia pagina "Come-non-si-scrive-la-tesi", ma...



Bah. Meglio google
S.

Alcune bufale sull'università italiana

Alberto Baccini su ROARS elenca alcune affermazioni sull'università italiana, affermazioni che si sentono spesso e che sono, come dice appunto Baccini, false e/o distorte -- insomma, "bufale":

Il contesto. Ecco ciò-che-tutti-sanno-dell’università-italiana (poco importa che alcuni punti dello scenario siano sostanzialmente falsi e altri ingigantiti e distorti):
1.  “La ricerca scientifica attraversa un periodo di stasi”, perché l’università produce poca ricerca [si legga qui e qui], ed è avviata al declino;
2. “La ricerca scientifica deve servire alla scienza e alle esigenze nazionali. Non deve servire a creare nuove cattedre e nuovi insegnamenti.” Il declino della ricerca italiana è causato dall’autoreferenzialità dei baroni.
3. Il sistema di reclutamento è distorto e corrotto da nepotismo e clientele. Il merito è mortificato.
4. All’università italiana e alla ricerca non mancano le risorse. La ricerca condotta dai baroni è spesso inutile per la società ed autoreferenziale.
5. I baroni hanno stipendi tra i più alti al mondo.
Da questo segue che l’università italiana è irriformabile con gli strumenti legislativi usuali; c’è bisogno di una rivoluzione (lo sostiene per esempio  Andrea Ichino). La politica ha il compito di individuare una élite accademica illuminata e d’avanguardia che possa modificare dall’alto il funzionamento della università e della ricerca italiana. I due snodi fondamentali sono finanziamento e reclutamento. Lo strumento istituzionale è l’ANVUR: un organismo tecnico di nomina ministeriale, lasciato incompiuto dal governo di centro-sinistra, cui vengono attribuiti poteri (oltre a molti altri) su valutazione e criteri per il reclutamento.

S.

SA, CdA e Informatica

Mah. Leggo i nomi dei componenti del nuovo SA e del nuovo CdA e resto un po' perplesso. Capisco che in precedenza abbiamo avuto un rettore informatico e che un po' di alternanza non guasta, ma secondo me, in questo periodo in cui l'informatica sta avendo un'esplosione a livello planetario, non aver nessun informatico applicativo né nel SA, né nel CdA, né nella "squadra del rettore", fra i delegati, mi pare una grossa stupidaggine. Rischiamo di perdere un sacco di occasioni. Sperin ben...

S.

CCL.zip.deluso.ancora / 2

E comunque, promemoria sui problemi di alcuni corsi a TWM:

• Algoritmi e strutture dati. Non ha senso senza laboratorio.
• Sistemi operativi. Anche qui sarebbe meglio il laboratorio, in modo che vedano il C, ma forse anche no.
• Programmazione OO. Anche qui serve un laboratorio. Gli studenti non imparano a programmare OO. Non che sia facile, ma senza un lab. in cui mettere in pratica lo è ancora di meno...
• Basi di dati. Evitare questioni teoriche sull'algebra relazionale. Invece fare DB XML, NoSQL, MapReduce, Hadoop, ...
• Ingegneria del software. Probabilmente anche qui si può cambiare qualcosa. Che "software" scrive che si laurea in TWM? Applicazioncine Web, con uso di qualche framework stile MVC (Struts, Zend, ecc.), e/o qualche framework Javascript/AJaX (jQuery, ...), e/o un CMS. Che legami con la catena di corsi TW1-2-3? Con PSW (che secondo me è un po' l'"Ingegneria del software per TWM")? Con PAOO?

Se il prossimo anno con la primavera, oltre a pollini e rondini, arrivano anche le solite discussioni sulla Questione Programmazione, devo ricordarmi di sollevare anche queste. Anzi magari lo faccio comunque...

S.

We are sitting on a volcano...

... that is waking up...

S.

CCL.zip.deluso.ancora

Con l'arrivo della primavera, come ogni anno (cfr. i post con etichetta CCL.zip degli ultimi 4 anni...) si è discusso per l'ennesima volta della "Questione Programmazione". Come al solito la discussione è stata spiacevole e come al solito alla fine abbiamo "vinto" noi, anche se è stata una vittoria risicata (per un voto) e con l'amaro in bocca perché "su queste cose non si deve arrivare a votare". E perché sono proprio stufo di questa storia.

Spero che da ora in poi si discuta su un altro piano, sui contenuti e sulle metodologie (qui un altro spunto interessante), e si smetta di fare una guerra fra poveri che toglie energie ed entusiasmo a tutti quanti. Ma sono 4 anni che lo spero e quindi non sono ottimista...

S.

Bibliostremista

Fatti:

• l'università di Udine assegna ogni anno un budget di 2.200.000 € per la biblioteca;
• se ho capito bene la maggior parte (la totalità?) di questo budget è speso per abbonamento a periodici;
• all'università di Udine ci sono 708 fra professori e ricercatori;
• 2.200.000€/708 = 3.000+€ a testa, in media;
• negli ultimi anni ho ricevuto 0 € (zero), o al massimo poche centinaia di euro (<500€) come fondi di ricerca per acquisto attrezzature, viaggi, partecipazioni a convegni, ecc.

Tremila. Zero. All'ultimo consiglio di dipartimento ho fatto notare la cosa e ho dichiarato che a mio parere questa è una situazione insostenibile, anche e soprattutto tenendo conto della diffusione di ebook, open access, accesso elettronico in generale, ecc. ecc. e delle numerose azioni internazionali di protesta e boicottaggio nei confronti degli editori. Qualcuno ha detto amichevolmente che sono un estremista :)

Adesso sembra che anche ad Harvard facciano gli estremisti...

S.

Bah

Qualche Consiglio di Facoltà fa si è discusso dei laboratori di facoltà. Qualcuno (me compreso) sosteneva che forse prima di spendere migliaia di euro in postazioni di lavoro poteva aver senso pensare di "sfruttare" i portatili degli studenti e investire i miseri fondi in altro (software, server, infrastrutture, ecc.).

Più o meno contestualmente, qualche Consiglio di Facoltà fa (qualche mese fa!) ho chiesto che venisse creata una mailing list di facoltà. Ancora niente... (è un'operazione di pochi minuti). Volevo usare la mailing list anche per divulgare i risultati di un questionario; siccome la mailing list non c'è, divulgo qui.

Il questionario riguardava proprio la situazione laboratori di facoltà e conteneva varie domande, alcune con risposte aperte in testo libero. Hanno risposto in 406 (su circa un migliaio di studenti della facoltà). Fra i risultati, solo il 6% non ha a disposizione un suo portatile; solo il 17% preferisce avere a disposizione una postazione fissa in laboratorio. Fra i commenti in testo libero, ci sono anche un po' di richieste "interessanti" e ricorrenti, tipo avere stampanti migliori, avere accesso a internet e alla rete Wi-Fi, ecc.

Insomma, in una facoltà con corsi di laurea vari in Informatica, IT, ICT, la situazione è:

• non c'è una mailing list dei membri della facoltà;
• dai laboratori non c'è l'accesso alla rete WiFi;
• si fa fatica a stampare.

Ecco: bah.

P.S. Riporto qui anche la mail che avevo fatto inviare il 5 ottobre 2011 a tutti i membri del CdF, così, per completezza (tanto, in barba alla netichetta, è già arrivata ad altre persone oltre i destinatari originali...):

Oggetto: Sui laboratori di facolta'

Care/i tutte/i,

durante l'ultimo CdF, [...] ha sollecitato una riflessione ponderata sul modo migliore per investire il contributo per i laboratori di facolta' che l'Ateneo (forse) ci assegnera'. Vorrei portare alcuni contributi piu' meditati di quanto ho gia' detto in Facolta', e soprattutto alcuni dati. Cerco di essere sintetico.

Innanzi tutto, osservo che questo non e' un problema solo nostro, e che se ne parla ormai da anni, come una veloce ricerca su google consente di appurare:

- http://www.google.com/search?q=what+computer+lab+should+university+have+now+that+students+have+laptops%3F

Poi, ecco alcuni dati:

1) Ho svolto un veloce sondaggio al corso di Programmazione e laboratorio per la laurea in TWM. Erano presenti circa 70 studenti, la maggior parte matricole piu' alcuni studenti degli anni successivi. Risultato: il 100% (*tutti*) avra' un portatile entro 6 mesi.

2) Ho svolto un sondaggio piu' sistematico usando Google Form. Il sondaggio dovrebbe essere stato inviato agli indirizzi mail SPES di tutti gli studenti di un corso di laurea della nostra facolta' (incluso l'interfacolta' CMTI). Risultati:

- hanno finora risposto 304 studenti (su un totale di circa 1000, immagino), in due giorni e mezzo;
- il 95% ha un proprio portatile o ce l'avra' entro 6 mesi;
- il 50% dichiara di preferire di "Poter usare il tuo portatile"; il 25% si dichiara "Indifferente"; il 16% di preferire di "Avere a disposizione un calcolatore fisso da usare, fornito dalla Facoltà".

Il sondaggio e' ancora in compilazione, immagino soprattutto da parte di studenti del primo anno che forse non hanno ancora un indirizzo email su SPES. Fra qualche giorno chiudero' il sondaggio e rendero' disponibili tutti i dati; comunque il quadro mi pare gia' chiaro.

Sulla base di questi dati, mi pare che non si possa che ribadire la necessita' di ridiscutere le modalita' di allocazione degli eventuali fondi per il laboratorio. Mi sembra che sia da considerare seriamente l'opzione di *non* investire in 50 postazioni di lavoro ma in infrastrutture di rete, prese elettriche, stampanti, software, licenze, servizi Web, ecc., come appunto suggerito durante il CdF. Molti commenti degli studenti (raccolti con altre domande specifiche del questionario) vanno in questo senso.

Secondo me sarebbe anche una buona mossa investire in un certo numero di laptop (5? 10?) da fornire in comodato d'uso ai migliori studenti di ogni corso di laurea, magari in convenzione con qualche venditore per avere prezzi scontati e una buona pubblicita'.

Gia' che ci sono, aggiungo in chiusura anche due brevi riflessioni sul sistema informativo di ateneo/facolta'.

A livello di ateneo, non c'e' una mailing list degli studenti di un certo anno/corso/facolta'. Per inviare il questionario a tutti gli studenti ho dovuto interagire con l'URP che, "a mano" (non so i dettagli...) ha dovuto estrarre da un database i vari sottoinsiemi di studenti e procedere a piu' invii separati (per inciso, questo e' il motivo per cui ho usato poc'anzi condizionale sull'invio a tutti gli studenti della facolta'). Ho interagito per un'ora con Google Forms per preparare il sondaggio, e poi ho interagito per un giorno con l'URP per riuscire a inviarlo. Scusate se sono brutale, ma mi sembra una cosa ridicola.

Ma ancora piu' ridicolo mi sembra il fatto che non c'e' una mailing list dei docenti del nostro CdF (di Scienze!), ne' del CCL (in discipline *informatiche*!). Per il CCL c'e' un elenco di docenti "in chiaro", e per il CdF neanche quello. Le liste CdF/CCL consentirebbero di far circolare certi dati per email (tipo questo messaggio, ma anche, ad es., i dati sulle immatricolazioni/iscrizioni), con conseguente risparmio di tempo e maggiore trasparenza. Usando gli strumenti di Google si fa tutto in un'ora; e c'e' comunque anche un servizio di ateneo.

Quindi concludo chiedendo che vengano create al piu' presto le mailing list di CdF e CCL, con gestione in carico alla segreteria di facolta'. Se questo non verra' fatto entro il prossimo consiglio, e' mia intenzione chiedere una votazione durante le Varie ed eventuali per deliberare sulla creazione immediata delle liste.

Saluti,
S.

Bah.
S.

Dati

In qualche ultimo consiglio si insiste che alle specialistiche diamo voti troppo alti, sia negli esami sia come voto di laurea. È una sensazione che ho avuto anche io, ma siccome è meglio avere dati, ho provato a confrontare su Almalaurea i voti di Udine e della media italiana degli anni 2006-2010, e il confronto è interessante: diamo voti più alti negli esami (circa +1% in media sui cinque anni) e più bassi alla laurea (circa -3% in media sui cinque anni). Ecco due grafici:






Come dico sempre, bisogna partire dai dati e *poi* formarsi le opinioni...

S.

Sulla considerazione che il governo ha dell'università

Giusto qualche dato:

• ci sarà un taglio di 0.5Ge (su 7.5Ge totali) dell'FFO 2011;
• il PRIN 2009 (!) ancora non è stato assegnato, e siamo nel 2011, e a quanto pare la valutazione non è neppure iniziata;
• il decreto di assegnazione dell'FFO 2010 è stato pubblicato il 31 dicembre 2010.

Bah,
S.

Almalaurea, TWM, & co.

Ritorno sulle statistiche di Almalaurea e sui confronti fra Informatica, TWM, e altre lauree. Mettendo insieme alcuni degli ultimi post e qualche dato sulle scuole di provenienza, ho ottenuto tre grafici, il primo sul voto di diploma e gli altri due sul tipo di scuola di provenienza (siccome i dati temporali sulla scuola di provenienza sono più difficili da rappresentare graficamente, ho riportato due indicatori di "bontà" per le lauree tecnico-scientifiche: percentuale di provenienza da liceo classico, scientifico e tecnico e da liceo scientifico e tecnico).

Io da questi dati deduco che non ci sono differenze apprezzabili fra Informatica e TWM. Deduco anche che invece ci sono differenze importanti con Ingegneria e Matematica. E che sarebbe opportuno andare nella direzione di una laurea in Ingegneria informatica --- e invece niente, anzi con la nuova specialistica interfacoltà e interclasse (più o meno obbligata, d'accordo) si va verso Scienze e tecnologie MM... Mah.

Nel frattempo, a ingegneria hanno prodotto un documento con statistiche interessanti sui voti medi degli esami. Ora che i dati sono disponibili in un sistema informativo integrato, sarebbe il caso di farlo anche a Scienze. Ripeto: per uno "scienziato", il punto di partenza dovrebbero essere i dati, non le impressioni né tantomeno le opinioni...

[Contento, Paolo? :) ]

S.

Altro che Giavazzi...

Riguardo a un post di qualche giorno fa, segnalo:

• Sylos Labini su Il Fatto Quotidiano;
• Giuseppe De Nicolao su www.unipd.eu;
• Sylos Labini su Scienza in Rete.

Appunto, altro che le falsità di Giavazzi...

Sempre sull'università: speriamo che alla dichiarazione di Tremonti di oggi ("ci sarà un miliardo per l’università") seguano, per una volta, i fatti concreti...

S.

Funds...

Believe it or not, at our department we've run out of envelopes, and we don't have funds to buy them :( Email only from now on.

S.

P.S. It's not so bad: we've run out of _small_ envelopes. We still have some big ones. So if you get something from me, it's not an empty big envelope: look carefully inside and you'll find a small piece of paper...

Update... / 2

Aggiungiamo anche i dati di Scienze e Tecnologie Multimediali, va...

                       2006    2007   2008   2009
Informatica     82.4    80.9    83.5    79
TWM               75.9    77.1    75.5    77.9
Matematica     88.2    87.4    90.4    90.6
Ingegneria       85.7    86    85.8    86.7
ScTMM             83.5    83    78.7    77.7

S.