Postdoc position

In the context of a Google Faculty Research Award (http://research.google.com/university/relations/research_awards.html), we are seeking a post doctoral researcher at Udine University (Udine, Italy). The title of the project is: 

    Axiometrics: Foundations of Evaluation Metrics in IR. 

Axiometrics is one of the most important research directions proposed during the SWIRL 2012 meeting (http://www.cs.rmit.edu.au/swirl12/). A slightly more detailed description is at the end of this announcement. This is a joint project, involving:

• Stefano Mizzaro (Principal Investigator), Dept. of Maths and Computer Science, University of Udine, Italy, mizzaro_foo@uniud.it.

• Julio Gonzalo (co-Principal Investigator) ed Enrique Amigó, E.T.S.I. Informática de la UNED,  Madrid, Spain, julio_foo@lsi.uned.es, enrique_foo@lsi.uned.es.

• Evangelos Kanoulas (Google sponsor), Google Zurigo, ekanoulas_foo@gmail.com.

[you'll need to remove some characters from the email address -- unless you're a spammer :)] Feel free to contact me for further information, informal enquires, etc. The position is for one year (renewable if further funds are available). Salary is around 1900 euros/month. The activity will start in May/June 2013. The formal announcement in Italian is at http://www.uniud.it/ateneo/normativa/albo_ufficiale/183-2013 (# 20). 

*** Application deadline: 16 April 2013. ***

Short project description

Effectiveness evaluation is of paramount importance in the field of Information Retrieval (IR). IR is probably the most evaluation-oriented field in computer science, as witnessed by an evaluation methodology developed in the 60s during the Cranfield experiments and by several evaluation initiatives running today (TREC, CLEF, NTCIR, INEX, FIRE). One crucial aspect of evaluation are evaluation metrics. About 100 IR effectiveness metrics exist, and counting. This project aims at understanding the relationships among them, in terms of both axiomatic properties and statistical relations, for both metric science (understanding of metrics) and engineering (their development). More in detail, we aim at proposing:

• Axioms: rules that any metric must satisfy. For example, when swapping a relevant document and a non-relevant one in the ranking, by decreasing the rank of the relevant one and increasing the rank of the non relevant one, the metric value should decrease. Axioms might be verified and compared with user intuition using crowdsourcing.

• Desiderata: desirable properties that a metric should have, based on common sense. For example, an effectiveness value according to one metric should be affected more by a swap in earlier rank positions than a swap in later ranks.

• Empirical properties: those that emerge from data, i.e., from actual test collections and system comparisons. These include robustness, statistical correlation between metrics, etc.

Stefano Mizzaro
www.dimi.uniud.it/mizzaro

Computer science education

Un post interessante...

S.

Dottorato in informatica: in memoriam?

Fra i 21 dottorati di ricerca dell'Universita' di Udine c'e' un dottorato in Informatica. A causa di un recente decreto, i 21 dottorati attuali verranno ridotti a circa 10. Semplificando un po': ogni dottorato deve avere 6 borse, e a UD sembra che ci siano circa 60 borse in totale; ci devono essere 16 membri del collegio docenti "sopra le mediane" (...), di cui al massimo 4 ricercatori; e altro.

Le soluzioni che oggi ci sono state proposte dal coordinatore del dottorato di informatica sono:

1) dottorato in Informatica e Matematica (con i nomi in qualche ordine);

2) dottorato in Informatica, Matematica e Fisica (con i nomi in qualche ordine).

A me sembra una follia l'eliminare, o anche solo lo sminuire, il dottorato di Informatica. Lo e', secondo me, sia da un punto di vista storico (Udine e' stata una delle prime sedi della laurea in informatica e il dottorato di Informatica esiste fin dal primo ciclo, anche se nei primi anni e' stato in consorzio), sia geografico (non ci sono altri dottorati in regione, per i piu' vicini bisogna andare a VE, PD, VR), sia culturale (importanza dell'informatica oggi ecc. ecc.).

E' sostenibile un dottorato di Informatica? Secondo me si' (sarebbe da fare conti precisi ma non ne ho ne' il tempo, ne' la voglia; ne' e' compito mio...). Ci sono 4 dottorati da "cannibalizzare": Informatica, Matematica e fisica, Ingegneria dell'informazione, Comunicazione multimediale, sia in termini di borse sia come docenti. Le borse "portate in dote" dai 4 dottorati potrebbero essere 3/4+1+1+1 = 6/7. A Udine siamo 40 docenti di informatica (INF/01 e ING-INF/05), piu' altri di settori affini (matematici applicati, ingegneria dell'informazione, ...). E fra 40 non riusciamo a trovarne 16 sopra le mediane??

Io farei una "battaglia" con gli organi di governo del tipo: noi proponiamo che ci sia un dottorato di informatica fatto cosi'; supportateci (non tanto economicamente, ma politicamente: e' una scelta strategica che va fatta a livello di governance). Se invece non lo volete, ditecelo chiaramente e assumetevene le responsabilita', e allora si vedra' che fare. Ma che risulti chiaro di chi e' la responsabilita' di "ammazzare" il dottorato in Informatica.

Mi lascia quantomeno perplesso che questa battaglia non si voglia fare...

S.

P.S. E questa sara' probabilmente un'altra occasione persa, dopo non aver fatto la Facolta' di Informatica e il Dipartimento di Informatica...

Cerchi lavoro?

A breve bandirò un assegno di ricerca annuale per lavorare al progetto Axiometrics: Foundations of Evaluation Metrics in IR. Il progetto è finanziato da un Google Faculty Research Award (http://research.google.com/university/relations/research_awards.html).

Abstract del progetto Axiometrics
Effectiveness evaluation is of paramount importance in the field of Information Retrieval (IR). IR is probably the most evaluation-oriented field in computer science, as witnessed by an evaluation methodology developed in the 60s during the Cranfield experiments and by several evaluation initiatives running today (TREC, CLEF, NTCIR, INEX, FIRE). One crucial aspect of evaluation are evaluation metrics. About 100 IR effectiveness metrics exist, and counting. This project aims at understanding the relationships among them, in terms of both axiomatic properties and statistical relations, for both metric science (understanding of metrics) and engineering (their development). More in detail, we aim at proposing:

• Axioms: rules that any metric must satisfy. For example, when swapping a relevant document and a non-relevant one in the ranking, by decreasing the rank of the relevant one and increasing the rank of the non relevant one, the metric value should decrease. Axioms might be verified and compared with user intuition using crowdsourcing.
• Desiderata: desirable properties that a metric should have, based on common sense. For example, an effectiveness value according to one metric should be affected more by a swap in earlier rank positions than a swap in later ranks.
• Empirical properties: those that emerge from data, i.e., from actual test collections and system comparisons. These include robustness, statistical correlation between metrics, etc.

Axiometrics è una delle linee di ricerca più importanti per l’IR proposte durante il meeting SWIRL 2012 (http://www.cs.rmit.edu.au/swirl12/). L’attività è svolta in collaborazione con:

• Stefano Mizzaro (Principal Investigator), Dept. of Maths and Computer Science, University of Udine, Italy, mizzaro_pippo@uniud.it.
• Julio Gonzalo (co-Principal Investigator) ed Enrique Amigó, E.T.S.I. Informática de la UNED,  Madrid, Spain, julio_pippo@lsi.uned.es, enrique_pippo@lsi.uned.es.
• Evangelos Kanoulas (Google sponsor), Google Zurigo, ekanoulas_pippo@gmail.com.

[ovviamente gli indirizzi email contengono alcuni caratteri in più da rimuovere, a meno che tu non sia uno spammer :)]
Se pensi che ti possa interessare, contattami.

Stefano Mizzaro
www.dimi.uniud.it/~mizzaro