La georeferenziazione dei dati aperti, e la relativa possibilità di visualizzarli direttamente su mappa, rappresenta uno dei "valori aggiunti" più apprezzati dall'utenza.
E' infatti indubbio che poter "vedere" le informazioni, e di conseguenza apprezzarne la distribuzione territoriale, rende tali informazioni più fruibili e ne aumenta l'appeal.
E' quindi sicuramente utile identificare, fra gli opendata da pubblicare, quelli che è possibile corredare con una "dupla", costituita da latitudine e longitudine, che consenta di localizzare, con precisione, ogni singolo record pubblicato.
Ad esempio, possiamo pensare di prendere tutti quei dati per i quali disponiamo di identificazione toponomastica (indirizzo e numero civico, comune, provincia) e di ricavare, da tale localizzazione, ulteriori informazioni costituite dalle corrispondenti coordinate.
Sarebbe a questo punto necessario disquisire in merito all'identificazione del corretto Sistema geodetico di riferimento ma la scelta preferibile è quella di affidarsi allo standard "de facto" WGS84, adottato da Google Maps, e quindi praticamente da tutti.
Esistono siti che, senza pretesa di precisione al centimetro, permettono di calcolare le coordinate corrispondenti ad un indirizzo inserito manualmente: noi abbiamo usato MyGeoPosition, che è risultato molto comodo da usare ed adatto ai nostri scopi.
Ad esempio, per i dati del lavoro e della formazione della Provincia di Roma, abbiamo provveduto a georeferenziare i dati dei Centri per l'Impiego e dei Centri Provinciali di Formazione Professionale.
La fase di pubblicazione su mappa vera e propria potrebbe, nell'ottica "standard" della pubblicazione dei dati aperti, essere affidata agli utenti che ne sentono il bisogno, in quanto la PA può limitarsi a "liberare" i propri dati e lasciare che siano i fruitori a decidere come e in che modo usarli.
Ossia, si può attuare una netta divisione tra dati e servizi, e stabilire che il compito della PA sia quello di fornire solo ed esclusivamente i dati e che siano gli utenti a curarne i servizi.
Noi però riteniamo che la mappatura dei nostri dati sia semplicemente un modo diverso di vedere le informazioni, ed è per questo che abbiamo creato un apposito modulo che, a partire dai dati in formato json, ne permette la fruizione georeferenziata.
E' un modulo standard, che può essere utilizzato su qualsiasi dei nostri dati in formato json, e che è in grado anche, qualora non fossero già disponibili le coordinate WGS84, di calcolarle in tempo reale.
Il modulo mostra i dati su Google Maps, e sfrutta ampliamente le API V3 di Google Maps stesso.
Nel link che abbiamo pubblicato su RomaLabor http://formazione.provincia.roma.it/mappe/mappaxml.asp abbiamo creato una mappa nella quale è possibile visualizzare i Centri per l'Impiego, i Centri di Formazione Professionale, ma anche le offerte di lavoro disponibili, in tempo reale, presso i nostri Centri e anche alcune informazioni territoriali relative a ciascuno dei 121 comuni della Provincia di Roma.
giovedì 21 agosto 2014
giovedì 17 luglio 2014
Ancora "more openess" su RomaLabor
Come già preannunciato nel post precedente, ora su RomaLabor è presente un file xml che rappresenta l'alberatura degli opendata pubblicati del portale. Tale file mostra in dettaglio tutte le categorie e tutti i vari dati in esse presenti, e per ciascun file viene specificato il percorso completo e il link diretto per il download.
L'albero degli opendata può essere scaricato direttamente da questo indirizzo:
http://85.18.173.40/aspnet_dati/elencodataset.xml
Inoltre, tra i Servizi on line del portale
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1215
abbiamo inserito uno strumento di analisi degli avviamenti al lavoro avvenuti nel primo semestre 2014.
Attraverso questo servizio on line è possibile calcolare, in maniera interattiva, le 10 qualifiche più utilizzate nel periodo preso in considerazione, ed è quindi un utile strumento per decifrare cosa effettivamente richiede il mercato del lavoro, con l'ulteriore possibilità di analizzare solo determinati territori, o determinate fasce d'età, o solo i contratti a tempo indeterminato.
La peculiarità di tale servizio, è che tutti i dati estratti possono essere scaricati in formato open, scegliendo come al solito tra xml, csv, csv "italiano", tsv e json.
Insomma, abbiamo ritenuto che, per essere veramente utile, lo strumento dovesse necessariamente coniugare l'analisi interattiva con i formati aperti, rendendo così un servizio semplice, utile e di più facile decifrazione.
L'albero degli opendata può essere scaricato direttamente da questo indirizzo:
http://85.18.173.40/aspnet_dati/elencodataset.xml
Inoltre, tra i Servizi on line del portale
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1215
abbiamo inserito uno strumento di analisi degli avviamenti al lavoro avvenuti nel primo semestre 2014.
Attraverso questo servizio on line è possibile calcolare, in maniera interattiva, le 10 qualifiche più utilizzate nel periodo preso in considerazione, ed è quindi un utile strumento per decifrare cosa effettivamente richiede il mercato del lavoro, con l'ulteriore possibilità di analizzare solo determinati territori, o determinate fasce d'età, o solo i contratti a tempo indeterminato.
La peculiarità di tale servizio, è che tutti i dati estratti possono essere scaricati in formato open, scegliendo come al solito tra xml, csv, csv "italiano", tsv e json.
Insomma, abbiamo ritenuto che, per essere veramente utile, lo strumento dovesse necessariamente coniugare l'analisi interattiva con i formati aperti, rendendo così un servizio semplice, utile e di più facile decifrazione.
sabato 12 luglio 2014
I formati di pubblicazione - Aumentare la readability
I dati aperti relativi ai settori formazione e lavoro della Provincia di Roma, pubblicati su RomaLabor alla pagina
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1169
sono stati inizialmente forniti in 4 formati: xml, tsv, csv e csv leggibile da Excel italiano. Tale scelta ha ricalcato quella del portale opendata.provincia.roma.it, e si basa su valutazioni che io stesso stabilii nel 2012.
Per rendere però maggiormente fruibili i dati, abbiamo stabilito di aggiungere, per ogni dataset, una ulteriore pubblicazione in formato json, nonchè di fornire un file xml per descrivere la struttura di ciascuna tipologia di dato pubblicato.
Tale aggiornamento è stato appena completato. Pertanto già da ora gli utenti trovano, per ciascun dataset, 6 file differenti. Lo scopo è ovviamente quello di consentire un accesso ai dati che sia il più facile e il più chiaro possibile, nonchè quello di aumentare la "machine readability" di quanto pubblicato.
Un ulteriore sviluppo che stiamo portando avanti è quello di fornire un file xml contenente l'indice dei dati pubblicati. L'obiettivo è quello di creare una "directory tree" di tutti i dataset, che consenta una visione d'insieme delle informazioni presenti e che permetta un download diretto oppure, ove possibile, una anteprima del dato.
In tale file verranno fornite anche una serie di indicazioni ausiliari, quali ad esempio la data di creazione del dataset o il significato specifico del fileset stesso.
Contiamo di presentare questo file indice entro la prossima settimana, insieme ad uno strumento di analisi interattiva dei dati degli avviamenti al lavoro che consentirà l'esportazione automatica dei risultati in formato open.
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1169
sono stati inizialmente forniti in 4 formati: xml, tsv, csv e csv leggibile da Excel italiano. Tale scelta ha ricalcato quella del portale opendata.provincia.roma.it, e si basa su valutazioni che io stesso stabilii nel 2012.
Per rendere però maggiormente fruibili i dati, abbiamo stabilito di aggiungere, per ogni dataset, una ulteriore pubblicazione in formato json, nonchè di fornire un file xml per descrivere la struttura di ciascuna tipologia di dato pubblicato.
Tale aggiornamento è stato appena completato. Pertanto già da ora gli utenti trovano, per ciascun dataset, 6 file differenti. Lo scopo è ovviamente quello di consentire un accesso ai dati che sia il più facile e il più chiaro possibile, nonchè quello di aumentare la "machine readability" di quanto pubblicato.
Un ulteriore sviluppo che stiamo portando avanti è quello di fornire un file xml contenente l'indice dei dati pubblicati. L'obiettivo è quello di creare una "directory tree" di tutti i dataset, che consenta una visione d'insieme delle informazioni presenti e che permetta un download diretto oppure, ove possibile, una anteprima del dato.
In tale file verranno fornite anche una serie di indicazioni ausiliari, quali ad esempio la data di creazione del dataset o il significato specifico del fileset stesso.
Contiamo di presentare questo file indice entro la prossima settimana, insieme ad uno strumento di analisi interattiva dei dati degli avviamenti al lavoro che consentirà l'esportazione automatica dei risultati in formato open.
sabato 28 giugno 2014
Qualcosa di personale: perchè io e perchè opendata
Una delle questioni che mi vengono poste è: qual è la tua relazione con l'Opendata?
Per rispondere, penso sia importante sapere che sono stato uno dei "padri" del portale opendata della Provincia di Roma, ed infatti, come tale, ho partecipato a webinar del Formez
http://www.innovatoripa.it/posts/2012/12/3193/i-webinar-di-datigov-open-data-negli-enti-locali-materiali-e-registrazioni
per raccontare l'esperienza che ha condotto la Provincia di Roma a pubblicare i propri dati aperti.
Il portale opendata provinciale ha segnato un ottimo esempio di servizio pubblico, è stato riconosciuto dalla comunità opendata come buona pratica per qualità tecnica e impostazione, ed ha attirato anche l'attenzione giornalistica, ad esempio
http://rstampa.pubblica.istruzione.it/bin/tiffpilot.exe?FN=E:%5Ceco%5CImg%5C1L6B%5C1L6BSTP?.TIF&MF=1&SV=Rassegna%20Stampa&PD=1
dove tra l'altro, sono stato erroneamente citato come responsabile tecnologie e reti della Provincia di Roma...
Contemporaneamente, sono anche un "esperto di innovazione collegata al lavoro" (se mai una tale definizione esista... :D)
Ho raccontato parte del percorso che stiamo conducendo, come Dipartimento Formazione Lavoro, in questo webinar:
http://formez.adobeconnect.com/p3hvtw8vrp9/.
le cui slide sono reperibili qui
http://www.innovatoripa.it/sites/default/files/calcerano_slide_webinar_12112013.pdf
e ne ho parlato in convegni, ad esempio qui
http://eventipa.formez.it/node/9364
http://www.innovatoripa.it/posts/2013/12/4666/workshop-r-innovare-i-servizi-il-lavoro-panel-smart-services-dalla-misurazione
Quindi, mettendo a fattor comune le mie esperienze opendata+lavoro, è venuto naturale attivare, all'interno del Dipartimento, un "movimento dati aperti" per raccogliere quanti più dati possibili e pubblicarli, rendendoli disponibili sia sul portale ufficiale del lavoro "RomaLabor" che (speriamo presto...) sul portale opendata.
Per rispondere, penso sia importante sapere che sono stato uno dei "padri" del portale opendata della Provincia di Roma, ed infatti, come tale, ho partecipato a webinar del Formez
http://www.innovatoripa.it/posts/2012/12/3193/i-webinar-di-datigov-open-data-negli-enti-locali-materiali-e-registrazioni
per raccontare l'esperienza che ha condotto la Provincia di Roma a pubblicare i propri dati aperti.
Il portale opendata provinciale ha segnato un ottimo esempio di servizio pubblico, è stato riconosciuto dalla comunità opendata come buona pratica per qualità tecnica e impostazione, ed ha attirato anche l'attenzione giornalistica, ad esempio
http://rstampa.pubblica.istruzione.it/bin/tiffpilot.exe?FN=E:%5Ceco%5CImg%5C1L6B%5C1L6BSTP?.TIF&MF=1&SV=Rassegna%20Stampa&PD=1
dove tra l'altro, sono stato erroneamente citato come responsabile tecnologie e reti della Provincia di Roma...
Contemporaneamente, sono anche un "esperto di innovazione collegata al lavoro" (se mai una tale definizione esista... :D)
Ho raccontato parte del percorso che stiamo conducendo, come Dipartimento Formazione Lavoro, in questo webinar:
http://formez.adobeconnect.com/p3hvtw8vrp9/.
le cui slide sono reperibili qui
http://www.innovatoripa.it/sites/default/files/calcerano_slide_webinar_12112013.pdf
e ne ho parlato in convegni, ad esempio qui
http://eventipa.formez.it/node/9364
http://www.innovatoripa.it/posts/2013/12/4666/workshop-r-innovare-i-servizi-il-lavoro-panel-smart-services-dalla-misurazione
Quindi, mettendo a fattor comune le mie esperienze opendata+lavoro, è venuto naturale attivare, all'interno del Dipartimento, un "movimento dati aperti" per raccogliere quanti più dati possibili e pubblicarli, rendendoli disponibili sia sul portale ufficiale del lavoro "RomaLabor" che (speriamo presto...) sul portale opendata.
giovedì 26 giugno 2014
Un esempio concreto: I dati del lavoro della Provincia di Roma
Riprendiamo il nostro racconto di sperimentatori dell'Opendata nella Pubblica Amministrazione dopo 3 mesi.
Questo periodo di tempo è servito essenzialmente per passare dalla teoria alla pratica: abbiamo infatti dato il via ad un servizio di raccolta, conversione e pubblicazione di dati relativi al settore Formazione e Lavoro della Provincia di Roma.
Al momento tali dati sono già disponibili al pubblico all'indirizzo
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1169
e contiamo che, a breve, siano resi disponibili anche sul portale opendata ufficiale della Provincia di Roma.
L'attività è stata sicuramente impegnativa: tutti i dati sono stati censiti e raccolti da un unico ufficio, che ne ha curato la geolocalizzazione quando necessario, la conversione nei formati "standard" scelti dalla Provincia di Roma (xml, tsv, csv, csv separato da ';') e la pubblicazione.
Tale ufficio si è preso anche carico di convertire tutte le tabelle presenti nel 1° rapporto 2014 sul mercato del lavoro, pubblicato in pdf, affinchè la pubblicazione di tale rapporto fosse affiancata dalla disponibilità delle tabelle in esso presenti in formato open.
Il lavoro di pubblicazione è ovviamente un "work in progress": a prescindere, infatti, dagli aggiornamenti già schedulati e dagli altri dati che si sta raccogliendo, si prevede a breve di ampliare i formati disponibili, includendo anche il formato json, e di rendere disponbile, per ciascun dataset, un file riassuntivo ed esplicativo del significato dei campi e dei dati in essi contenuti.
Si è poi scelto di pubblicare i dati sotto licenza CC-BY, abbandonando lo standard CC0 utilizzato per gli altri dati della Provincia. Ciò perchè, analizzando a fondo la questione e verificando anche ciò che viene consigliato o suggerito nei forum specializzati e dalle altre istituzioni, si ritiene che un ente pubblico non possa mai rinunciare del tutto alla "proprietà" del dato, proprio perchè tale dato è pubblico ed è corretto fornire almeno l'attribuzione a chi ne detiene la competenza.
Questo periodo di tempo è servito essenzialmente per passare dalla teoria alla pratica: abbiamo infatti dato il via ad un servizio di raccolta, conversione e pubblicazione di dati relativi al settore Formazione e Lavoro della Provincia di Roma.
Al momento tali dati sono già disponibili al pubblico all'indirizzo
http://romalabor.provincia.roma.it/RomaLabor/it/dettagli.page?contentId=PAG1169
e contiamo che, a breve, siano resi disponibili anche sul portale opendata ufficiale della Provincia di Roma.
L'attività è stata sicuramente impegnativa: tutti i dati sono stati censiti e raccolti da un unico ufficio, che ne ha curato la geolocalizzazione quando necessario, la conversione nei formati "standard" scelti dalla Provincia di Roma (xml, tsv, csv, csv separato da ';') e la pubblicazione.
Tale ufficio si è preso anche carico di convertire tutte le tabelle presenti nel 1° rapporto 2014 sul mercato del lavoro, pubblicato in pdf, affinchè la pubblicazione di tale rapporto fosse affiancata dalla disponibilità delle tabelle in esso presenti in formato open.
Il lavoro di pubblicazione è ovviamente un "work in progress": a prescindere, infatti, dagli aggiornamenti già schedulati e dagli altri dati che si sta raccogliendo, si prevede a breve di ampliare i formati disponibili, includendo anche il formato json, e di rendere disponbile, per ciascun dataset, un file riassuntivo ed esplicativo del significato dei campi e dei dati in essi contenuti.
Si è poi scelto di pubblicare i dati sotto licenza CC-BY, abbandonando lo standard CC0 utilizzato per gli altri dati della Provincia. Ciò perchè, analizzando a fondo la questione e verificando anche ciò che viene consigliato o suggerito nei forum specializzati e dalle altre istituzioni, si ritiene che un ente pubblico non possa mai rinunciare del tutto alla "proprietà" del dato, proprio perchè tale dato è pubblico ed è corretto fornire almeno l'attribuzione a chi ne detiene la competenza.
domenica 16 marzo 2014
...e cosa sono, invece, gli Open Data?
Riporto qui, integralmente, il testo che ho predisposto per il portale dei dati aperti della Provincia di Roma e che trovate, appunto, nella pagina "Cos'è Opendata".
Gli "opendata" sono dati che possono essere liberamente scaricati, riutilizzati e ridistribuiti da chiunque, con l'eventuale necessità, in base alla licenza di pubblicazione, di citarne la fonte e di condividerli con lo stesso tipo di licenza con cui sono stati originariamente rilasciati. Ciò comprende la possibilità di combinarli con altre basi di dati, aperte e non, di aggregarli e in generale di utilizzarli come patrimonio informativo condiviso.
I dati, per essere veramente "open", devono essere disponibili in un formato utile e modificabile, privi di brevetti o altre forme di controllo che ne limitino la riproduzione. E' per questo che, rispetto a formati soggetti a copyright, si prediligono formati quali XML e CSV che non sono intrinsecamente legati ad eventuali forme di restrizione.
Riguardo i dati in possesso della pubblica amministrazione l'idea, con gli Open Data, è che questi dati debbano essere messi a disposizione di tutti coloro i quali vogliano consultarli o che vogliano utilizzarli per creare applicazioni e servizi. Liberare i dati significa quindi creare un meccanismo di trasparenza delle istituzioni, le quali consentono a chiunque di verificare quanto prodotto.
I dati liberi rappresentano inoltre uno strumento a disposizione delle aziende per lo sviluppo di soluzioni multimediali innovative, favorendo in tal modo l'economia. Le opportunità di business per le aziende si trasferiscono poi conseguentemente anche sui cittadini, che possono fruire di applicazioni e servizi non solo da parte della PA ma anche da parte di privati, magari direttamente sul proprio smartphone.
Gli "opendata" sono dati che possono essere liberamente scaricati, riutilizzati e ridistribuiti da chiunque, con l'eventuale necessità, in base alla licenza di pubblicazione, di citarne la fonte e di condividerli con lo stesso tipo di licenza con cui sono stati originariamente rilasciati. Ciò comprende la possibilità di combinarli con altre basi di dati, aperte e non, di aggregarli e in generale di utilizzarli come patrimonio informativo condiviso.
I dati, per essere veramente "open", devono essere disponibili in un formato utile e modificabile, privi di brevetti o altre forme di controllo che ne limitino la riproduzione. E' per questo che, rispetto a formati soggetti a copyright, si prediligono formati quali XML e CSV che non sono intrinsecamente legati ad eventuali forme di restrizione.
Riguardo i dati in possesso della pubblica amministrazione l'idea, con gli Open Data, è che questi dati debbano essere messi a disposizione di tutti coloro i quali vogliano consultarli o che vogliano utilizzarli per creare applicazioni e servizi. Liberare i dati significa quindi creare un meccanismo di trasparenza delle istituzioni, le quali consentono a chiunque di verificare quanto prodotto.
I dati liberi rappresentano inoltre uno strumento a disposizione delle aziende per lo sviluppo di soluzioni multimediali innovative, favorendo in tal modo l'economia. Le opportunità di business per le aziende si trasferiscono poi conseguentemente anche sui cittadini, che possono fruire di applicazioni e servizi non solo da parte della PA ma anche da parte di privati, magari direttamente sul proprio smartphone.
giovedì 13 marzo 2014
Ma cos'è, in pratica, un portale Opendata per una PA?
Non è facile dare una definizione significativa, ma se volessimo spiegare cos'è, e a cosa serve, un Portale Opendata, forse quella più "convincente" sarebbe: E' uno strumento di condivisione per rendere i dati facilmente rintracciabili ed usabili.
Una piattaforma Open Data è dunque una sorta di “contenitore dedicato”, in cui l’utente interessato sa di poter trovare le informazioni di cui ha bisogno, qualora disponibili. E l'utente sa anche che i dati sono pubblicati in un formato leggibile da tutti (dove per "tutti" si intende essere umani e macchine) senza bisogno di particolari programmi software.
Pubblicare un portale Opendata, quindi
1. Rende uniforme l’accesso ai dati dell’Amministrazione
2. Consente una migliore interazione tra ente e utenza
e, al contempo, crea vantaggi alla Pubblica Amministrazione stessa, perchè obbliga la PA:
1. A standardizzare i propri contenuti, utilizzando formati aperti e, tra questi, scegliendo quelli maggiormente utilizzati (ad esempio xml, csv)
2. A interagire con l’utenza in maniera più dinamica, puntando sul “contenuto” dell’informazione e non sul “contenitore”
Sul portale Opendata possono (anzi, devono) essere resi disponibili tutti i dati pubblici di cui dispone l’amministrazione, qualora si intenda comunicarli all’utenza. Ad esempio, è buona norma pubblicare sul portale Opendata tutti i dati che sono già diffusi sul sito istituzionale, utilizzando ovviamente formati aperti. E oltre alla "buona norma" si aggiunge anche la "buona legge": ossia, per il Codice dell'Amministrazione Digitale, tutti i dati della Pubblica Amministrazione, se non espressamente dichiarato (e motivato) sono per definizione "aperti".
E' ovvio poi che, oltre ai dati già esistenti, si può prevedere di creare contenuti informativi espressamente dedicati al portale Opendata. Ad esempio, si possono pubblicare dati statistici, dati di geolocalizzazione, tabelle informative, dati di traffico e infomobilità, report di dettaglio ecc. ecc.
In pratica, vale sicuramente le regola: più dati si pubblicano, meglio è!
Ovviamente, i dati devono essere "di qualità". Ma di questo ne parleremo successivamente...
Una piattaforma Open Data è dunque una sorta di “contenitore dedicato”, in cui l’utente interessato sa di poter trovare le informazioni di cui ha bisogno, qualora disponibili. E l'utente sa anche che i dati sono pubblicati in un formato leggibile da tutti (dove per "tutti" si intende essere umani e macchine) senza bisogno di particolari programmi software.
Pubblicare un portale Opendata, quindi
1. Rende uniforme l’accesso ai dati dell’Amministrazione
2. Consente una migliore interazione tra ente e utenza
e, al contempo, crea vantaggi alla Pubblica Amministrazione stessa, perchè obbliga la PA:
1. A standardizzare i propri contenuti, utilizzando formati aperti e, tra questi, scegliendo quelli maggiormente utilizzati (ad esempio xml, csv)
2. A interagire con l’utenza in maniera più dinamica, puntando sul “contenuto” dell’informazione e non sul “contenitore”
Sul portale Opendata possono (anzi, devono) essere resi disponibili tutti i dati pubblici di cui dispone l’amministrazione, qualora si intenda comunicarli all’utenza. Ad esempio, è buona norma pubblicare sul portale Opendata tutti i dati che sono già diffusi sul sito istituzionale, utilizzando ovviamente formati aperti. E oltre alla "buona norma" si aggiunge anche la "buona legge": ossia, per il Codice dell'Amministrazione Digitale, tutti i dati della Pubblica Amministrazione, se non espressamente dichiarato (e motivato) sono per definizione "aperti".
E' ovvio poi che, oltre ai dati già esistenti, si può prevedere di creare contenuti informativi espressamente dedicati al portale Opendata. Ad esempio, si possono pubblicare dati statistici, dati di geolocalizzazione, tabelle informative, dati di traffico e infomobilità, report di dettaglio ecc. ecc.
In pratica, vale sicuramente le regola: più dati si pubblicano, meglio è!
Ovviamente, i dati devono essere "di qualità". Ma di questo ne parleremo successivamente...
Iscriviti a:
Post (Atom)