Mappatura metadati archivio (aderenza a standard VO)

[mbergomi]

Interagire con Cristina Knapic. Riporto qui la mail.

Vorremmo esser il più possibile aderenti agli standard Virtual Observatory e per esserlo avremmo da capire quali sono le keyword dei Fits che produrrete che corrispondono all'elenco delle info mandatory per il VO.

Nel documento di specifica nel capitolo 4 trovate la tabella 4 che indica i campi (column_name) che dobbiamo popolare nel data base per la pubblicazione dei dati.

Potete pls controllare che ci siano tutti nell'header?

​http://www.ivoa.net/documents/ObsCore/20170509/REC-ObsCore-v1.1-20170509.pdf

Se ci sono campi addizionali che pensate siano utili nella ricerca dei files, vi prego di elencarli comunque perchè saranno quelli che serviranno come filtro sulla web interface...

Per i dati della camera tecnica... quali formati pensavate di adottare e come volete che vengano archiviati??

[mbergomi]

La mail di Cristina è del 1 ottobre...
Cercate di risponderle entro brev, anche se magari non abbiamo una risposta completa...

[mdepasca]

aggiungo le mie note qui, in riferimento alla tabella 4 del PDF linkato da Cristina:

• obs_publisher_id: chi lo definisce? noi o l'archivio? e chi lo popola?
• access_estsize: chi lo popola?
• s_region: non chiaro il significato
• pol_states: polarization states, non ha senso per SHARK, quindi? Se e` obbligatorio, dovrebbe esserci un valore NULL
• t_xel: number of values spanned for the time axis = exptime?

[mdepasca]

Domande per @dmesa:

1. i prodotti post pipeline, modificano gli header dei file originali?
2. i prodotti post pipeline saranno salvati nell'archivio di LBT? (a me non risulta, ma magari mi sbaglio)

[dmesa]

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

[vdorazi]

1. Non modificano le keywords. Concordo col Dino che sarebbe utile inserire il nome del template che ha generato e la data in chi e' state prodotto il file.

2. la riposta e' NO.

[mdepasca]

Replying to dmesa:

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

Qui e da capire meglio a cosa vi servirebbe avere il nome del template, perche' nell'header ci sono gia questo tipo informazioni; non c'e il nome del template ma c'e la la data di inizio osservazione e la sua durata. C'e il modo in cui e lo strumento e moolte altre info (date una occhiata all'ICD).

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

E io sono contento :)

[dmesa]

Replying to mdepasca:

Replying to dmesa:

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

Qui e da capire meglio a cosa vi servirebbe avere il nome del template, perche' nell'header ci sono gia questo tipo informazioni; non c'e il nome del template ma c'e la la data di inizio osservazione e la sua durata. C'e il modo in cui e lo strumento e moolte altre info (date una occhiata all'ICD).

Chiedo scusa Marco, direi che mi ero espresso male io parlando di template.
Quello che intendevo dire è che potrebbe essere utile mettere informazioni sulla
recipe (della pipeline di riduzione dati) che ha prodotto il file. L'utilità penso
stia nel fatto che si hanno informazioni sulla storia del file, che operazioni sono state fatte su di lui etc etc.
Spero ora sia più chiaro quello che intendevo.

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

E io sono contento :)

Sempre felice di farti felice :D

[mdepasca]

Replying to dmesa:

Replying to mdepasca:

Replying to dmesa:

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

Qui e da capire meglio a cosa vi servirebbe avere il nome del template, perche' nell'header ci sono gia questo tipo informazioni; non c'e il nome del template ma c'e la la data di inizio osservazione e la sua durata. C'e il modo in cui e lo strumento e moolte altre info (date una occhiata all'ICD).

Chiedo scusa Marco, direi che mi ero espresso male io parlando di template.
Quello che intendevo dire è che potrebbe essere utile mettere informazioni sulla
recipe (della pipeline di riduzione dati) che ha prodotto il file. L'utilità penso
stia nel fatto che si hanno informazioni sulla storia del file, che operazioni sono state fatte su di lui etc etc.
Spero ora sia più chiaro quello che intendevo.

OK, ma è una cosa che deve fare la pipeline allora.

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

E io sono contento :)

Sempre felice di farti felice :D

[dmesa]

Replying to mdepasca:

Replying to dmesa:

Replying to mdepasca:

Replying to dmesa:

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

Qui e da capire meglio a cosa vi servirebbe avere il nome del template, perche' nell'header ci sono gia questo tipo informazioni; non c'e il nome del template ma c'e la la data di inizio osservazione e la sua durata. C'e il modo in cui e lo strumento e moolte altre info (date una occhiata all'ICD).

Chiedo scusa Marco, direi che mi ero espresso male io parlando di template.
Quello che intendevo dire è che potrebbe essere utile mettere informazioni sulla
recipe (della pipeline di riduzione dati) che ha prodotto il file. L'utilità penso
stia nel fatto che si hanno informazioni sulla storia del file, che operazioni sono state fatte su di lui etc etc.
Spero ora sia più chiaro quello che intendevo.

OK, ma è una cosa che deve fare la pipeline allora.

Posso anche essere d'accordo, ma la tua domanda originale era se i file
post pipeline modificano l'header dei file originali. La risposta è:
sarebbe utile avere queste info. Poi come vengono immesse nell'header è da
decidere.

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

E io sono contento :)

Sempre felice di farti felice :D

[mdepasca]

Replying to dmesa:

Replying to mdepasca:

Replying to dmesa:

Replying to mdepasca:

Replying to dmesa:

Risposte:

1. Penso che non dovrebbero modificare le keyword presenti nei file originali

ma forse potrebbe essere utile aggiungere qualche informazione nell'header, tipo
il nome del template che ha prodotto il file, o la data in cui e' stato prodotto.
Non so se e' opportuno aggiungere altro (se qualcuno ha idee in proposito).

Qui e da capire meglio a cosa vi servirebbe avere il nome del template, perche' nell'header ci sono gia questo tipo informazioni; non c'e il nome del template ma c'e la la data di inizio osservazione e la sua durata. C'e il modo in cui e lo strumento e moolte altre info (date una occhiata all'ICD).

Chiedo scusa Marco, direi che mi ero espresso male io parlando di template.
Quello che intendevo dire è che potrebbe essere utile mettere informazioni sulla
recipe (della pipeline di riduzione dati) che ha prodotto il file. L'utilità penso
stia nel fatto che si hanno informazioni sulla storia del file, che operazioni sono state fatte su di lui etc etc.
Spero ora sia più chiaro quello che intendevo.

OK, ma è una cosa che deve fare la pipeline allora.

Posso anche essere d'accordo, ma la tua domanda originale era se i file
post pipeline modificano l'header dei file originali. La risposta è:
sarebbe utile avere queste info. Poi come vengono immesse nell'header è da
decidere.

Beh, posto che i FITS che arrivano alla pipeline li ha prodotti il sw di controllo,
Il nome della recipe nell'header del FITS finale lo puo` mettere solo la recipe,
perche il sw di controllo a quel punto e gia` fuori dai giochi.

2. Questo mi sembra ancora da decidere ma da quello che ho capito si andrebbe per il no.

E io sono contento :)

Sempre felice di farti felice :D

[mdepasca]

Chiudo il ticket, mail spedita a cristina