[meteo] aggiunto salvataggio dati su SD card
Mentre stiamo lavorando al porting della board master su microduino visto che mi veniva comodo ho aggiunto al firmware il salvataggio dei dati su SD card ... ho usato questo modulo: https://www.microduino.cc/wiki/index.php?title=Microduino-SD e una normale micro SD da 8G ora i dati oltre a essere pubblicati sul broker vengono scritti sull'SD card in questa forma: rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:19"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:24"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:02:59"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:04"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:09"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:14"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:19"} quindi topic e payload separati da ";" e sono quindi pronti per essere ripubblicati su rmap.cc I dati si possono leggere ovunque essendo la card formattata fat32 Paolo
Ho raffinato il meccanismo di salvataggio dei dati su SD; ora i file vengono frammentati a una dimensione frefissata per farne circa uno al giorno e numerati da 000 a 999; i dati salvati hanno una flag che indica se i dati sono stati già pubblicati correttamente su MQTT; i file che devono essere controllati per possibili reinvii hanno postfisso .que e quelli che hanno tutti i dati già inviati hanno postfisso .don In questo modo si ottengono queste funzionalità: * salvataggio dati su SD almeno per due anni con campionamenti ogni 5s * reinvio automatico al server dei dati salvati ma non pubblicati correttamente sul server * ottimizzazione dei tempi in quanto solo i file che contengono dati da inviare vengono letti per selezionare i dati da reinviare * i dati possono essere riletti su un normale PC estraendo l'SD Bisogna testare il tutto e vedere se funzia e trovare problemi; ad esempio il sync su SD ogni 5s potrebbe "bruciare" l'SD ... Commenti ? Paolo Il giorno gio, 19/03/2015 alle 18.09 +0100, Paolo Patruno ha scritto:
Mentre stiamo lavorando al porting della board master su microduino visto che mi veniva comodo ho aggiunto al firmware il salvataggio dei dati su SD card ...
ho usato questo modulo: https://www.microduino.cc/wiki/index.php?title=Microduino-SD e una normale micro SD da 8G
ora i dati oltre a essere pubblicati sul broker vengono scritti sull'SD card in questa forma:
rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:19"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:24"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:02:59"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:04"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:09"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:14"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:19"}
quindi topic e payload separati da ";" e sono quindi pronti per essere ripubblicati su rmap.cc
I dati si possono leggere ovunque essendo la card formattata fat32
Paolo
si potrebbe aggiungere un flag di stato e un metodo di controllo remoto della registrazione dati con jsonrrpc da associare ai vari sensori di volta in volta definiti come attivi.In questo modo verrebbero registrate solo le informazioni ritenute maggiormente significative con potenziale risparmio di spazio su sd card. Il problema dei cicli di scrittura lettura delle sd card è reale così come quello dell'inserimento disinserimento a caldo della sd in quanto fat la registrazione si incasina facilmente e le possibilità di mantenimento dell'integrità di tutti i dati sono scarse ma credo ci sia poco da fare per questo. Se non ci vediamo auguri di buona pasqua a tutti. Emme ________________________________________ Da: Paolo Patruno [p.patruno@iperbole.bologna.it] Inviato: mercoledì 1 aprile 2015 15.44 A: meteo@liste.raspibo.org Oggetto: Re: [meteo] aggiunto salvataggio dati su SD card Ho raffinato il meccanismo di salvataggio dei dati su SD; ora i file vengono frammentati a una dimensione frefissata per farne circa uno al giorno e numerati da 000 a 999; i dati salvati hanno una flag che indica se i dati sono stati già pubblicati correttamente su MQTT; i file che devono essere controllati per possibili reinvii hanno postfisso .que e quelli che hanno tutti i dati già inviati hanno postfisso .don In questo modo si ottengono queste funzionalità: * salvataggio dati su SD almeno per due anni con campionamenti ogni 5s * reinvio automatico al server dei dati salvati ma non pubblicati correttamente sul server * ottimizzazione dei tempi in quanto solo i file che contengono dati da inviare vengono letti per selezionare i dati da reinviare * i dati possono essere riletti su un normale PC estraendo l'SD Bisogna testare il tutto e vedere se funzia e trovare problemi; ad esempio il sync su SD ogni 5s potrebbe "bruciare" l'SD ... Commenti ? Paolo Il giorno gio, 19/03/2015 alle 18.09 +0100, Paolo Patruno ha scritto:
Mentre stiamo lavorando al porting della board master su microduino visto che mi veniva comodo ho aggiunto al firmware il salvataggio dei dati su SD card ...
ho usato questo modulo: https://www.microduino.cc/wiki/index.php?title=Microduino-SD e una normale micro SD da 8G
ora i dati oltre a essere pubblicati sul broker vengono scritti sull'SD card in questa forma:
rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:19"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:24"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:02:59"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:04"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:09"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:14"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:19"}
quindi topic e payload separati da ";" e sono quindi pronti per essere ripubblicati su rmap.cc
I dati si possono leggere ovunque essendo la card formattata fat32
Paolo
Il giorno mer, 01/04/2015 alle 14.48 +0000, Mario Mazzullo ha scritto:
si potrebbe aggiungere un flag di stato e un metodo di controllo remoto della registrazione dati con jsonrrpc da associare ai vari sensori di volta in volta definiti come attivi.In questo modo verrebbero registrate solo le informazioni ritenute maggiormente significative con potenziale risparmio di spazio su sd card. Il problema dei cicli di scrittura lettura delle sd card è reale così come quello dell'inserimento disinserimento a caldo della sd in quanto fat la registrazione si incasina facilmente e le possibilità di mantenimento dell'integrità di tutti i dati sono scarse ma credo ci sia poco da fare per questo.
Se non ci vediamo auguri di buona pasqua a tutti.
Emme
________________________________________ Da: Paolo Patruno [p.patruno@iperbole.bologna.it] Inviato: mercoledì 1 aprile 2015 15.44 A: meteo@liste.raspibo.org Oggetto: Re: [meteo] aggiunto salvataggio dati su SD card
Ho raffinato il meccanismo di salvataggio dei dati su SD; ora i file vengono frammentati a una dimensione frefissata per farne circa uno al giorno e numerati da 000 a 999; i dati salvati hanno una flag che indica se i dati sono stati già pubblicati correttamente su MQTT; i file che devono essere controllati per possibili reinvii hanno postfisso .que e quelli che hanno tutti i dati già inviati hanno postfisso .don
In questo modo si ottengono queste funzionalità: * salvataggio dati su SD almeno per due anni con campionamenti ogni 5s * reinvio automatico al server dei dati salvati ma non pubblicati correttamente sul server * ottimizzazione dei tempi in quanto solo i file che contengono dati da inviare vengono letti per selezionare i dati da reinviare * i dati possono essere riletti su un normale PC estraendo l'SD
Bisogna testare il tutto e vedere se funzia e trovare problemi; ad esempio il sync su SD ogni 5s potrebbe "bruciare" l'SD ...
Commenti ?
Paolo
Il giorno gio, 19/03/2015 alle 18.09 +0100, Paolo Patruno ha scritto:
Mentre stiamo lavorando al porting della board master su microduino visto che mi veniva comodo ho aggiunto al firmware il salvataggio dei dati su SD card ...
ho usato questo modulo: https://www.microduino.cc/wiki/index.php?title=Microduino-SD e una normale micro SD da 8G
ora i dati oltre a essere pubblicati sul broker vengono scritti sull'SD card in questa forma:
rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:19"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29221,"t":"2015-03-19T16:45:24"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:02:59"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:04"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:09"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:14"} rmap/pat1/1128564,4448498/rmap/254,0,0/105,200,-,-/B12101;{"v":29246,"t":"2015-03-19T17:03:19"}
quindi topic e payload separati da ";" e sono quindi pronti per essere ripubblicati su rmap.cc
I dati si possono leggere ovunque essendo la card formattata fat32
Paolo
Scusate mi era partita una mail vuota... Il giorno mer, 01/04/2015 alle 14.48 +0000, Mario Mazzullo ha scritto:
si potrebbe aggiungere un flag di stato e un metodo di controllo remoto della registrazione dati con jsonrrpc da associare ai vari sensori di volta in volta definiti come attivi.In questo modo verrebbero registrate solo le informazioni ritenute maggiormente significative con potenziale risparmio di spazio su sd card.
questo non lo vedo proprio come problema: pur non essendomi minimamente impegnato a comprimere i dati, anzi avendo incredibili sprechi di spazio su una SD da 8G ci dovrebbero stare circa 10 anni di campionamenti ogni 5s di un po' di sensori ...
Il problema dei cicli di scrittura lettura delle sd card è reale così come quello dell'inserimento disinserimento a caldo della sd in quanto fat la registrazione si incasina facilmente e le possibilità di mantenimento dell'integrità di tutti i dati sono scarse ma credo ci sia poco da fare per questo.
si può prevedere un ciclo di flush meno frequente di quello di scrittura ... tipo uno al minuto; per quanto riguarda l'inserimento dell'SD a caldo invece proprio nulla da fare in quanto non è la fat che si incasina ma l'SPI e se ne esce solo con un reset ...
Se non ci vediamo auguri di buona pasqua a tutti.
Emme
Paolo, la mia stazione ha qualche problema con la sd card, guarda i grafici http://graphite.rmapv.rmap.cc/dashboard/dancast78_garage#dancast78_garage Il primo giorno si era fermata ed ho pensato ad un problema con la microsd che non era nuova e ho dato la colpa a quella. Ieri sera ho montato una sd praticamente nuova da 16 giga. Ha funzionato tutto in un primo momento poi anche stanotte si e' fermata. Ora non ho smontato la sd per vedere se e' ok perche' stamattina prima di venire al lavoro non ho fatto in tempo pero' mi vengono un po' di dubbi ho formattato con mkfs.vfat -I /dev/sdd come mi suggeriva il comando ho usato il parametro -I -I It is typical for fixed disk devices to be partitioned so, by default, you are not permitted to create a filesystem across the entire device. mkfs.fat will complain and tell you that it refuses to work. This is different when using MO disks. One doesn't always need partitions on MO disks. The filesystem can go directly to the whole disk. Under other OSes this is known as the 'superfloppy' format. This switch will force mkfs.fat to work properly. un po' di dubbi: - il comando mkfs e' corretto? - perche' va qualche ora poi smette da quanto scrivevi nelle mail precedenti lo scambio file avviene in base alla dimensione non in base all'orario, giusto? (questo pare confermato anche da quello che ho visto su seriale questa mattina riferito ad un file con estensione .000) - sulla SD dovrei trovare i dati in formato topic e payload separati da ";"come avevi indicato giusto? Il giorno 1 aprile 2015 20:15, Paolo Patruno <p.patruno@iperbole.bologna.it> ha scritto:
Scusate mi era partita una mail vuota...
Il giorno mer, 01/04/2015 alle 14.48 +0000, Mario Mazzullo ha scritto:
si potrebbe aggiungere un flag di stato e un metodo di controllo remoto della registrazione dati con jsonrrpc da associare ai vari sensori di volta in volta definiti come attivi.In questo modo verrebbero registrate solo le informazioni ritenute maggiormente significative con potenziale risparmio di spazio su sd card.
questo non lo vedo proprio come problema: pur non essendomi minimamente impegnato a comprimere i dati, anzi avendo incredibili sprechi di spazio su una SD da 8G ci dovrebbero stare circa 10 anni di campionamenti ogni 5s di un po' di sensori ...
Il problema dei cicli di scrittura lettura delle sd card è reale così come quello dell'inserimento disinserimento a caldo della sd in quanto fat la registrazione si incasina facilmente e le possibilità di mantenimento dell'integrità di tutti i dati sono scarse ma credo ci sia poco da fare per questo.
si può prevedere un ciclo di flush meno frequente di quello di scrittura ... tipo uno al minuto; per quanto riguarda l'inserimento dell'SD a caldo invece proprio nulla da fare in quanto non è la fat che si incasina ma l'SPI e se ne esce solo con un reset ...
Se non ci vediamo auguri di buona pasqua a tutti.
Emme
-- Saluti * Daniele *
rifarmattato con questo comando *mkfs.vfat -F 32 -s 64 -S 512 /dev/sdb1* *vediamo come va* Il giorno 14 ottobre 2016 12:50, dcast78@gmail.com <dcast78@gmail.com> ha scritto:
Paolo, la mia stazione ha qualche problema con la sd card, guarda i grafici
http://graphite.rmapv.rmap.cc/dashboard/dancast78_garage#dancast78_garage
Il primo giorno si era fermata ed ho pensato ad un problema con la microsd che non era nuova e ho dato la colpa a quella. Ieri sera ho montato una sd praticamente nuova da 16 giga. Ha funzionato tutto in un primo momento poi anche stanotte si e' fermata. Ora non ho smontato la sd per vedere se e' ok perche' stamattina prima di venire al lavoro non ho fatto in tempo pero' mi vengono un po' di dubbi
ho formattato con
mkfs.vfat -I /dev/sdd
come mi suggeriva il comando ho usato il parametro -I
-I It is typical for fixed disk devices to be partitioned so, by default, you are not permitted to create a filesystem across the entire device. mkfs.fat will complain and tell you that it refuses to work. This is different when using MO disks. One doesn't always need partitions on MO disks. The filesystem can go directly to the whole disk. Under other OSes this is known as the 'superfloppy' format. This switch will force mkfs.fat to work properly.
un po' di dubbi: - il comando mkfs e' corretto? - perche' va qualche ora poi smette da quanto scrivevi nelle mail precedenti lo scambio file avviene in base alla dimensione non in base all'orario, giusto? (questo pare confermato anche da quello che ho visto su seriale questa mattina riferito ad un file con estensione .000) - sulla SD dovrei trovare i dati in formato topic e payload separati da ";"come avevi indicato giusto?
Il giorno 1 aprile 2015 20:15, Paolo Patruno < p.patruno@iperbole.bologna.it> ha scritto:
Scusate mi era partita una mail vuota...
Il giorno mer, 01/04/2015 alle 14.48 +0000, Mario Mazzullo ha scritto:
si potrebbe aggiungere un flag di stato e un metodo di controllo remoto della registrazione dati con jsonrrpc da associare ai vari sensori di volta in volta definiti come attivi.In questo modo verrebbero registrate solo le informazioni ritenute maggiormente significative con potenziale risparmio di spazio su sd card.
questo non lo vedo proprio come problema: pur non essendomi minimamente impegnato a comprimere i dati, anzi avendo incredibili sprechi di spazio su una SD da 8G ci dovrebbero stare circa 10 anni di campionamenti ogni 5s di un po' di sensori ...
Il problema dei cicli di scrittura lettura delle sd card è reale così come quello dell'inserimento disinserimento a caldo della sd in quanto fat la registrazione si incasina facilmente e le possibilità di mantenimento dell'integrità di tutti i dati sono scarse ma credo ci sia poco da fare per questo.
si può prevedere un ciclo di flush meno frequente di quello di scrittura ... tipo uno al minuto; per quanto riguarda l'inserimento dell'SD a caldo invece proprio nulla da fare in quanto non è la fat che si incasina ma l'SPI e se ne esce solo con un reset ...
Se non ci vediamo auguri di buona pasqua a tutti.
Emme
--
Saluti
* Daniele *
-- Saluti * Daniele *
participants (3)
-
dcast78＠gmail.com -
Mario Mazzullo -
Paolo Patruno