Presentazione di Rump: sincronizzazione a caldo di due database Redis tramite dump 

Siamo entusiasti di annunciare il nostro primo progetto open source: [Rump](https://github.com/stickermule/rump)!

Rump è un piccolo strumento che si concentra su un unico obiettivo: raccogliere dati in tempo reale da un cluster Redis AWS ElastiCache.

Abbiamo affrontato questo problema quando abbiamo cercato di sincronizzare i container Redis di staging con il cluster di produzione. In Sticker Mule utilizziamo moltissimo Docker e CoreOS, facendo affidamento su un cluster ElastiCache per le nostre esigenze Redis in produzione.

Di recente avevamo deciso di rendere l'ambiente di staging quanto più prossimo possibile all'ambiente di produzione e Redis ne è un aspetto. Ecco il percorso che alla fine ci ha portati a Rump.

## Evitare blocchi

Avevamo un unico, semplice requisito: non bloccare la produzione durante il recupero dei dati. Il fatto che Redis funzioni a thread singolo è un aspetto importante da tenere in considerazione.

Siamo rimasti sorpresi nello scoprire che [ElastiCache viene fornito con alcuni comandi disabilitati](http://docs.aws.amazon.com/AmazonElastiCache/latest/UserGuide/ClientConfig.RestrictedCommands.html). Essenzialmente, si tratta di tutti i comandi che puoi utilizzare per il trasferimento sicuro dei dati.

![Sincronizzazione Redis Rump](https://storage.googleapis.com/sm-content/blog/b1b52716565b7122991bd66715fd2d16c65161d6)

### BGSAVE

Il metodo standard per attivare manualmente un backup di un database Redis è immettere il comando "BGSAVE" e attendere il completamento in background, un'operazione che non provoca blocchi. Purtroppo questa funzionalità è disabilitata, a meno che non si scelga di adottare l'implementazione interna della funzionalità di snapshot di AWS.

### SLAVEOF

L'impostazione di slave è un'altra opzione interessante di Redis e per noi sarebbe stata la scelta ideale.

Il piano era impostare temporaneamente i container di staging Redis come slave del nostro cluster di produzione e ottenere così i dati in tempo reale. Purtroppo, anche lo strumento "SLAVEOF" è disabilitato e non c'è modo di aggiungere slave a un'istanza ElastiCache.

### Strumenti esistenti

Esistono molti eccellenti strumenti per Redis che tentano di semplificare l'amministrazione dei server Redis, il dump su JSON, ecc.

Il problema è che gli strumenti più stabili e meglio gestiti utilizzano il comando "KEYS" per recuperare le chiavi per poi operare su tali chiavi. Il comando "KEYS" ha una complessità O(N) che blocca in modo serio Redis quando N è alto, fino a che non vengono restituite tutte le chiavi. I container di staging vengono creati ed eliminati di frequente e abbiamo un buon numero di chiavi: non vogliamo sferrare un attacco DoS contro il nostro stesso server!

![rump-logo-600w](https://storage.googleapis.com/sm-content/blog/6054ad712c1d34e3d9b01881d6e3fdf9c6031bd9)

Era chiaro che avevamo bisogno di uno strumento semplice che eseguisse la sola sincronizzazione. Abbiamo cominciato a sperimentare con "SCAN" per recuperare le chiavi e "DUMP/RESTORE" per recuperare/impostare i valori.

"SCAN" è un comando O(1), sicuro da eseguire su un server di produzione per ottenere tutte le chiavi, e per questo motivo la sua implementazione deve essere diversa rispetto a "KEYS". "SCAN" restituisce un gruppo di chiavi attualmente presente nel DB e un cursore al gruppo successivo.

"DUMP/RESTORE" rende indipendente la lettura/scrittura dei valori rispetto al tipo di chiave.

Tenendo a mente tutto questo, ecco cosa offre Rump:

* Lettura progressiva delle chiavi senza provocare blocchi tramite "SCAN".
* Operazioni sui valori indipendenti da "TYPE" tramite "DUMP/RESTORE".
* Operazioni "SCAN" e "DUMP/RESTORE" in pipeline.
* Lettura dal server di origine e scrittura sul server di destinazione simultanee. Rump non archivia tutte le chiavi prima di scriverle sul server di destinazione.
* Unico file binario compatibile con più piattaforme, senza dipendenze.
* Ingombro minimo, [filosofia UNIX](https://it.wikipedia.org/wiki/Filosofia_di_Unix), esegue un'unica funzione con due flag.

Speriamo che lo strumento sarà utile a quanti sperimentano i nostri stessi problemi e un ringraziamento di cuore a [Redis](https://redis.io/) per il supporto di una tale varietà di comandi!

P.S. Se l'argomento ti interessa e sei alla ricerca di un'organizzazione in cui è un piacere lavorare per le persone di talento, [stiamo assumendo](https://www.stickermule.com/it/careers?ref=blog).

Rump è un piccolo strumento che si concentra su un unico obiettivo: raccogliere dati in tempo reale da un cluster Redis AWS ElastiCache. 

Post di Marco Lisci

Presentazione di Rump: sincronizzazione a caldo di due database Redis tramite dump