abcd : Anybody Can Draw

Dalla pagina del progetto di spade:

Proponiamo la normalizzazione spazio-adattiva, uno strato semplice ma efficace per sintetizzare immagini fotorealistiche dato un layout semantico di input. I metodi precedenti alimentano direttamente il layout semantico come input per la rete, che viene quindi elaborato attraverso pile di strati di convoluzione, normalizzazione e non linearità. Mostriamo che questo non è ottimale perché gli strati di normalizzazione tendono a spazzare via le informazioni semantiche. Per risolvere il problema, proponiamo di utilizzare il layout di input per modulare le attivazioni nei livelli di normalizzazione attraverso una trasformazione appresa spazialmente adattiva. Gli esperimenti su diversi dataset impegnativi dimostrano il vantaggio del metodo proposto rispetto agli approcci esistenti, sia per quanto riguarda la fedeltà visiva che l'allineamento con i layout di input. Infine, il nostro modello consente agli utenti di controllare facilmente lo stile e il contenuto dei risultati di sintesi, nonché di creare risultati multimodali.