Come costruire una rete neurale in questa struttura？con i diversi nodi si connette a un diverso numero di nodi nel livello successivo

Question 1

So solo come utilizzare il built-in di rete come RNN di LSTM in PyTorch. Ma essi tendono a trattare con ogni nodo del livello precedente che darà informazioni su tutti i nodi del livello successivo.

Voglio fare qualcosa di diverso, ma non so come scrivere il codice manualmente. Come in questa figura: il nodo a mappe a tutti [d, e, f] tre nodi di livello 2, mentre il nodo b maps per [e,f] e il nodo c solo mappe per [f]. Come risultato, il nodo d conterrà solo le informazioni da una, mentre e conterrà informazioni da [a, b]. E f conterrà informazioni da tutti i nodi del livello precedente. Qualcuno sa come codice di questa struttura? PLS datemi qualche idea sarò molto grato :D

Struttura

Question 2

Quando si dispone di un livello che sembra Completamente Collegato strato ma con connettività personalizzata, utilizzare una maschera con la struttura adeguata.

Diciamo x = [a, b, c] è il 3-dim ingresso e W denota la matrice di connettività.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

quindi W[i][j] i punti di collegamento del peso tra jth ingresso e iesimo neurone di output. Per creare la struttura simile al tuo giocattolo esempio, vorremmo fare una maschera come questa

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Poi si può semplicemente mascherare l' W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ è la moltiplicazione di matrici e * è puntuale moltiplicazione.

ayandas · Answer 1 · 2021-11-21T18:17:35

Quando si dispone di un livello che sembra Completamente Collegato strato ma con connettività personalizzata, utilizzare una maschera con la struttura adeguata.

Diciamo x = [a, b, c] è il 3-dim ingresso e W denota la matrice di connettività.

>> x
tensor([[0.1825],
        [0.9598],
        [0.2871]])
>> W
tensor([[0.7459, 0.4669, 0.9687],
        [0.9016, 0.4690, 0.0471],
        [0.5926, 0.9700, 0.5222]])

quindi W[i][j] i punti di collegamento del peso tra jth ingresso e iesimo neurone di output. Per creare la struttura simile al tuo giocattolo esempio, vorremmo fare una maschera come questa

>> mask
tensor([[1., 0., 0.],
        [1., 1., 0.],
        [1., 1., 1.]])

Poi si può semplicemente mascherare l' W

>> (mask * W) @ x
tensor([[0.1361],
        [0.6147],
        [1.1892]])

Nota: @ è la moltiplicazione di matrici e * è puntuale moltiplicazione.

Quindi, se il mio ingresso dim 3, uscita dim è 3. La mia struttura di rete neurale sarà come {input 3 dim, LSTM_layer(3, 64), Completamente connected_layer(64, 3), * triangolare inferiore della maschera di matrice(3, 3), uscita dim 3}. Sarà che lavoro come il mio connettività personalizzata, per rendere gli ultimi tre nodi ottenere differerent informazioni? O devo mettere la maschera matrix tra il livello di input(3,1) e LSTM strato(3,64)
È il vostro input sequenziale (avete LSTM tra) ? La figura mostra solo Completamente collegato livelli. La soluzione che ho fornito non è solo per mascherare la FC livello.
Mi dispiace di avere fatto la figura semplice. Il mio ingresso è tempo di serie di valori(valori, hour_index, week_index) e voglio utilizzare un LSTM strato di estrarre alcune informazioni tra input(3 dim) e di uscita(3 dim). Quindi, se io uso una maschera dopo LSTM livello, l'uscita di tre nodi: l'd nodo contiene solo informazioni di settimana, e nodo contiene settimana e ora f nodo contiene i valori, ora, settimana informazioni?

Come costruire una rete neurale in questa struttura？con i diversi nodi si connette a un diverso numero di nodi nel livello successivo

Domanda

Migliore risposta

In altre lingue

Questa pagina è in altre lingue

Popolare in questa categoria

Domande popolari in questa categoria