ResourceExhaustedError: OOM quando l'assegnazione del tensore con forma[32,32,239,239] e di tipo float

Question 1

Sto cercando di ricreare la CNN immagine modello di riconoscimento da questa carta(modello 1) , utilizzando diverse immagini. Tuttavia, il montaggio del modello mi riporta un ResourceExhaustedError all'epoca del primo. La dimensione del lotto è già molto piccola, quindi immagino che il problema è con il mio modello di definizione, che ho copiato dalla carta. Qualche consiglio su cosa cambiare con il modello sarà apprezzato. Grazie!

#Load dataset
BATCH_SIZE = 32
IMG_SIZE = (244,244)
train_set = tf.keras.preprocessing.image_dataset_from_directory(
    main_dir, 
    shuffle = True,
    image_size = IMG_SIZE,
    batch_size = BATCH_SIZE)
val_set = tf.keras.preprocessing.image_dataset_from_directory(
    main_dir, 
    shuffle = True, 
    image_size = IMG_SIZE,
    batch_size = BATCH_SIZE)
class_names = train_set.class_names
print(class_names)

#Augment data by flipping image and random rotation
data_augmentation = tf.keras.Sequential([
    tf.keras.layers.experimental.preprocessing.RandomFlip('horizontal'),
    tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

#Model definition 
model = Sequential([
    data_augmentation,
    tf.keras.layers.experimental.preprocessing.Rescaling(1./255),
    Conv2D(filters=64,kernel_size=(4,4), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    AveragePooling2D(pool_size=(4,4)),

    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    Conv2D(filters=32,kernel_size=(3,3), activation='relu'),
    AveragePooling2D(pool_size=(2,2)),
    Flatten(),
    
    Dense(256, activation='relu'),
    Dense(256, activation='relu'),
    Dense(128, activation='relu'),
    Dense(128, activation='relu'),
    Dense(128, activation='tanh'),
    Dense(1, activation='softmax')

])

model.compile(optimizer='RMSprop',
              loss=keras.losses.CategoricalCrossentropy(from_logits=True),
              metrics=[keras.metrics.CategoricalAccuracy()])

history = model.fit(train_set,validation_data=val_set, epochs=150)

Errore dopo il montaggio del modello:

ResourceExhaustedError:  OOM when allocating tensor with shape[32,32,239,239] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
     [[node gradient_tape/sequential_1/average_pooling2d/AvgPoolGrad (defined at <ipython-input-10-ef749d320491>:1) ]]

nvidia-smi

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03    Driver Version: 460.91.03    CUDA Version: 11.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce 940MX       Off  | 00000000:01:00.0 Off |                  N/A |
| N/A   46C    P0    N/A /  N/A |   1938MiB /  2004MiB |      2%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A       959      G   /usr/lib/xorg/Xorg                 97MiB |
|    0   N/A  N/A      1270      G   /usr/bin/gnome-shell               25MiB |
|    0   N/A  N/A      4635      G   /usr/lib/firefox/firefox          212MiB |
|    0   N/A  N/A      5843      C   /usr/bin/python3                 1595MiB |
+-----------------------------------------------------------------------------+

Question 2

L'errore è causato dalla GPU, memoria insufficiente. Questo potrebbe essere perché 1) le operazioni di carico eccessivo di dati, all'epoca, anche per la GPU, o 2) se vi capita di avere abbastanza VRAM, un altro processo si riserva un po ' di memoria tra le epoche. Questo potrebbe accadere a causa tensorflow si riserva il 100% di VRAM in fase di runtime. È possibile limitare la quantità di VRAM riservati a solo ciò che è necessario.

import tensorflow as tf
for gpu in tf.config.list_physical_devices("GPU")
    tf.config.experimental.set_memory_growth(gpu, True)

Edit: Guardando la tua scheda grafica, sono abbastanza certo che non hai abbastanza VRAM per la vostra dimensione del lotto ingresso dimensioni (quindi il problema 1). Si dovrebbe abbassare la vostra dimensione di lotto.

Djinn · Answer 1 · 2021-11-23T17:57:42

L'errore è causato dalla GPU, memoria insufficiente. Questo potrebbe essere perché 1) le operazioni di carico eccessivo di dati, all'epoca, anche per la GPU, o 2) se vi capita di avere abbastanza VRAM, un altro processo si riserva un po ' di memoria tra le epoche. Questo potrebbe accadere a causa tensorflow si riserva il 100% di VRAM in fase di runtime. È possibile limitare la quantità di VRAM riservati a solo ciò che è necessario.

import tensorflow as tf
for gpu in tf.config.list_physical_devices("GPU")
    tf.config.experimental.set_memory_growth(gpu, True)

Edit: Guardando la tua scheda grafica, sono abbastanza certo che non hai abbastanza VRAM per la vostra dimensione del lotto ingresso dimensioni (quindi il problema 1). Si dovrebbe abbassare la vostra dimensione di lotto.

ResourceExhaustedError: OOM quando l'assegnazione del tensore con forma[32,32,239,239] e di tipo float

Domanda

Migliore risposta

In altre lingue

Questa pagina è in altre lingue

Popolare in questa categoria

Domande popolari in questa categoria