Sto lavorando su un problema di classificazione con un dataset di immagini, avendo 11 classi. Contiene un totale di 11.000 immagini, e ogni classe ha 1000 immagini memorizzate nella cartella-saggio (11 cartelle). Il set di dati è di circa 40MB. Dopo che ho caricato i dati da google drive in collab( che in realtà vuole un po di tempo) e pre-processo prima di nutrire il modello, la memoria di collab diventa piena al 95% istantaneamente. Quando avvio la formazione, collab si blocca, e il runtime di reset. Questo non accade quando uso Keras di flusso di dati-da-directory funzione. Io non sono riuscito a trovare una soluzione. Screenshot
0
Questo accade perché chiamando in forma con il treno e la convalida di set di dati che si stanno costringendo colab per caricare tutte le immagini sulla ram stessa questo, è necessario scrivere un generatore, una soluzione facile con la maggior parte del codice già scritto è quello di utilizzare il tfrecords, keras gestirà il resto.
https://www.tensorflow.org/tutorials/load_data/tfrecord
è necessario salvare le immagini sul disco e li durante la formazione, non tutti all'inizio.
non dovete utilizzare tfrecords, è possibile utilizzare qualsiasi generatore che ti piace, ma che roba viene a destra fuori il pipistrello
BestDogeStackoverflow
Beh, io sto usando Keras Sintonizzatore qui, quindi non sono sicuro se il generatore può essere utilizzato con tuner-ricerca
SDS