fwrite
è un loop nel corso di molti .csv
file nella directory di lavoro, ma quando scrivo un .parquet
sovrascrive ogni volta.
Ho provato diversi approcci fondamentalmente sto cercando di usare il nome del file che ho per mantenere il .csv
il nome del file, come mostrato di seguito senza sovrascrivere.
rm(list = ls())
gc()
# Set up environment #
require("data.table")
require("arrow")
# Set directory to data, define files #
setwd("E:/TransferComplete/07/")
files <- list.files(pattern = "csv")
for (i in files){ setwd("E:/TransferComplete/07/")
loopStart <- Sys.time()
bb <- fread(i,header = TRUE,sep = ",", data.table = FALSE, stringsAsFactors = FALSE,
select = c("x","y","z"))
gc()
write_parquet(bb,
'E:/P/i.parquet')
loopEnd <- Sys.time()
loopTime <- round(as.numeric(loopEnd) - as.numeric(loopStart), 0)
}