Sto cercando di analizzare alcuni siti che usano bot algoritmi di rilevamento. Io uso seguenti Opzioni di Chrome
chrome_options = Options()
chrome_options.add_argument("start-maximized")
chrome_options.add_experimental_option("detach", True)
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
chrome_options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--disable-blink-features")
chrome_options.add_argument('--start-maximized')
chrome_options.add_argument('window-size=1920,1080')
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)
driver.get(url)
Ho anche patchato chromedriver.exe rimuovere cdc_ modello.
Quando la finestra del browser si avvia e va al sito, sito rilevare come bot e impedire il caricamento di contenuti. Ma quando il browser va a staccare e la modalità manuale premere il pulsante "Aggiorna", i contenuti del sito viene caricato correttamente. La simulazione di premere il tasto "f5" anche non funzionano, il sito è ancora contenuto del blocco di carico.