Impossible de télécharger les données de Yahoo Finance à l'aide de Quantmod dans R

Je suis en train de télécharger des données à partir de Yahoo à l'aide de ce code:

library(quantmod)
getSymbols("WOW", auto.assign=F)

Ce qui a fonctionné pour moi dans le passé, à chaque occasion, sauf que maintenant, 5 jours avant mon affectation du groupe est due.

Sauf que maintenant je reçois cette erreur:

Error in download.file(paste(yahoo.URL, "s=", Symbols.name, "&a=", from.m,  : cannot download all files
In addition: Warning message:
In download.file(paste(yahoo.URL, "s=", Symbols.name, "&a=", from.m,  :
  URL 'https://ichart.finance.yahoo.com/table.csv?
s=WOW&a=0&b=01&c=2007&d=4&e=17&f=2017&g=d&q=q&y=0&z=WOW&x=.csv': status was 
'502 Bad Gateway'

source d'informationauteur Daniel

  1. 11

    L'historique des prix csv URL semblent avoir changé

    Vieux
    https://chart.finance.yahoo.com/table.csv?s=AAPL&a=2&b=17&c=2017&d=3&e=17&f=2017&g=d&ignore=.csv

    Nouveau:
    https://query1.finance.yahoo.com/v7/finance/download/AAPL?period1=1492438581&period2=1495030581&interval=1d&events=history&crumb=XXXXXXX

    La nouvelle version ajoute une "miette", qui semble refléter les informations de cookie dans le navigateur de l'utilisateur. Il semble qu'ils sont intentionnellement blocage automatisé de téléchargements de l'historique des cours et forcer les requêtes de fournir de l'information afin de valider les cookies dans un navigateur web

  2. 9

    La solution est détaillée à https://github.com/joshuaulrich/quantmod/issues/157

    Essentiellement

    remotes::install_github("joshuaulrich/quantmod", ref="157_yahoo_502")
# or
devtools::install_github("joshuaulrich/quantmod", ref="157_yahoo_502")
  3. 3

    La Version 0.4-9 de quantmod résout ce problème, et est maintenant disponible sur CRAN.

  4. 2

    Je me suis toujours demandé pourquoi Yahoo était tellement agréable que de fournir des téléchargements de données et comment vissée je serais si ils ont arrêté d'en faire. Heureusement, l'aide est sur le chemin de courtoisie Joshua Ulrich.

    Superflu, comme cela maintenant, peut-être, j'ai codé un correctif qui montre une approche pour contourner le problème de téléchargement.

    library(xts)
getSymbols.yahoo.fix <- function (symbol, 
from       = "2007-01-01", 
to         = Sys.Date(), 
period     = c("daily","weekly","monthly"),
envir      = globalenv(),
crumb      = "YourCrumb",
DLdir      = "~/Downloads/") { #1
# build yahoo query
query1    <- paste("https://query1.finance.yahoo.com/v7/finance/download/",symbol,"?",sep="")
fromPosix <- as.numeric(as.POSIXlt(from))
toPosix   <- as.numeric(as.POSIXlt(to))
query2    <- paste("period1=", fromPosix, "&period2=", toPosix, sep = "")
interval  <- switch(period[1], daily = "1d", weekly = "1wk", monthly = "1mo")
query3    <- paste("&interval=", interval, "&events=history&crumb=", crumb, sep = "")
yahooURL  <- paste(query1, query2, query3, sep = "")
#' requires browser to be open
utils::browseURL("https://www.google.com")
#' run the query - downloads the security as a csv file
#' DLdir defaults to download directory in browser preferences
utils::browseURL(yahooURL)
#' wait 500 msec for download to complete - mileage may vary
Sys.sleep(time = 0.5)
yahooCSV  <- paste(DLdir, symbol, ".csv", sep = "")
yahooDF   <- utils::read.csv(yahooCSV, header = TRUE)
#' ------- 
#' if you get: Error in file(file, "rt") : cannot open the connection
#' it's because the csv file has not completed downloading
#' try increasing the time for Sys.sleep(time = x)
#' ------- 
#' delete the csv file
file.remove(yahooCSV)
# convert date as character to date format
yahooDF$Date <- as.Date(yahooDF$Date)
# convert to xts
yahoo.xts    <- xts(yahooDF[,-1],order.by=yahooDF$Date)
# assign the xts file to the specified environment
# default is globalenv()
assign(symbol, yahoo.xts, envir = as.environment(envir))
print(symbol)
} #1

    Il fonctionne comme ceci:

    • Aller à https://finance.yahoo.com/quote/AAPL/history?p=AAPL
    • Clic droit sur "téléchargement des données" et copier le lien
    • Copie de la mie après "&mie=" et de l'utiliser dans l'appel de fonction
    • Ensemble DLdir le répertoire de téléchargement par défaut dans votre navigateur
      préférences
    • Ensemble envir = comme.de l'environnement("yourEnvir") - valeur par défaut globalenv()
    • Après le téléchargement, le fichier csv est supprimé de votre téléchargement
      répertoire pour éviter l'encombrement
    • Noter que cela laisse une "untitled" fenêtre ouverte dans le navigateur
    • Comme un simple test: getSymbols.yahoo.fix("AAPL")

      • -

    Vous pouvez également utiliser getSymbols.yahoo.fixer avec lapply pour obtenir une liste de données sur l'actif

    from       <- "2016-04-01"
to         <- Sys.Date()
period     <- "daily"
envir      <- globalenv()
crumb      <- "yourCrumb"
DLdir      <- "~/Downloads/"
assetList  <- c("AAPL", "ADBE", "AMAT")
lapply(assetList, getSymbols.yahoo.fix, from, to, envir = globalenv(), crumb = crumb, DLdir)}

    Codé dans RStudio sur Mac OS x 10.11 à l'aide de Safari comme navigateur par défaut. Il semble également fonctionner avec Chrome, mais vous aurez besoin d'utiliser les miettes de biscuits pour Chrome. J'utilise un cookie bloqueur, mais avait de la liste blanche finance.yahoo.com pour conserver le cookie pour les futures sessions du navigateur.

    getSymbols.yahoo.correctif pourrait être utile. qauantmod::getSymbols de nécessité, a plus de code construit dans pour les options et la gestion des exceptions. Je suis codant pour un travail personnel, j'ai donc enlever les morceaux de code que j'ai besoin de fonctions de package. Je n'ai pas comparé getSymbols.yahoo.correctif parce que, bien sûr, je n'ai pas une version de travail de GetSymbol à des fins de comparaison. D'ailleurs, je ne pouvais pas laisser passer l'occasion de participer à mon premier stackoverflow réponse.

  5. 1

    Je suis moi aussi de rencontrer cette erreur. Un utilisateur sur mrexcel fourm (jonathanwang003) explique que la nouvelle URL utilise Unix Timecoding pour les dates. La mise à jour du code VBA ressemblerait à quelque chose comme ceci:

    qurl = "https://query1.finance.yahoo.com/v7/finance/download/" & Symbol
qurl = qurl & "?period1=" & (StartDate - DateSerial(1970, 1, 1)) * 86400 & _
"&period2=" & (EndDate - DateSerial(1970, 1, 1)) * 86400 & _
"&interval=1d&events=history&crumb=" & **Crumb**
QueryQuote:
With Sheets(Symbol).QueryTables.Add(Connection:="URL;" & qurl, Destination:=Sheets(Symbol).Range("a1"))
.BackgroundQuery = True
.TablesOnlyFromHTML = False
.Refresh BackgroundQuery:=False
.SaveData = True
End With

    La pièce manquante ici est de savoir comment récupérer les "Miettes" champ qui contient les informations de cookie dans le navigateur. N'importe qui ont des idées. J'ai trouvé ce post, ce qui peut aider: https://www.mrexcel.com/forum/excel-questions/1001259-when-using-querytables-what-posttext-syntax-click-button-webpage.html (voir dernier message par john_w).