Fusion d'erreur : longueur négative vecteurs ne sont pas autorisés

J'ai essayé de fusionner les deux de données.les cadres, et ils sont comme ci-dessous:

   GVKEY YEAR coperol     delta     vega firm_related_wealth
1 001045 1992       1  38.88885 17.86943            2998.816
2 001045 1993       1  33.57905 19.19287            2286.418
3 001045 1994       1  48.54719 16.85830            3924.053
4 001045 1995       1 111.46762 38.71565            8550.903
5 001045 1996       1 218.89279 45.59413           17834.921
6 001045 1997       1 415.61461 51.45863           34279.515

ET

   GVKEY YEAR fracdirafter fracdirafterindep twfracdirafter
1 001004 1996         1.00              0.70    1.000000000
2 001004 1997         0.00              0.00    0.000000000
3 001004 1998         0.00              0.00    0.000000000
4 001004 1999         0.00              0.00    0.000000000
5 001004 2000         0.00              0.00    0.000000000
6 001004 2001         0.25              0.25    0.009645437

Ils ont tous deux de 1 048 575 lignes. Mon code est merge(a,b,by=c("GVKEY","YEAR")), je continue de recevoir des message d'erreur "negative length vectors are not allowed". J'ai aussi essayé les données.table façon, mais j'ai reçu un message d'erreur indiquant que mes résultats dépassant 2^31 lignes. Apparemment, la fusion de données ne sera pas si grande, si je ne suis pas sûr de la façon de résoudre ce problème.

InformationsquelleAutor Bobo | 2017-02-27
  1. 7

    Vous obtenez cette erreur, parce que le data.frame /data.table créé par la jointure a plus de 2^31 - 1 lignes (de 2 147 483 647).

    En raison de la façon dont les vecteurs sont construits en interne par R, la longueur maximale de chaque vecteur est 2^31 - 1 éléments (voir: https://stackoverflow.com/a/5234293/2341679). Depuis un data.frame /data.table est vraiment un list() de vecteurs, cette limite s'applique également au nombre de lignes.

    Que d'autres gens ont commenté et a répondu, malheureusement, vous ne serez pas en mesure de construire cette data.table, et ses il est probable que de nombreuses lignes en raison de dupliquer les correspondances entre vos deux data.tables (qui peut ou peut ne pas être intentionnelle de votre part).

    La bonne nouvelle est que, si les doublons matchs sont pas erreurs, et vous souhaitez effectuer la jointure, il y a un moyen de contourner cela: vous avez juste besoin de faire ce calcul que tu voulais faire sur la data.table dans le même appel que la jointure à l'aide de la data.table[] opérateur, e.g.:

    dt_left[dt_right, on = .(GVKEY, YEAR), 
        j = .(sum(firm_related_wealth), mean(fracdirafterindep),
        by = .EACHI]

    Si vous n'êtes pas familier avec le data.table syntaxe, vous pouvez effectuer des calculs sur des colonnes à l'intérieur d'un data.table comme indiqué ci-dessus à l'aide de la j argument. Lors de l'exécution d'une jointure à l'aide de cette syntaxe, le calcul en j est effectuée sur la data.table créé par la jointure.

    La clé ici est la by = .EACHI argument. Cela rompt la jointure et la suite du calcul dans j) en petits éléments: l'un data.table pour chaque ligne de dt_right et ses matches dans dt_left, en évitant le problème de la création d'un data.table avec > 2^31 - 1 lignes.

    InformationsquelleAutor Scott Ritchie
  2. 0

    Je ne suis pas sûr de savoir comment merge est mis en œuvre, mais il semble y avoir une grande différence lorsque vous essayez de fusionner en une seule colonne ou par deux, comme vous pouvez le voir dans la simulation suivante:

    > df1<-data.frame(a=1:200000,b=2*(1:200000),c=3*(1:200000))
> df2<-data.frame(a=-df1$a,b=-df1$b,d=4*(1:200000))
> ss<-sample(200000,10000)
> df2[ss,1:2]<-df1[ss,1:2]
> system.time(df3<-merge(x=df1,y=df2,by=c('a','b')))
user  system elapsed 
1.25    0.00    1.25
> system.time(df4<-merge(x=df1,y=df2,by='a'))
user  system elapsed 
0.06    0.00    0.06

    À la recherche à la mémoire du système les deux colonnes de fusion utilisé beaucoup plus de mémoire. Il y a probablement un produit cartésien, quelque part, et je suppose que c'est ce qui est la cause de votre erreur.

    Ce que vous pourriez faire est de créer une nouvelle colonne de la concaténation de GVKEY et l'ANNÉE pour chacune des données.cadre et de fusion en fonction de cette colonne.

    a$newKey<-paste(a$GVKEY,a$YEAR,sep='_')
b$newKey<-paste(b$GVKEY,b$YEAR,sep='_')
c<-merge(a,b,by='newKey')

    Vous devez nettoyer les colonnes dans le résultat, depuis GVKEY et l'ANNÉE permettrait à la fois de comparaître deux fois, mais au moins, la fusion devrait fonctionner.

    InformationsquelleAutor Assaf Wool
  3. 0

    J'ai eu le même problème lors de l'exécution d'une tâche dans la r semblables recherchev présents dans MS Excel. Cette erreur est là parce que votre clé de colonne n'est pas assez bon pour mapper les données d'une table vers une autre table. Mieux de supprimer les zéros ou de faire une colonne unique, comme expliqué par @Assaf Laine. J'espère que ça aidera!

    InformationsquelleAutor Mayur Mane