Comment transposer/pivot de données dans la ruche?

Je sais il n'y a aucun moyen direct pour transposer des données dans la ruche. J'ai suivi cette question: Est-il possible de transposer des données dans la Ruche? , mais comme il n'y a pas de réponse définitive il y a, ne pouvait pas obtenir tout le chemin.

C'est le tableau que j'ai:

 | ID   |   Code   |  Proc1   |   Proc2 | 
 | 1    |    A     |   p      |   e     | 
 | 2    |    B     |   q      |   f     |
 | 3    |    B     |   p      |   f     |
 | 3    |    B     |   q      |   h     |
 | 3    |    B     |   r      |   j     |
 | 3    |    C     |   t      |   k     |

Ici Proc1 peut avoir un nombre quelconque de valeurs. ID, Code & Proc1, ensemble, forment une clé unique pour cette table. Je veux Pivot/transposition de la table afin que chaque valeur unique dans Proc1 devient une nouvelle colonne, et la valeur correspondante de Proc2 est la valeur dans la colonne concernée de la ligne correspondante. En essence, je vais essayer d'obtenir quelque chose comme:

 | ID   |   Code   |  p   |   q |  r  |   t |
 | 1    |    A     |   e  |     |     |     |
 | 2    |    B     |      |   f |     |     |
 | 3    |    B     |   f  |   h |  j  |     |
 | 3    |    C     |      |     |     |  k  |

Dans le nouveau transformé la table, l'ID et le code sont la seule clé primaire. Depuis le billet je l'ai mentionné ci-dessus, j'ai pu obtenir cette mesure à l'aide de la to_map udaf, nous. (Avertissement - ce ne peut être une étape dans la bonne direction, mais le simple fait de mentionner ici, si elle est)

 | ID   |   Code   |  Map_Aggregation   | 
 | 1    |    A     |   {p:e}            |
 | 2    |    B     |   {q:f}            |
 | 3    |    B     |   {p:f, q:h, r:j } |  
 | 3    |    C     |   {t:k}            |

Mais ne savez pas comment l'obtenir à partir de cette étape du pivot/transposée de la table que je veux.
Toute aide sur la façon de procéder sera grande!
Merci.

OriginalL'auteur Sunny | 2014-04-12

hadoop hive

Voici la démarche que j'ai utilisée pour résoudre ce problème à l'aide de la ruche interne de l'UDF, de "map":

select
    b.id,
    b.code,
    concat_ws('',b.p) as p,
    concat_ws('',b.q) as q,
    concat_ws('',b.r) as r,
    concat_ws('',b.t) as t
from 
    (
        select id, code,
        collect_list(a.group_map['p']) as p,
        collect_list(a.group_map['q']) as q,
        collect_list(a.group_map['r']) as r,
        collect_list(a.group_map['t']) as t
        from (
            select
              id,
              code,
              map(proc1,proc2) as group_map 
            from 
              test_sample
        ) a
        group by
            a.id,
            a.code
    ) b;

"concat_ws" et "map" sont ruche udf et "collect_list" est une ruche à l'udaf, nous.

pouvez-vous expliquer comment vous le feriez lorsque la valeur est de format numérique. J'ai vu votre blog, mais le code ne correspond pas à la table. hadoopmania.blogspot.com/2015/12/...
Cet exemple généraliser dans le cas où vous avez plus d'une colonne de pivot?

OriginalL'auteur Shakti Garg

5

Voici la solution que j'ai fini par utiliser:
```
add jar brickhouse-0.7.0-SNAPSHOT.jar;
CREATE TEMPORARY FUNCTION collect AS 'brickhouse.udf.collect.CollectUDAF';

select 
    id, 
    code,
    group_map['p'] as p,
    group_map['q'] as q,
    group_map['r'] as r,
    group_map['t'] as t
    from ( select
        id, code,
        collect(proc1,proc2) as group_map 
        from test_sample 
        group by id, code
    ) gm;
```
La to_map UDF a été utilisé à partir de la brickhouse repo: https://github.com/klout/brickhouse

Je ne vois pas to_map UDF dans brickhouse repo. Pourriez-vous nous en un peu plus de détails sur ce point ?
voici ce que j'étais en train de regarder github.com/klout/brickhouse/blob/master/src/main/resources/...
Vous pouvez utiliser le bouton "collect" udaf, nous - qui est similaire à to_map Le lien: github.com/klout/brickhouse/blob/master/src/main/java/... Vous devez remplacer "to_map" avec "recueillir" j'ai mis à jour la solution avec le même.
Salut! Je suis en train d'essayer quelque chose de similaire. Dans votre réponse, vous avez group_map['p'], etc., indiquant que les valeurs à l'avance. Comment avez-vous résolu de ne pas savoir ce que les valeurs dans Proc1? S'il vous plaît partager. Merci!

OriginalL'auteur Sunny

Encore une autre solution.

Pivot à l'aide de Hivemall to_map fonction.

SELECT
  uid,
  kv['c1'] AS c1,
  kv['c2'] AS c2,
  kv['c3'] AS c3
FROM (
  SELECT uid, to_map(key, value) kv
  FROM vtable
  GROUP BY uid
) t

uid c1 c2 c3 101 11 12 13 102 21 22 23

Unpivot

SELECT t1.uid, t2.key, t2.value
FROM htable t1
LATERAL VIEW explode (map(
  'c1', c1,
  'c2', c2,
  'c3', c3
)) t2 as key, value

uid key value 101 c1 11 101 c2 12 101 c3 13 102 c1 21 102 c2 22 102 c3 23

OriginalL'auteur myui

1

Je n'ai pas écrit ce code, mais je pense que vous pouvez utiliser certaines des fonctions définies par l'utilisateur fourni par klouts brickhouse: https://github.com/klout/brickhouse

Plus précisément, vous pourriez faire quelque chose comme l'utilisation de leurs recueillir comme indiqué ici: http://brickhouseconfessions.wordpress.com/2013/03/05/use-collect-to-avoid-the-self-join/

puis exploser les tableaux (ils seront de longueurs différentes), en utilisant les méthodes détaillées dans ce post http://brickhouseconfessions.wordpress.com/2013/03/07/exploding-multiple-arrays-at-the-same-time-with-numeric_ra

Merci pour la note. Je n'ai pas besoin de recueillir des udaf, nous, que c'est la même que la Carte d'Agrégation udaf, nous, je suis déjà de l'aide ici. Je pourrais faire la même chose en utilisant les noms de clé dans ma carte Agrégation de nouvelles colonnes, Le vrai problème c'est que je veux qu'il soit dynamique - ie - je ne sais pas combien de différents "Proc1" des valeurs que je pourrais, et je veux créer dynamiquement des colonnes de plus à chaque nouvelle "Proc1"

OriginalL'auteur user2726995

En cas de valeur numérique, vous pouvez utiliser en dessous de requête de la ruche:

Des données de l'échantillon

ID  cust_freq   Var1    Var2    frequency
220444  1   16443   87128   72.10140547
312554  6   984 7339    0.342452643
220444  3   6201    87128   9.258396518
220444  6   47779   87128   2.831972441
312554  1   6055    7339    82.15209213
312554  3   12868   7339    4.478333954
220444  2   6705    87128   15.80822558
312554  2   37432   7339    13.02712127

select id, sum(a.group_map[1]) as One, sum(a.group_map[2]) as Two, sum(a.group_map[3]) as Three, sum(a.group_map[6]) as Six from
( select id, 
 map(cust_freq,frequency) as group_map 
 from table
 ) a group by a.id having id in 
( '220444',
'312554');

ID  one two three   six
220444  72.10140547 15.80822558 9.258396518 2.831972441
312554  82.15209213 13.02712127 4.478333954 0.342452643

In above example I have't used any custom udf. It is only using in-built hive functions.
Note :For string value in key write the vale as sum(a.group_map['1']) as One.

OriginalL'auteur Suman

Pour Unpivot, nous pouvons simplement utiliser en dessous de la logique.

SELECT Cost.Code, Cost.Product, Cost.Size
Cost.State_code, Cost.Promo_date, Cost.Cost, Sales.Price
FROM
(Select Code, Product, Size, State_code, Promo_date, Price as Cost
FROM Product
Where Description = 'Cost') Cost
JOIN
(Select Code, Product, Size, State_code, Promo_date, Price as Price
FROM Product
Where Description = 'Sales') Sales
on (Cost.Code = Sales.Code
and Cost.Promo_date = Sales.Promo_date);

OriginalL'auteur Anjib Rajkhowa

Ci-dessous est aussi une façon de Pivot

SELECT TM1_Code, Product, Size, State_code, Description
  , Promo_date
  , Price
FROM (
SELECT TM1_Code, Product, Size, State_code, Description
   , MAP('FY2018Jan', FY2018Jan, 'FY2018Feb', FY2018Feb, 'FY2018Mar', FY2018Mar, 'FY2018Apr', FY2018Apr
        ,'FY2018May', FY2018May, 'FY2018Jun', FY2018Jun, 'FY2018Jul', FY2018Jul, 'FY2018Aug', FY2018Aug
        ,'FY2018Sep', FY2018Sep, 'FY2018Oct', FY2018Oct, 'FY2018Nov', FY2018Nov, 'FY2018Dec', FY2018Dec) AS tmp_column
FROM CS_ME_Spirits_30012018) TmpTbl
LATERAL VIEW EXPLODE(tmp_column) exptbl AS Promo_date, Price;

Il serait utile, si vous pouvez expliquer votre réponse.

OriginalL'auteur Anjib Rajkhowa

Vous pouvez cas d'utilisation des déclarations et de l'aide de collect_set pour atteindre cet objectif. Vous pouvez vérifier cela. Vous pouvez vérifier les détails de répondre à http://www.analyticshut.com/big-data/hive/pivot-rows-to-columns-in-hive/

Voici la requête aux fins de référence,

SELECT resource_id,
CASE WHEN COLLECT_SET(quarter_1)[0] IS NULL THEN 0 ELSE COLLECT_SET(quarter_1)[0] END AS quarter_1_spends,
CASE WHEN COLLECT_SET(quarter_2)[0] IS NULL THEN 0 ELSE COLLECT_SET(quarter_2)[0] END AS quarter_2_spends,
CASE WHEN COLLECT_SET(quarter_3)[0] IS NULL THEN 0 ELSE COLLECT_SET(quarter_3)[0] END AS quarter_3_spends,
CASE WHEN COLLECT_SET(quarter_4)[0] IS NULL THEN 0 ELSE COLLECT_SET(quarter_4)[0] END AS quarter_4_spends
FROM (
SELECT resource_id,
CASE WHEN quarter='Q1' THEN amount END AS quarter_1,
CASE WHEN quarter='Q2' THEN amount END AS quarter_2,
CASE WHEN quarter='Q3' THEN amount END AS quarter_3,
CASE WHEN quarter='Q4' THEN amount END AS quarter_4
FROM billing_info)tbl1
GROUP BY resource_id;

OriginalL'auteur Mahesh Mogal

Vous devez vous connecter pour publier un commentaire.