La suppression d'une gamme de partitions dans la RUCHE

J'ai une Ruche (version 0.11.0) table partitionnée en colonne de la date, de type string. Je veux savoir si il existe un chemin dans la Ruche en qui je peux supprimer des partitions pour une plage de dates (disons à partir de 'date1' à 'date2'). J'ai essayé le suivant (de type SQL) les requêtes, mais ils ne semblent pas être syntaxiquement correct:

ALTER TABLE myTable DROP IF EXISTS PARTITION
(date>='date1' and date<='date2');

ALTER TABLE myTable DROP IF EXISTS PARTITION
(date>='date1' && date<='date2');

ALTER TABLE myTable DROP IF EXISTS PARTITION
(date between 'date1' and 'date2');

OriginalL'auteur Rajeev Atmakuri | 2015-10-16

hive hql

1

Je ne pense pas qu'il existe une solution valable à ce jour. J'ai mis en place une solution de contournement pour ce problème à l'aide de certains scripts shell, comme par exemple:
```
for y in {2011..2014} 
do 
  for m in {01..12}
  do 
    echo -n "ALTER TABLE reporting.frontend DROP IF EXISTS PARTITION (year=0000,month=00,day=00,hour=00)" 
    for d in {01..31}
    do 
      for h in {01..23}
      do 
        echo -n ", PARTITION (year=$y,month=$m,day=$d,hour=$h)" 
      done
    done
    echo ";"
  done
done > drop_partitions_v1.hql
```
La résultante .hql fichier peut être tout simplement exécutés à l'aide de la ruche (ou beeline) -f option.

Évidemment les boucles devraient être en mesure de générer de la plage que vous souhaitez déplacer, ce qui peut être non négligeable. Dans le pire des cas, vous aurez besoin d'utiliser plusieurs de ces scripts shell afin de déposer la plage de dates.

De plus, veuillez noter que dans mon cas les partitions avait quatre clés (année, mois, jour, heure). Si vos dates/partitions sont codées comme des chaînes de caractères (pas une bonne idée à mon avis), vous aurez à 'construire' votre cible chaîne des variables y, m, d et h dans le script shell, et le tracé de la chaîne à l'intérieur de la commande echo. Par ailleurs, le mannequin de la partition (ne contenant que des 0) est juste là pour écrire facilement au moyen de 3 à 4 boucles) de l'ensemble de l 'ALTER TABLE' commande', qui a une syntaxe spéciale.

J'avais utilisé une méthode similaire pour mon cas d'utilisation, ainsi que par avoir un script (shell/python/perl etc) prendre soin de la gamme et en laissant tomber les partitions une par une à l'aide de la ruche de la cli. Va faire ce que la réponse.

OriginalL'auteur Vicente Reyes-Puerta

J'ai essayé cette syntaxe, il a travaillé.

ALTER TABLE mytable DROP PARTITION (dates>'2018-04-14',dates<'2018-04-16');

De sortie de la commande:

    Dropped the partition dates=2018-04-15/country_id=107
    Dropped the partition dates=2018-04-15/country_id=110
    Dropped the partition dates=2018-04-15/country_id=112
    Dropped the partition dates=2018-04-15/country_id=14
    Dropped the partition dates=2018-04-15/country_id=157
    Dropped the partition dates=2018-04-15/country_id=159
    Dropped the partition dates=2018-04-15/country_id=177
    Dropped the partition dates=2018-04-15/country_id=208
    Dropped the partition dates=2018-04-15/country_id=22
    Dropped the partition dates=2018-04-15/country_id=233
    Dropped the partition dates=2018-04-15/country_id=234
    Dropped the partition dates=2018-04-15/country_id=76
    Dropped the partition dates=2018-04-15/country_id=83
    OK
    Time taken: 0.706 seconds

Je suis aide, la Ruche 1.2.1000.2.5.5.0-157

I pense cela va tout laisser tomber sur la table? Plus grand que 201-04-14 OU plus petit que 2018-04-16...
C'est ET pas OU. Exemple: les dates>'2018-04-14' et les dates<'2018-04-16'

OriginalL'auteur Kharthigeyan

1

Solution: alter table myTable drop partition (unix_timestamp('date1','yyyy-MM-dd')>unix_timestamp(myDate,‌'yyyy-MM-dd'),unix_t‌imestamp('date2','yy‌yy-MM-dd')<unix_time‌stamp(myDate,'yyyy-M‌M-dd'));

Ce qui est ici date1, date2 et myDate. Dites que vous voulez supprimer entre 2018-11-01 et 2019-02-12?
Alter table mytable baisse de la partition (madate > '2018-11-01' , madate < '2019-02-12')

OriginalL'auteur HakkiBuyukcengiz

Vous devez vous connecter pour publier un commentaire.