Est-il un numpy builtin à rejeter les valeurs aberrantes à partir d'une liste

Cette méthode est presque identique à la vôtre, un peu plus numpyst (également de travailler sur des tableaux numpy uniquement):

def reject_outliers(data, m=2):
    return data[abs(data - np.mean(data)) < m * np.std(data)]

Benjamin Bannier réponse donne un pass-through lors de la médiane des distances à partir de la médiane est de 0, donc j'ai trouvé cette version modifiée un peu plus utile pour les cas comme dans l'exemple ci-dessous.

def reject_outliers_2(data, m = 2.):
    d = np.abs(data - np.median(data))
    mdev = np.median(d)
    s = d/(mdev if mdev else 1.)
    return data[s<m]

Exemple:

data_points = np.array([10, 10, 10, 17, 10, 10])
print(reject_outliers(data_points))
print(reject_outliers_2(data_points))

Donne:

[[10, 10, 10, 17, 10, 10]]  # 17 is not filtered
[10, 10, 10, 10, 10]  # 17 is filtered (it's distance, 7, is greater than m)

Une alternative est de faire une estimation robuste de l'écart-type (en supposant que Gaussien statistiques). Recherche de calculatrices en ligne, je vois que le 90% percentile correspond à 1.2815 σ et l'ic à 95% est 1,645 à σ (http://vassarstats.net/tabs.html?#z)

Comme un simple exemple:

import numpy as np

# Create some random numbers
x = np.random.normal(5, 2, 1000)

# Calculate the statistics
print("Mean= ", np.mean(x))
print("Median= ", np.median(x))
print("Max/Min=", x.max(), " ", x.min())
print("StdDev=", np.std(x))
print("90th Percentile", np.percentile(x, 90))

# Add a few large points
x[10] += 1000
x[20] += 2000
x[30] += 1500

# Recalculate the statistics
print()
print("Mean= ", np.mean(x))
print("Median= ", np.median(x))
print("Max/Min=", x.max(), " ", x.min())
print("StdDev=", np.std(x))
print("90th Percentile", np.percentile(x, 90))

# Measure the percentile intervals and then estimate Standard Deviation of the distribution, both from median to the 90th percentile and from the 10th to 90th percentile
p90 = np.percentile(x, 90)
p10 = np.percentile(x, 10)
p50 = np.median(x)
# p50 to p90 is 1.2815 sigma
rSig = (p90-p50)/1.2815
print("Robust Sigma=", rSig)

rSig = (p90-p10)/(2*1.2815)
print("Robust Sigma=", rSig)

La sortie que je reçois est:

Mean=  4.99760520022
Median=  4.95395274981
Max/Min= 11.1226494654   -2.15388472011
Sigma= 1.976629928
90th Percentile 7.52065379649

Mean=  9.64760520022
Median=  4.95667658782
Max/Min= 2205.43861943   -2.15388472011
Sigma= 88.6263902244
90th Percentile 7.60646688694

Robust Sigma= 2.06772555531
Robust Sigma= 1.99878292462

Qui est proche de la valeur attendue de 2.

Si nous voulons supprimer les points au-dessus/en-dessous de 5 écarts-types (avec 1000 points, nous nous attendrions 1 valeur > 3 écarts-types):

y = x[abs(x - p50) < rSig*5]

# Print the statistics again
print("Mean= ", np.mean(y))
print("Median= ", np.median(y))
print("Max/Min=", y.max(), " ", y.min())
print("StdDev=", np.std(y))

Qui donne:

Mean=  4.99755359935
Median=  4.95213030447
Max/Min= 11.1226494654   -2.15388472011
StdDev= 1.97692712883

Je n'ai aucune idée de qui est l'approche la plus efficace/solide

Je voulais faire quelque chose de similaire, à l'exception de la fixation du nombre de NaN, plutôt que de le supprimer de données, car si vous l'enlevez, vous modifiez la longueur qui peut gâcher le traçage (par exemple, si vous êtes seulement enlever les valeurs aberrantes d'une colonne dans une table, mais vous avez besoin qu'il reste le même que les autres colonnes de sorte que vous pouvez tracer les uns contre les autres).

Pour ce faire j'ai utilisé numpy est le masquage des fonctions:

def reject_outliers(data, m=2):
    stdev = np.std(data)
    mean = np.mean(data)
    maskMin = mean - stdev * m
    maskMax = mean + stdev * m
    mask = np.ma.masked_outside(data, maskMin, maskMax)
    print('Masking values outside of {} and {}'.format(maskMin, maskMax))
    return mask