L'estimation petit temps de décalage entre les deux séries

C'est un problème intéressant. Voici une tentative de solution partielle à l'aide de transformées de fourier. Elle s'appuie sur les données modérément périodique. Je ne suis pas sûr si elle va travailler avec vos données (où les produits dérivés dans les points de terminaison ne semblent pas correspondre).

import numpy as np

X = np.linspace(0,2*np.pi,30)  #some X values

def yvals(x):
    return np.sin(x)+np.sin(2*x)+np.sin(3*x)

Y1 = yvals(X)
Y2 = yvals(X-0.1)  #shifted y values

#fourier transform both series
FT1 = np.fft.fft(Y1)
FT2 = np.fft.fft(Y2)

#You can show that analyically, a phase shift in the coefficients leads to a 
#multiplicative factor of `exp(-1.j * N * T_d)`

#can't take the 0'th element because that's a division by 0.  Analytically, 
#the division by 0 is OK by L'hopital's<sp?> rule, but computers don't know calculus :)
print np.log(FT2[1:]/FT1[1:])/(-1.j*np.arange(1,len(X)))

Une rapide inspection de la sortie imprimée montre que les fréquences les plus
puissance (N=1,N=2) donner des estimations raisonnables, N=3 est OK aussi, si vous regardez la
valeur absolue (np.absolue), même si je suis à une perte d'expliquer pourquoi ce serait.

Peut-être quelqu'un de plus en plus familiers avec les mathématiques peuvent le prendre à partir de là pour donner une meilleure réponse...

C'est un très intéressant problème. A l'origine, j'allais suggérer une corrélation croisée basée sur une solution similaire à user948652 de l'. Cependant, à partir de la description du problème, il y a deux problèmes avec cette solution:

1. La résolution des données est plus grand que le temps de déplacement, et de
2. Sur quelques jours, les valeurs prédites et les valeurs mesurées ont une très faible corrélation les uns aux autres

Comme un résultat de ces deux questions, je pense que l'application directement de la corrélation croisée solution est susceptible d'augmenter votre temps de décalage, en particulier sur les jours où le prédites et les valeurs mesurées ont une très faible corrélation les uns aux autres.

Dans mon commentaire ci-dessus, j'ai demandé si vous aviez tous les événements qui se produisent dans les deux séries, et vous avez dit que vous n'avez pas. Toutefois, en fonction de votre domaine, je pense que vous avez effectivement deux:

1. Lever du soleil
2. Coucher de soleil

Même si le reste du signal est mal corrélée, le lever et le coucher du soleil doit être un peu corrélés, car ils vont augmenter de façon monotone à partir de /diminution de la nuit le temps de référence. Alors, voici une solution possible, sur la base de ces deux événements, qui devrait à la fois de minimiser l'interpolation nécessaire, et de ne pas être dépendant sur la corrélation croisée des mal-signaux corrélés.

1. Trouver approximative de Lever/Coucher du soleil

Cela devrait être assez facile, il suffit de prendre le premier et le dernier points de données qui sont plus élevés que la nuit, le plat de ligne, d'étiquette et de ceux de l'approximatif, le lever et le coucher du soleil. Puis, je me concentrerais sur les données, ainsi que les points immédiatement sur chaque côté, c'est à dire:

width=1
sunrise_index = get_sunrise()
sunset_index = get_sunset()

# set the data to zero, except for the sunrise/sunset events.
bitmap = zeros(data.shape)
bitmap[sunrise_index - width : sunrise_index + width] = 1
bitmap[sunset_index - width : sunset_index + width] = 1
sunrise_sunset = data * bitmap 

Il y a plusieurs façons de mettre en œuvre get_sunrise() et get_sunset() selon le degré de rigueur dont vous avez besoin dans votre analyse. Je voudrais utiliser numpy.diff, seuil à une valeur spécifique, et de prendre le premier et le dernier points au-dessus de cette valeur. Vous pouvez aussi lire la nuit des données à partir d'un grand nombre de fichiers, calculer la moyenne & l'écart type, et les premier et dernier points de données qui dépassent, disons, 0.5 * st_dev de la nuit des données en temps. Vous pouvez également faire une sorte de cluster à base de modèle d'appariement, en particulier si les différentes classes de la journée (c'est à dire, ensoleillé vs en partie nuageux vs très nuageux) ont fortement stéréotypée lever du soleil/coucher du soleil événements.

2. Rééchantillonnage Des Données

Je ne pense pas qu'il y est de toute façon de résoudre ce problème sans interpolation. Je voudrais utiliser le ré-échantillonner les données à un taux d'échantillonnage supérieur à la maj. Si le décalage est à l'échelle de minutes, puis suréchantillonner à 1 minute ou 30 secondes.

num_samples = new_sample_rate * sunrise_sunset.shape[0]
sunrise_sunset = scipy.signal.resample(sunrise_sunset, num_samples)

Alternativement, on peut utiliser une spline cubique pour interpoler les données (voir ici).

3. Gaussien De Convolution

Puisqu'il y a quelques interpolation, alors nous ne savons pas quelle est la réelle lever et coucher du soleil ont été prédites. Donc, nous pouvons convolution du signal avec une gaussienne, de représenter cette incertitude.

gaussian_window = scipy.signal.gaussian(M, std)
sunrise_sunset_g = scipy.signal.convolve(sunrise_sunset, gaussian_window)

4. Corrélation Croisée

L'utilisation de la corrélation croisée de la méthode dans user948652 la réponse à obtenir le time shift.

Il y a beaucoup de questions sans réponse dans cette méthode qui exigerait l'examen et l'expérimentation avec les données de manière plus spécifique à ongles vers le bas, comme quelle est la meilleure méthode pour identifier le lever du soleil/coucher du soleil, quelle est la largeur de la fenêtre gaussienne devrait être, etc. Mais c'est la façon dont je commence à attaquer le problème.
Bonne chance!

J'ai utilisé avec succès (dans le canal awgn) appariés filtre approche, qui donne de l'énergie de pointe m[n] à l'indice n; puis le montage d'un 2ème degré polynôme f(n) pour m[n-1], m[n], m[n+1] et de trouver le minimum par définition de f'(n)==0.

La réponse n'est pas nécessairement absolument linéaire, surtout si l'autocorrélation du signal n'est pas s'évanouir à m[n-1], m[n+1].