wget pour récupérer Facebook profil/ami pages
Je suis en train de chercher de l'facebook une page de profil utilisateur à l'aide de "wget" mais reçois un non-profil de la page appelée "browser.php" qui n'a rien à voir avec cet utilisateur particulier. Le profil de l'URL de la page que je vois dans le navigateur arrive à être au format suivant:
http://www.facebook.com/user-name
et c'est ce que j'ai été en utilisant comme argument à la commande wget:
wget http://www.facebook.com/user-name
Je m'intéresse également à l'aide de wget pour récupérer un utilisateur de la liste d'amis, mais même cela me donne le même inutile de résultat ("browser.php"):
wget http://www.facebook.com/user-name?sk=friends&v=amis
Quelqu'un pourrait-il bien vouloir me conseiller ce que je fais mal? En d'autres termes, je suis en manque quelques options de la clé de commande wget ou ne wget correspondent pas à un tel scénario?
Toute aide sera grandement appréciée.
Pour ajouter du contexte à cette requête, j'ai besoin de comprendre comment faire pour récupérer ces pages de Facebook à l'aide de wget comme il serait alors m'aider à écrire un script/programme pour rechercher des amis " profil de l'Url à partir du code source HTML et ensuite de consulter les autres mots-clés, etc. Je suis fondamentalement en espérant que cela m'aiderait à en faire une sorte d'sélective-l'analyse (avec Facebook de l'autorisation, bien sûr) des gens que je ne suis pas connecté.
OriginalL'auteur rogerchucker | 2011-07-25
Vous devez vous connecter pour publier un commentaire.
Tout d'abord, Facebook ont probablement créé une situation où certains agents utilisateurs (par exemple wget) ne peut pas analyser les pages. Donc ils rediriger certains agents utilisateurs yo une autre page qui serait probablement dire quelque chose comme "votre navigateur n'est pas pris en charge" Ils font ça pour protéger les gens de faire exactement ce que vous faites. Cependant, vous pouvez dire wget pour identifier lui-même comme un autre agent à l'aide de
-U
argument à wget (lire la page de man wget). par exemple,wget -U Mozilla http://....
Deuxième, Facebook paramètres de confidentialité rarement vous permet de lire toute/beaucoup d'informations, sauf si vous êtes connecté en tant qu'utilisateur, et probablement seulement comme un utilisateur qui est ami avec le profil que vous essayez de gratter.
Thridly, il y a un Facebook API dont vous avez besoin pour utiliser pour analyser et extraire des informations à partir de facebook -- vous êtes probablement en violation de la politique d'Utilisation Acceptable si vous essayez d'obtenir de l'information d'une autre façon.
J'ai d'abord été pensée d'aller le Facebook de l'API de route (plus précisément l'API Graphique), mais il semble que tous les amis de l'information nécessite l'accès à jeton et je voulais le faire discrètement. Serait-ce en violation de Facebook de la politique, même si c'est strictement de la recherche universitaire?
La règle générale pour facebook de données via le Facebook de l'API est simple: si vous pouvez l'obtenir via le Facebook de l'API, alors c'est soit des données qui vous avez accordé l'accès à ou de données qui est public. la Plupart des facebook Api vous permettra de demander des données à partir d'un utilisateur, et de l'API retourne les données que vous avez demandé et qui vous êtes autorisé à voir. par conséquent, vous demande lorsque vous traitez avec facebook de données doit être construit de sorte qu'il peut accepter des données et pas de données renvoyés pour des demandes similaires.
Je ne sais pas si il y a une ligne précise où Facebook considérer la violation des conditions d'utilisation (je n'ai aucune affiliation avec Facebook), mais je crois qu'ils sont à la recherche à un comportement anormal de motifs, et de réagir en fonction de leurs discression. De nombreuses entreprises ne cependant souhaitez soutenir accademic de recherche, et ils ont souvent des programmes pour lesquels ils vont mettre des conditions contractuelles en place et, potentiellement, de vous accorder l'accès à certaines données anonymes -- si c'est vraiment pour la recherche académique, alors pourquoi ne pas vous contacter facebook directement et demander si ils ont un tel programme?
OriginalL'auteur Soren
Je donno pourquoi vous voulez utiliser wget ..facebook offre une excellente API .
permettra d'économiser le contenu accessible au public dans un fichier.
vous devriez envisager d'utiliser leur API.
Facebook Développeurs
Krish, Facebook API nécessite l'accès à jeton de chaque utilisateur dont le profil je suis en train de chercher. Serait impraticable dans une discrète de collecte de données.
OriginalL'auteur Vamsi Krishna B
Si vous voulez économiser de l'utilisateur connecté en page, vous pouvez vous connecter avec Firefox avec "rester connecté" est sélectionné, puis copiez ces cookies pour un fichier et de les utiliser avec le cookiejar option. Vous aurez encore un peu de script dynamique de contenu chargé que WGET ne va pas se sauver.
Il y a de nombreuses façons de la peau, ce chat. Si vous avez besoin d'extraire un élément spécifique, découvrez l'API. Si vous êtes simplement désireux d'archiver un instantané de la page telle qu'elle apparaît dans un navigateur web, essayez de CutyCapt. C'est un peu comme wget, sauf qu'il traite l'ensemble du document comme un navigateur web et enregistre une image de la page.
OriginalL'auteur David
Vous pouvez réutiliser les cookies de Firefox facilement à la connexion, voir:
Qui peut voir votre liste d'amis est configurable, donc si quelqu'un le configure pour les Amis seulement, vous ne pouvez pas extraire cette information.
Aussi je vous recommande d'utiliser le site mobile, qui utilise la pagination à la place de l'AJAX chargement et a beaucoup plus simple, plus petit HTML: https://m.facebook.com/USER/friends?startindex=24
Et voici la (très restrictive) gratter termes: https://www.facebook.com/apps/site_scraping_tos_terms.php
OriginalL'auteur Ciro Santilli 新疆改造中心996ICU六四事件
Vérifiez les points suivants les projets open-source:
facebook-cli
, c'est un utilitaire de ligne de commande pour interagir avec le Facebook de l'API.facebook-amis
qui peut générer une page HTML de l'ensemble de votre Facebook amis.OriginalL'auteur kenorb
Pour télécharger un Facebook page à l'aide de
wget
, vous pouvez utiliser Chrome DevTools dans votre navigateur web (également dans Firefox, Opera et autres).Tout d'abord, vous devez le convertir en
curl
commande en allant à Réseau onglet (actualiser page si nécessaire ou tique Préserver journal), trouver la page de votre choix (vous pouvez filtrer la liste), cliquez du bouton droit sur la requête/page, puis sélectionnez Copier comme cURL. Puis collez la commande à la borne.Pour convertir
curl
formatwget
, faire les conversions suivantes:--compress
paramètre,-H
à--header
dans tous les lieux.Aussi envisager d'ajouter le suivant
wget
paramètres:-k
ou--convert-links
, pour convertir les liens dans le document afin de les rendre accessibles pour un affichage local.-p
ou--page-requisites
, de télécharger tous les fichiers qui sont nécessaires pour afficher correctement une page.Voir aussi:
OriginalL'auteur kenorb