Vous n'êtes pas identifié(e).

#26 2018-08-21 18:04:16

mojoego
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

J'ai reussi à faire un curl dessus avec les bons headers envoyés (tu fais un copié curl de la requête dans l'onglet réseau de ta console chrome), et même sans le cookie posé par datadome, je pense pas que ce soit si compliqué.
@blount ton code est trop complexe pour moi mais je pense pas que ce soit si complexe, t'as besoin d'un coup de main ?

Hors ligne

#27 2018-08-21 19:30:52

Lilo
Membre
Inscription : 2018-08-21
Messages : 10

Re : Erreur 403

effectivement, en bidouillant les header, on peut outrepasser leur truc.

mon dédié etait bloqué en 403. Avec un Curl et les bons Header, j affiche de nouveau le site.

j essaye de voir pour l adapter à Checky

Dernière modification par Lilo (2018-08-21 19:31:41)

Hors ligne

#28 2018-08-21 19:45:43

Lilo
Membre
Inscription : 2018-08-21
Messages : 10

Re : Erreur 403

@mojoego , bien joué, tu avais raison

il suffit de modifier https://github.com/Blount/Cheky/blob/ma … t/Curl.php

dans la fonction REQUEST et il faut ajouter les HEADER dans la fonction CURL

Je viens de tester, cela fonctionne sans problème => ajout alerte + alerte mail

PAr contre, je vais réduire la frequence des requetes. Un petit coté aléatoire ne sera pas de trop à mon avis

Dernière modification par Lilo (2018-08-21 19:46:05)

Hors ligne

#29 2018-08-21 20:01:04

Epsylon
Membre
Inscription : 2012-05-31
Messages : 21

Re : Erreur 403

Bonjour

Je pense aussi qu'il faudrait ajouter un délai de 5 ou 10s entre chaque vérification d'alerte pour éviter un blacklistage trop rapide.

Hors ligne

#30 2018-08-21 20:10:14

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

Le problème c'est qu'une fois l'IP blacklistée, il n'est plus question de problème d'entête.
Mon IP perso est bloquée et même avec un vrai navigateur on arrive sur la page du captcha.


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

#31 2018-08-21 20:14:16

mojoego
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

Blount a écrit :

Le problème c'est qu'une fois l'IP blacklistée, il n'est plus question de problème d'entête.
Mon IP perso est bloquée et même avec un vrai navigateur on arrive sur la page du captcha.

Je suis toujours resté sous une adresse IP flottante chez orange. Sinon teste avec un VPN depuis ton serveur en local, le mien est chez nordvpn, je suis au canada et je passe pour un navigateur français.

Hors ligne

#32 2018-08-21 20:20:12

mojoego
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

Lilo a écrit :

@mojoego , bien joué, tu avais raison

il suffit de modifier https://github.com/Blount/Cheky/blob/ma … t/Curl.php

dans la fonction REQUEST et il faut ajouter les HEADER dans la fonction CURL

Je viens de tester, cela fonctionne sans problème => ajout alerte + alerte mail

PAr contre, je vais réduire la frequence des requetes. Un petit coté aléatoire ne sera pas de trop à mon avis

J'ai changé la fonction __construct (penser à mettre à jour le cookie) et mis le useragent à jour dans /var/config.ini pour que les deux correspondent et ça repart ! Merci Lilo !

public function __construct()
    {   
        $headers = array(
            'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
            'Accept-Encoding: gzip, deflate, br',
            'Accept-Language: fr-FR,fr;q=0.9,en;q=0.8',
            'Cache-Control: max-age=0',
            'Connection: keep-alive',
            'Cookie: datadome=***LE VOTRE***',
            'DNT: 1',
            'Host: [url=http://www.leboncoin.fr]www.leboncoin.fr[/url]',
            'Referer: [url=https://www.leboncoin.fr/]https://www.leboncoin.fr/'[/url],
            'Upgrade-Insecure-Requests: 1',
            'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36');
        $this->_resource = curl_init();
        curl_setopt($this->_resource, CURLOPT_HEADER, $headers);
        curl_setopt($this->_resource, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($this->_resource, CURLOPT_CONNECTTIMEOUT, 5);
    }

Dernière modification par mojoego (2018-08-21 20:35:15)

Hors ligne

#33 2018-08-21 21:11:29

Epsylon
Membre
Inscription : 2012-05-31
Messages : 21

Re : Erreur 403

Bonsoir

J'ai du louper quelque chose parce qu'après les modifs les alertes fonctionnent de nouveau par contre si j'essaie de modifier une alerte dans l'interface j'ai l'erreur 403 à l'enregistrement.

Où est-ce qu'on récupère le fichier cookie et surtout où doit-on le copier sur le serveur ?

merci pour l'aide

Hors ligne

#34 2018-08-21 21:26:50

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

En effet, c'est repartie ainsi :

    public function __construct()
    {
        $this->_resource = curl_init();
        curl_setopt($this->_resource, CURLOPT_HEADER, false);
        curl_setopt($this->_resource, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($this->_resource, CURLOPT_CONNECTTIMEOUT, 5);
        curl_setopt($this->_resource, CURLOPT_HTTPHEADER, array(
            "Accept: text/html",
            "Accept-Language: fr,fr-FR;q=0.8",
            "Accept-Encoding: gzip, deflate",
            "Cache-Control: max-age=0",
            "Connection: keep-alive",
            "DNT: 1",
            "Referer: https://www.leboncoin.fr/",
            "Upgrade-Insecure-Requests: 1",
            "Cookie: datadome=VOIR_COOKIE_NAVIGATEUR",
        ));
    }

Merci pour ce retour.
Par contre, ce n'est pas très userfiendly de trouver la valeur du cookie datadome ^^

Pour l'instant, je ne met pas à jour Cheky car je ne sais pas si c'est viable comme solution.


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

#35 2018-08-21 21:37:04

mojoego
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

J'ai l'impression que ça pête vite... rapidement le RSS n'est plus renvoyé avec la même valeur de cookie... pas vous ?

Hors ligne

#36 2018-08-22 08:09:01

lpivtt
Membre
Inscription : 2017-08-07
Messages : 16

Re : Erreur 403

Hello,
qq'un pourrait-il détailler la manip à faire (et comment le faire) sur le cookie ?
Merci d'avance.

Hors ligne

#37 2018-08-22 08:47:00

dranreb
Membre
Inscription : 2017-05-08
Messages : 30

Re : Erreur 403

@ Blount,

Tu as fais la modif sur piost.net ? , car c'est de nouveau ok.

Hors ligne

#38 2018-08-22 08:52:43

lpivtt
Membre
Inscription : 2017-08-07
Messages : 16

Re : Erreur 403

Blount a écrit :

En effet, c'est repartie ainsi :

    public function __construct()
    {
        $this->_resource = curl_init();
        curl_setopt($this->_resource, CURLOPT_HEADER, false);
        curl_setopt($this->_resource, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($this->_resource, CURLOPT_CONNECTTIMEOUT, 5);
        curl_setopt($this->_resource, CURLOPT_HTTPHEADER, array(
            "Accept: text/html",
            "Accept-Language: fr,fr-FR;q=0.8",
            "Accept-Encoding: gzip, deflate",
            "Cache-Control: max-age=0",
            "Connection: keep-alive",
            "DNT: 1",
            "Referer: https://www.leboncoin.fr/",
            "Upgrade-Insecure-Requests: 1",
            "Cookie: datadome=VOIR_COOKIE_NAVIGATEUR",
        ));
    }

Merci pour ce retour.
Par contre, ce n'est pas très userfiendly de trouver la valeur du cookie datadome ^^

Pour l'instant, je ne met pas à jour Cheky car je ne sais pas si c'est viable comme solution.

J'ai fait cette modif et uniquement celle-ci (rien changé de ce qui a été écrit plus haut par mojoego qui me fait un http-500 :-( ) et je suis toujours en 403... rhaaaaaaaaaaaaaaa

Help !

Hors ligne

#39 2018-08-22 08:56:48

ThierryMontpellier
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

Lien intéressant : https://www.scrapehero.com/how-to-preve … -scraping/
Peut etre une piste

Hors ligne

#40 2018-08-22 08:57:14

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

dranreb a écrit :

@ Blount,

Tu as fais la modif sur piost.net ? , car c'est de nouveau ok.

En effet, sauf que j'ai à nouveau stoppé le service car la solution est plus que temporaire.
Ca peut peut-être passer sur de petite instance de Cheky avec peu d'alerte, mais pour Piost, ca semble compromis.


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

#41 2018-08-22 11:23:26

titis14
Membre
Inscription : 2017-01-11
Messages : 19

Re : Erreur 403

On ne peux pas revenir à la version précédente ? Cela fonctionne encore très bien du moins pour moi.
Les mises à jour de nos jours c'est vraiment la misère.

Hors ligne

#42 2018-08-22 11:54:04

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

C'est à Leboncoin qu'il faut demander la version précédente ^^
Le problème n'a rien à voir avec Cheky, tu peux revenir en arrière, tu auras toujours le problème.


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

#43 2018-08-22 13:32:46

ThierryMontpellier
Membre
Inscription : 2018-08-21
Messages : 4

Re : Erreur 403

titis14 a écrit :

On ne peux pas revenir à la version précédente ? Cela fonctionne encore très bien du moins pour moi.
Les mises à jour de nos jours c'est vraiment la misère.

Tu va avoir le problème prochainement

Hors ligne

#44 2018-08-22 14:47:09

titis14
Membre
Inscription : 2017-01-11
Messages : 19

Re : Erreur 403

sad bien dommage putain grasse à Cheky j'en ai fais de bonnes affaires en étant le premier sur le coup ça va me manquer et me compliquer mes recherches.
Ou voir que son IP est blacklisté ?

Dernière modification par titis14 (2018-08-22 14:49:48)

Hors ligne

#45 2018-08-22 14:54:28

Epsylon
Membre
Inscription : 2012-05-31
Messages : 21

Re : Erreur 403

Hello

Personne pour aider sur comment on fait pour trouver l'emplacement du cookie ?
Je ne pense pas être le seul à pas savoir faire :-(

Merci d'avance

Hors ligne

#46 2018-08-22 15:23:01

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

Avec Firefox, tu vas sur Leboncoin, tu appuis sur la touche F12.
Un panneau s'ouvre, tu vas sur l'onglet "Réseau"
Tu actualises la page.
Tu as une liste de requête qui s'affiche. Tu dois cliquer sur la ligne où il y a juste écris "/" dans la colonne fichier.
Sur la droite apparaît un autre panneau, dans "En-têtes de la requête" tu cherches la ligne "Cookie" et tu auras la valeur.


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

#47 2018-08-22 16:32:03

ero
Membre
Inscription : 2012-07-31
Messages : 84

Re : Erreur 403

Aller Blount, ne perds pas espoir ! smile https://github.com/RSS-Bridge/rss-bridg … -415070961

Hors ligne

#48 2018-08-22 16:34:51

gael
Membre
Inscription : 2012-05-31
Messages : 8

Re : Erreur 403

Blount, Mon checky est hebergé sur un serveur tel que alwaysdata, comment puis je récupérer le cookie associé?

Hors ligne

#49 2018-08-22 17:52:16

lpivtt
Membre
Inscription : 2017-08-07
Messages : 16

Re : Erreur 403

Epsylon a écrit :

Hello

Personne pour aider sur comment on fait pour trouver l'emplacement du cookie ?
Je ne pense pas être le seul à pas savoir faire :-(

Merci d'avance

@Blount, j'ai ceci dans la ligne que tu décris dans le debugger :

cookieFrame=2; utag_main=v_id:01533e0acc010014f26fb6548ee708048001800d00bd0$_sn:31$_ss:0$_st:1534957711273$_pn:2%3Bexp-session$ses_id:1534955892241%3Bexp-session; xtvrn=$562498$266818$; xtan562498=1-29166480; xtant562498=1; _pulse2data=57c30ae9-1235-4daf-90a0-a64435ba1267%2Cv%2C29166480%2C1534956797928%2CeyJpc3N1ZWRBdCI6IjIwMTctMDMtMTRUMTc6NTlaIiwiZW5jIjoiQTEyOENCQy1IUzI1NiIsImFsZyI6ImRpciIsImtpZCI6IjIifQ..GTVV9WgjsFdngHcekM4eFw.3E8Fq3DfwctoBwr-yL5vDnAryxLyvJ_d8P7AtG-m8d4mbA7EeUTMpnIr5OBDxgoQ4nuxF_EjTO5MuZYmfoWcYal9KcuziWTCQAmboYpvv638HsmTjOmy5TzDxrK27O7Thx6afqkQsY5hqjKKzXm4KTOTHL1jO5rhQEUG6ZXguMhZ6WXBU629vqxeVjRSLeU9820jxakIhFQWjvswIeJxPS6rI309sQyx0j-kSDrb8wtSYPnguEZkIvZg3edzwoAXhu6IQ0_8P9beNE3sLr99Eg.hhzvK9-4KriPHV-Yjv0FiQ%2C1351210122650790682%2C1534970297928%2Ctrue%2C%2CeyJraWQiOiIyIiwiYWxnIjoiSFMyNTYifQ..Aycr-z2gkwT6TKtG1YnkECZoreMw86ts5mL1aAljw3U; ABTasty=uid%3D17031418594381302%26fst%3D1489514383407%26pst%3D1533222422018%26cst%3D1534955888170%26ns%3D12%26pvt%3D55%26pvis%3D2%26th%3D162994.225169.8.0.12.0.1489514598232.1500358582906.1_294339.390113.1.0.3.0.1532269238296.1532269238296.1_317590.418209.2.0.2.0.1533222434714.1533222446730.1_319318.420254.2.0.2.0.1533222434658.1533222446735.1_320961.-1.0.0.1.0.1533222446741.1533222446741.1_323663.425610.2.2.1.1.1534955896335.1534955909909.1_323665.425612.2.2.1.1.1534955896370.1534955910033.1; datadome=AHrlqAAAAAMArZ04Fm6YDsIAVsdQ6w==; cookieBanner=1; consent_geo=1; consent_comp=1; consent_cookie=1; srt=cRnSZxArTpbTIjVhGWly%2B2ylJ5xz1%2Bl3GtO1WUbF7%2Fy7r%2Fi0Yo6W%2F2WCPbQrVw8z; luat=f4c6afd4-ef48-4d57-9dbe-3ff00a71e041; pro_tdb_beta=1; ABTastySession=referrer%3D__landingPage%3Dhttps%3A//www.leboncoin.fr/annonces/offres/midi_pyrenees/__referrerSent%3Dtrue; oas_ab=b; trc_cookie_storage=taboola%2520global%253Auser-id%3D125a489f-fb9b-4730-aab7-987d01318804


La valeur à récupérer c'est quoi ?

:-/

Hors ligne

#50 2018-08-22 18:29:06

Blount
Administrator
Inscription : 2010-11-16
Messages : 687

Re : Erreur 403

C'est AHrlqAAAAAMArZ04Fm6YDsIAVsdQ6w==


ero a écrit :

Aller Blount, ne perds pas espoir ! smile https://github.com/RSS-Bridge/rss-bridg … -415070961

Hélas, ca ne suffit pas. À mon avis, le ticket va rester ouvert wink


Piost - Solution d'hébergement pour Cheky avec installation automatique.
https://www.piost.net

Hors ligne

Pied de page des forums