OptSensBot

OptSensBot je skener sajtova OptSens platforme za upravljanje saglasnostima. Posećuje sajtove koje su njihovi vlasnici dodali u OptSens i beleži kolačiće, skripte i alate za praćenje koje ti sajtovi postavljaju. Na osnovu rezultata nastaju deklaracija kolačića i provere usklađenosti.

Šta je OptSensBot

OptSensBot posećuje isključivo domene koje su njihovi vlasnici registrovali. Skeniranje se pokreće kada vlasnik sajta doda svoj domen u OptSens, pokrene skeniranje iz kontrolne table ili ima uključeno periodično skeniranje u okviru svog plana. OptSensBot ne pretražuje internet, ne prati linkove ka drugim domenima i ne indeksira sadržaj.

Isti agent obavlja tri posla:

Posao	Šta radi
Skeniranje kolačića	Učitava ograničen broj stranica i beleži koji se kolačići, skripte, iframe elementi i alati za praćenje pojavljuju
Provera implementacije	Potvrđuje da je OptSens baner instaliran i da se signali saglasnosti ispravno šalju
Provera Consent Mode v2	Potvrđuje da su podrazumevane vrednosti i ažuriranja za Google Consent Mode v2 ispravno podešeni

User agent

OptSensBot prikazuje stranice pravim browser engine-om. Njegov user agent sadrži standardni potpis browsera, OptSensBot token i link ka ovoj stranici:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko;
compatible; OptSensBot/1.0; +https://docs.optsens.com/bot) Chrome/120.0.0.0 Safari/537.36

Za filtriranje koristite token:

OptSensBot/1.0

Kako da proverite da je zahtev zaista od OptSensBot-a

User-agent string može da se lažira. Pošiljaoca proverite jednim od ovih signala.

Web Bot Auth (potpisani zahtevi)

Svaki OptSensBot zahtev je kriptografski potpisan po standardu HTTP Message Signatures (RFC 9421) Ed25519 ključem. Zahtev nosi zaglavlja Signature, Signature-Input i Signature-Agent, a javni ključ je objavljen u našem potpisanom direktorijumu ključeva:

https://docs.optsens.com/.well-known/http-message-signatures-directory

Cloudflare i drugi provajderi koji podržavaju Web Bot Auth automatski proveravaju ove potpise. Ako se zahtev predstavlja kao OptSensBot, a potpis ne prolazi proveru prema našem direktorijumu ključeva, nije od nas.

Objavljene IP adrese

Trenutne adrese skenera objavljene su u mašinski čitljivoj listi:

https://docs.optsens.com/optsensbot.json

Lista se redovno ažurira i može da se promeni: preuzimajte je svežu umesto da vrednosti kopirate u trajna pravila. Gde je moguće, prednost dajte Web Bot Auth proveri. IP adrese mogu da se promene, potpisi ne.

Šta OptSensBot prikuplja i zašto

Tokom skeniranja OptSensBot beleži:

• Kolačiće postavljene pri učitavanju skeniranih stranica, sa nazivom, provajderom, rokom trajanja i tipom
• Skripte trećih strana, iframe elemente i zahteve za praćenje koji se pojavljuju
• Adrese skeniranih stranica

Ovi podaci postaju deklaracija kolačića domena i izveštaji o usklađenosti u OptSens nalogu vlasnika sajta. OptSensBot ne popunjava forme, ne pravi naloge, ne preuzima fajlove i ne čuva sadržaj stranica izvan rezultata detekcije.

Skeniranja i vaša analitika

Detekcija zahteva izvršavanje stranica kao u pravom browseru, pa skeniranje može da zabeleži nekoliko pregleda u vašem alatu za analitiku. Da izveštaji ostanu čisti: u GA4 definišite interni saobraćaj adresama iz optsensbot.json (Admin > Data streams > Configure tag settings > Define internal traffic) i isključite ga. U alatima koji filtriraju po user agentu, isključite OptSensBot.

Ponašanje pri skeniranju

• Stranice se prikazuju u pravom Chromium browseru sa izvršenim JavaScript-om, i otkrivaju se i kolačići koje postavljaju skripte i kolačići koje postavlja vaš server (HTTP-only).
• Skeniranje kreće od početne stranice i sitemap-a registrovanog domena.
• Skeniranje pokriva ograničen broj stranica, određen budžetom stranica OptSens plana tog sajta, izvršava se jednom i zatim se zaustavlja. Nema kontinuiranog krolovanja.
• Učestalost skeniranja prati plan domena: skeniranje pri registraciji, ručna skeniranja iz kontrolne table i periodična skeniranja. Rezultati se pojavljuju u kontrolnoj tabli kada se skeniranje završi. Business planovi mogu da se pretplate i na scan.completed webhook.
• OptSensBot čita robots.txt (RFC 9309) i poštuje Disallow pravila za OptSensBot user agent, kao i Crawl-delay do 10 sekundi.
• Zahtevi su usporeni i skeniranje nikada ne pravi primetno opterećenje na skeniranom sajtu.

Stranice iza prijave

OptSensBot skenira samo javno dostupne stranice. Stranice iza prijave, staging okruženja zaštićena basic-auth lozinkom i delovi sajta samo za članove se ne skeniraju. Ako vaše podešavanje saglasnosti živi iza autentifikacije, pišite na [email protected] i pogledaćemo vaš slučaj.

Propustite OptSensBot

Ako je vaš sajt iza WAF-a, bot zaštite ili challenge stranice, OptSensBot može biti blokiran i skeniranje vraća prazne ili nepotpune rezultate. Propustite ga opcijom koju vaše okruženje podržava:

Cloudflare

OptSensBot podržava Cloudflare verifikaciju botova kroz Web Bot Auth. Ako skeniranja ne prolaze na sajtu iza Cloudflare-a, dodajte pravilo:

1. Otvorite Cloudflare kontrolnu tablu i izaberite zonu.
2. Idite na Security > WAF > Custom rules (ili IP Access Rules).
3. Dozvolite zahteve čiji user agent sadrži OptSensBot, ili dozvolite adrese iz optsensbot.json.

Drugi firewall-i i bot zaštite

Dozvolite OptSensBot/1.0 user-agent token zajedno sa objavljenom IP listom. Sistemi koji podržavaju HTTP Message Signatures mogu da provere naše zahteve prema direktorijumu ključeva.

robots.txt

OptSensBot poštuje robots.txt. Da iz skeniranja isključite deo sajta:

User-agent: OptSensBot
Disallow: /privatno/

Potpuno blokiranje OptSensBot-a zaustavlja skeniranje kolačića, proveru implementacije i proveru Consent Mode v2 za vaš sopstveni OptSens nalog. Koristite ciljana pravila umesto potpune blokade.

Ako skeniranje vrati prazne ili nepotpune rezultate

Najčešći uzrok je bot provera: kada Cloudflare Turnstile, reCAPTCHA ili WAF servira OptSensBot-u challenge stranicu umesto sajta, skeniranje ne nalazi ništa ili nalazi samo resurse samog challenge provajdera. Dodajte pravilo dozvole kako je opisano iznad i ponovo pokrenite skeniranje. Stranice koje se ne učitaju u predviđenom vremenu se preskaču. Ostatak skeniranja se ipak završava.

Kontakt

Pitanja o OptSensBot-u, brzini skeniranja ili zahtevu koji želite da proverite: [email protected].