this post was submitted on 06 Jun 2025
20 points (100.0% liked)
Feddit.dk
1216 readers
30 users here now
Et meta-forum for nyheder, meddelelser og debatter omkring Feddit.dk i sig selv.
Man er også velkommen til at poste her hvis der ikke er nogen andre fællesskaber der passer.
founded 2 years ago
MODERATORS
you are viewing a single comment's thread
view the rest of the comments
view the rest of the comments
Er de stadigt effektive? Med dedup/compressing fil systemer eller hvis de bare streamer igennrm arkivet uden at pakke det ud til disk? Det er forsøget værd (omend, hvordan finder man ud af om det virkede?), men den løbende strøm af ævl, bruger i det mindste de samme eller flere resourser hos crawleren som du selv bruger.
Det vil måske forbavse dig at finde ud af hvor dumme og ubeskyttede mange bots er, også nogle af de store navne har bots der er skræmmende dumme.
Jeg ved det ikke, jeg har ikke meget erfaring inden for området. Selv hvis de streamer igennem arkivet vil det jo tage en del tid med en stor zip bomb.