Jump to content
We're Hiring! Full Stack Developer ×

[Lounge] Usenet Experiment


hawihoney

Recommended Posts

Wer nicht weiß was das Usenet ist oder sich nicht dafür interessiert: Bitte nicht lesen.

 

---

 

Aus Langeweile wollte ich mir einen eigenen Usenet-Indexer in Python programmieren. Das lief auch so weit ganz gut, bis ich ein paar Berechnungen auf Basis der Daten eines einzelnen Tages durchführte. Danach war das Experiment ganz schnell beendet. Wen es interessiert - hier ein paar Eckdaten:

 

Usenet Provider: Eweka
Eweka Retention: 4.790 Tage
Anzahl Groups/Gruppen: 111.117
Anzahl Messages/Artikel aller Groups/Gruppen: 492.544.548.539
Kalkulierte durchschnittliche Groesse eines Headers/Nachrichtenkopfs: 814 Bytes
Kalkulierte Groesse aller Header/Nachrichtenkoepfe: 400.931.262.510.746 Bytes

Exemplarische binaere Gruppe: alt.binaries.frogs
Anzahl Messages/Artikel in der o.g. Group/Gruppe: 11.376.291.702
Kalkulierte Groesse aller Header/Nachrichtenkoepfe der o.g. Group/Gruppe: 9.260.301.445.428 Bytes

... und das ohne den eigentlichen Inhalt der Nachrichten ...

 

Zur Erzeugung der NZB-Dateien werden nur die Header-Daten benötigt. Diese alleine, ohne den eigentlichen Nachrichteninhalt, kumulieren auf sagenhafte ca. 400 TB. Mein Respekt und Dank gilt daher den bekannten Indexern wie NZBIndex, NZBKing, BinSearch, etc...

 

Keine Ahnung wie das die Indexer so eindampfen können, dass es überhaupt handbar wird.

 

Edited by hawihoney
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...