Al lange tijd is het mogelijk om via “Usenet” te downloaden. Films, software, muziek, alles is te vinden. Inclusief dingen die niet zo populair zijn, waardoor het vaak moeilijk is om deze via andere methodes te bemachtigen. Toch is usenet (nog) niet zeer bekend onder internetgebruikers. Op deze pagina zal ik wat achtergronden over deze mogelijkheid uiteenzetten en uitleggen hoe het ongeveer werkt.

[update juli 2018: Vanaf 2014 is het downloaden van beschermd materiaal illegaal. Er zijn manieren om dat te maskeren (zoals VPN, zie de reacties onderaan dit bericht), maar daar kan ik je verder niets over vertellen].

Deze pagina is puur ter informatie, ik kan je niet persoonlijk helpen/adviseren wanneer je problemen hebt met downloaden via usenet. Daarvoor kan je wel terecht op het forum van Binaries4all.

Achtergrond: wat is usenet

Usenet is in 1979 ontwikkeld voor de verspreiding van tekstberichten, onderverdeeld in nieuwsgroepen. Ondanks het feit dat je nieuwsgroepen wel met sommige internetbrowsers kunt lezen maakt usenet geen deel uit van het “World Wide Web”, het staat volledig los daarvan.

Een nieuwsgroep kan je zien als een (openbare) vijver waar mensen mailtjes naar toe kunnen sturen. Andere mensen kunnen deze mailtjes lezen, en er op reageren. Om iedere vijver (nieuwsgroep) enigszins overzichtelijk te houden is er een boomstructuur aangebracht waarbinnen de vele groepen ieder een eigen plekje krijgen. Nederlandse groepen beginnen bijvoorbeeld met “nl.”. Onder de Nederlandse groepen vallen veel verschillende onderwerpen, bijvoorbeeld “nl.muziek”. Maar de onderverdeling gaat ook verder, zoals blijkt uit “nl.comp.software.office”.

De berichten van de nieuwsgroepen staan allemaal op een server. Om ervoor te zorgen dat iedereen uit de hele wereld alle berichten kan lezen zorgen de verschillende servers ervoor dat ze alle berichten die geplaatst zijn met elkaar uitwisselen. Zo maakt het dus niet uit op welke server iemand een bericht staat: in korte tijd is het bericht immers vanzelf ook op alle andere servers te vinden!

Behalve tekstberichten kan je ook attachments meeposten, net als bij e-mail. Je kan je voorstellen dat de ruimte over servers zo echter snel vol loopt: het is ondoenlijk om alle berichten (inclusief eventuele attachments) tot in de eeuwigheid te bewaren. Vandaar dat iedere server een bepaalde retentie hanteert. Deze retentie is de periode dat berichten op de server blijven staan. Op servers met een hoge retentie kan je dus nog oude berichten terugvinden.

Bron: Usenet op Wikipedia NL

Bestanden op usenet

Maar hoe kan je nu bestanden van usenet afhalen? Zoals gezegd kan je aan een bericht op usenet ook een attachment toevoegen. Wanneer je nu een programma op usenet wil plaatsen kan je het programma opdelen in kleine stukjes, en al deze stukjes als attachments op usenet zetten. Vervolgens worden deze stukjes automatisch verspreid over alle servers over de wereld, waarna andere mensen deze stukjes weer van de server van hun eigen provider kunnen downloaden. Daarna kunnen ze de stukken weer aan elkaar zetten, en hebben ze het programma zelf ook!

Het kan echter gebeuren dat bij de uitwisseling tussen servers ergens iets fout gaat. Daardoor zit er een fout in 1 van de stukjes. Maar om het hele programma uiteindelijk te laten werken heb je wel alle informatie nodig: als ergens een stukje niet in klopt, doet het hele programma het niet meer. Om dat te verhelpen worden zogenaamde “Par”-bestanden meegestuurd. Deze bestanden bevatten informatie over de verschillende stukjes van het programma. Als er een fout zit in 1 van de stukken, kan dit worden opgevangen door een par-bestand. Hoe meer par-bestanden er worden bijgeleverd, hoe meer fouten er opgevangen kunnen worden.

In het verleden was het een hele klus om door de berichten in een nieuwsgroep heen te ploeteren, om zo de verschillende stukjes van een programma bij elkaar te sprokkelen. Daar is verbering in gebracht door invoering van zogenaamde NZB-bestanden. In een dergelijk bestand is vastgelegd in welke stukjes een programma is opgedeeld, en in welke berichten al deze stukjes te vinden zijn. Dit is enigszins te vergelijken met de bekendere .torrent-bestanden. Je kan een NZB-bestand, net als een .torrent-bestand, openen in een programma, oftewel client. Deze client weet dan welke stukken er gedownload moeten worden, en gaat gelijk aan het werk. Uiteraard moet je de client wel eerst vertellen van welke server hij de bestanden kan downloaden. Welke dat is, hangt zoals eerder gezegd af van je internetprovider.

Verschillen tussen usenet en P2P

Downloaden van usenet is dus wezenlijk anders dan downloaden via Peer to Peer-netwerken (P2P), zoals Kazaa, Emule, BitTorrent etc. Je download immers niet bij andere mensen, maar vanaf de server van je provider.

Hierdoor heeft downloaden via usenet de volgende voordelen:

• Het gaat snel
  Omdat je de bestanden download van de server van je provider. Overigens hebben sommige providers de snelheid van hun servers beperkt, waardoor dit voordeel een stuk kleiner is
• Snelheid is onafhankelijk van andere gebruikers
  Bij P2P-programma’s is het belangrijk dat het programma dat je nodig hebt bij meerdere gebruikers te vinden is. Sterker nog: hoe meer gebruikers het programma hebben, hoe sneller het meestal gaat! Bij usenet maakt dat niet uit
• Nieuwe/minder populaire programma’s zijn te vinden
  Als 1 persoon een leuk programma heeft en dat op usenet zet, kan iedereen het op hoge snelheid downloaden. Bij P2P moet het bestand eerst verspreid zijn, en pas dan kan je het (snel) downloaden. Hierdoor kan je op usenet ook programma’s vinden die niet te vinden zijn via P2P
• Geen upstream
  Bij P2P is het vaak noodzakelijk om (wanneer je aan het downloaden bent) de door jou binnengehaalde data ook te delen met de rest van het internet. Dat kost je om te beginnen bandbreedte, maar bovendien is het vaak illegaal! In Nederland mag je immers wel downloaden, maar (met copyright beschermde data) niet uploaden! [update juli 2018: downloaden is sinds 2014 ook illegaal]

Er zijn echter ook nadelen:

• Je bent afhankelijk van de server van je provider
  Als je een provider hebt met een server met een lage retentie (zie het volgende punt) moet je heel goed in de gaten houden wat er op usenet wordt geplaatst, zodat je er snel bij bent. Ook wat betreft snelheid ben je afhankelijk van je provider. Als je niet tevreden bent met de server van je provider kan je overigens ook een betaalde server (payserver) overwegen. (Zie hieronder op deze pagina)
• Beperkte retentie
  De berichten blijven slechts een bepaalde tijd op de servers staan.
• Downloaden is ingewikkelder
  Je hebt wat meer kennis nodig om te kunnen downloaden. Omdat downloaden via usenet (nog?) niet zo bekend is, kan je het meestal ook niet bij een vriend afkijken.

Links en software

Wat heb je nu allemaal nodig om aan de slag te gaan?

Om te beginnen zul je een client moeten installeren, het eigenlijke programma dat gaat downloaden. Mijn favoriet is SabNZBd, maar op deze pagina van Binaries4all vind je informatie over alternatieven. Voor uitleg over hoe je SabNZBd moet installeren en configureren kan je op deze pagina van diezelfde site terecht.

Aan alleen een downloadprogramma heb je echter niets. Je moet immers ook ergens de .nzb-bestanden vandaan halen. Daarvoor bestaan verschillende zoeksites. Mijn favorieten:

• Newzleech
• Binsearch
• NZBIndex.nl

FTD / Spotnet

[Update april 2011: FTD bestaat helaas niet meer. In plaats daarvan kan je gebruik maken van Spot-Net. Daar zit overigens een client (SABNZBd) in ingebakken.]

Die zoeksites zijn wel aardig, maar ideaal is het niet. Downloaden via usenet is voor veel mensen niet weggelegd, daarvoor is het te gecompliceerd. Heel dat downloaden via usenet is tamelijk “underground”. Zo zijn er ook groeperingen actief die trots zijn op hun bijdrage op dit gebied, en het bovendien exclusief willen houden. Zo geven sommige mensen het bestand dat ze uploaden een random naam, zodat het moeilijk te vinden is als je die naam niet kent. Anderen hebben er dan weer lol in erachter te komen wat anderen zoal hebben gepost. Kortom, er komt nogal wat bij kijken.

Bovendien kan het gebeuren dat een download een virus bevat, of dat er iets niet in klopt waardoor de applicatie het niet doet. En ook zo vervelend: je hebt net een film gedownload, je zit helemaal klaar voor een leuke avond, je drukt op play en…. is de film in het Frans nagesynchroniseerd!

Om aan al deze problemen tegemoet te komen is er FTD. Dit is een (Nederlandstalig) programma waarin mensen laten weten wat ze op usenet hebben gezien, waar dat was, en wat het precies is. Zo zie je dus gelijk of MP3tjes van een beetje goede kwaliteit zijn, of er geen virus in een game zit, of de film ook echt Engels gesproken is (en eventueel al Nederlands ondertiteld is) etc. Ideaal dus! FTD is een programma dat je moet downloaden (vanaf deze pagina) en installeren. Hoe de installatie verder in zijn werk gaat lees je in deze uitleg van FTD op Binaries4all. Als alles werkt heb je in ieder geval een programma waarin andere mensen berichten posten (ongeveer net als op een forum), waarin ze vertellen over bestanden die ze op usenet hebben gezien. Andere mensen kunnen daarop reageren, bijvoorbeeld door te zeggen dat de kwaliteit wel/niet goed is, dat er wel/geen virus in zit etc. Zo weet je dus al voordat je iets gaat downloaden waar je aan toe bent.

Voor de mensen die graag films downloaden is er nog een voordeel: je kan de filters van het programma zo instellen dat versies die met een handycam zijn opgenomen en zogenaamde “Telesyncs” (beiden zijn meestal slechter van kwaliteit) niet verschijnen. Nog een handigheidje: als je in de gaten wilt houden wat er zoal aan films op DVD verschijnt: de lijst van meest verhuurde DVD’s in Amerika (op IMDB) is een praktisch uitgangspunt!

Als je FTD net hebt geïnstalleerd is er wel een nadeel: de database waarin alle berichten over bestanden zijn opgeslagen gaat maar een paar dagen terug. Oudere berichten kan je dus niet doorzoeken. Bestanden die langer geleden zijn gepost (en in FTD zijn genoemd) kan je dan dus niet vinden. Daar is gelukkig een oplossing voor: je kan jouw “jonge” database vervangen door een database die meer informatie bevat. Hoe je dat doet lees je hier (je zult wel eerst een account voor dat forum aan moeten maken).

Tot enige tijd geleden zat er ook bij ieder bericht een knop waarmee je naar een webpagina van een zoekmachine ging, waar je meteen het bijbehorende nzb-bestand kon downloaden. Vanwege juridisch gedoe is die knop echter verwijderd. Tenzij… je ‘m weer terug zet! En dat kan heel makkelijk met nzb-buddy.

Overigens is FTD alleen voor Windows-gebruikers. Anderen kunnen wel terecht bij OpenFTD. Daar heb ik zelf echter geen ervaring mee, dus ik kan er verder niets over melden.

Servers

Met een client en een bron van .nzb-bestanden ben je er nog niet. Je client moet immers ook inloggen op een server. Zoals gezegd bieden de meeste internetproviders een eigen server aan. Soms is dat echter niet het geval, en soms is de retentie van deze servers zeer beperkt. Hier kan je zien hoe het met jouw provider zit.

Wellicht biedt je provider geen nieuwsserver aan, of ben je niet tevreden met de kwaliteit ervan. Om dergelijke problemen op te lossen kan je een payserver overwegen. Als je eens wilt proberen of downloaden via usenet iets voor je is zijn er payservers waarbij je voor 1 euro een dag van hun dienst gebruik kunt maken. Maar een abonnement waarbij je maandelijks een bepaald bedrag betaalt zijn ook mogelijkheden. Zie voor meer informatie deze lijst met payservers (wederom op Binaries4all).

Tenslotte

Ik heb deze pagina opgesteld omdat ik vind dat er weinig sites zijn die het gehele proces helder en bondig wordt uitgelegd. Zelf ben ik een ervaren computergebruiker, en het heeft mij zelfs enige tijd gekost voordat ik het hele plaatje overzag. Met bovenstaande tekst hoop ik een handvat aan te reiken, waarmee inzicht ontstaat in het gehele plaatje. Met dit als basis ben je mijn inziens voldoende bewapend om de overige sites over dit onderwerp door te ploegen.

Als volgende stap kan ik je de beginnershandleiding op Binaries4all aanraden, waar meer in details wordt ingegaan. Op hun forum kan je ook terecht wanneer je iets niet snapt.