Österreichisches Web wird archiviert – DC Alarm
Die österreichische Nationalbibliothek plant ab 2008 das österreichische Web zu archivieren. Berücksichtigt werden .at-Domains bzw. .com, .net und .org-Domains, deren Serverstandort in Österreich liegt – so sollen in den nächsten 5 Jahren ca. 200 Terabyte Datenvolumen anfallen.
Die Seiten werden automatisiert und auch teilweise manuell ausgewählt – ein Crawler wird
die Seiten anhand der Verlinkungen verfolgen.
Orf.at hat ein Interview mit der Verantwortlichen des Projekts gemacht, wobei einige interessante Aussagen getätigt wurden. Vor allem bei der Frage nach den Möglichkeiten (robots.txt) Websites vor der Archivierung zu schützen, kam eine diskussionswürdige Antwort:
Die Frage, ob der Crawler robot.txt-Files berücksichtigt, wird noch zu besprechen sein. Wenn es eine Verpflichtung oder ein Recht der Nationalbibliothek ist, diese Seiten zu archivieren, dann müssen wir sie umgehen können, weil wir sonst nur einen Teil der in Frage kommenden Seiten speichern können.
Man wird aber sicherlich gewisse Seiten für eine bestimmte Zeit sperren dürfen.
Ich finde es bedenklich dass die robots.txt(beim Internet Archive z.B. wird robots.txt berücksichtigt) einfach ignoriert werden soll und die Begründung ist mehr als dürftig. Warum sollte die Nationalbibliothek das Recht besitzen meine Inhalte zu kopieren und auf deren Servern zu veröffentlichen? Ich kann das nicht nachvollziehen. Wahrscheinlicher ist, dass sie einfach Angst davor haben, dass viele den Crawler mit Hilfe der robots aussperren und so eine Menge Seiten nicht archiviert werden können. Ich will meine Seiten nicht in diesem Archiv sehen!
Ich hoffe, die haben dafür kompetente Leute an Bord, ansonsten viel Spaß beim DC produzieren. 
Bookmarking:
 SEOigg it! |
 Mr.Wong |
 Linkarena |
 del.icio.us |
 Webnews |
 YiGG |
Am 15. August 2007 um 21:20 Uhr
Cloaken und den Crawler mit Session-IDs in eine Endlosschleife treiben, dann reichen die 200 TB nicht mal bis Ende 2008 aus.
Oder man könnte auch einfach die IP sperren…
Am 17. August 2007 um 08:47 Uhr
Ich glaube nicht, dass der gute Dame klar war, was sie da sagt.
Ich sehe auch weit und breit keinen Grund, warum die Nationalbibliothek ein Recht haben soll, diese Inhalte zu archivieren. Dass sie hier aber möglicherweise sogar eine Verpflichtung sieht, ist doch völlig abgehoben (um es freundlich auszudrücken).