Ranking-Verfahren in GEIN 2000 (Arbeitspapier)
Version 2.0 vom 2. Dezember 1999von Thomas Bandholtz, Sema Group GmbH, im Auftrag des Umweltbundesamts.
(Hinweis: siehe auch DV-Konzept 2.3.3 Such- und Verzeichnisdienste)
1 Vorbemerkung zum transparenten Ranking
2 Ranking bei der Schlagwortvergabe
2.1 Ranking bei der Textanalyse des Verschlagwortungsassistenten
2.1.1 Vorkommen in den Thesauri
2.1.2 Position in der HTML-Struktur
2.1.3 Signifikanz innerhalb der Schlagwortmenge
2.1.4 Quantitative Gewichtungsparameter
2.1.5 Ermittlung der Hauptklassifikation
2.2 Normalisierung der Signifikanzparameter über das gesamte Angebot
3 Ranking gegenüber einem spezifischen Anwendungsinteresse
3.1 Behandlung mehrerer Begriffe in einer Suchbedingung
3.2 Ranking beim Freitextsuchverfahren (Spontane Suche)
3.3 Ranking bei Suchverfahren im kontrollierten Wortgut (Detaillierte Suche)
4 Linkliste - klein aber fein
Dieses Dokument erfüllt zwei Funktionen: Einerseits dient es als Spezifikation der Realisierung von Rankingverfahren in GEIN 2000 gegenüber dem Auftraggeber, kann also in dieser Hinsicht aufgefaßt werden wie eine Ergänzung zum DV-Konzept aufgefaßt werden.
Gleichzeitig aber werden die Rankingverfahren den Informationsanbietern selbst vorgelegt und damit transparent gemacht. Ein derartiges Vorgehen ist in der Welt der Internet-Suchmaschinen vollkommen unbekannt.
Sander-Beuermann bemerkt dazu hinsichtlich des Ranking in Metager und der von Metager verwendeten kommerziellen Suchmaschinen:
Der genaue Ranking- und Spam-Algorithmus ist natürlich, wie bei allen Suchmaschinen, Betriebsgeheimnis: denn wer ihn im Detail kennt, könnte ihn (zeitweise) "austricksen". Aber selbst wenn ihn jemand herausfinden sollte, nützt das nichts, denn unser Algorithmus ändert sich häufig - je nachdem, was sich die Spammer an Neuigkeiten einfallen lassen. (http://www.metager.de/rank.html)
Ein derartiger ehrenwertes Motiv, nämlich ein Kampf gegen "Platzierungs-Schleich-Versuche" mit dem Ziel einer inhaltlich adäquaten Bewertung, kann Metager selbst durchaus unterstellt werden. Die großen kommerziellen Suchmaschinen des Internet haben vielleicht auch andere Motive, eine Nachvollziehbarkeit ihrer Rankingverfahren zu verhindern. Beim Kampf ums Überleben sind sie möglicherweise gezwungen, bestehende und potentielle Sponsoren in besonderer Weise zu würdigen, und dies nicht nur durch die Platzierung von Werbebannern.
Dabei scheinen sie sich zunehmend darauf zu konzentrieren, die populärsten Seiten im Web aufzuspüren [Ulrich Babiak, Effektive Suche im Internet. O´Reilly 1999. S. 104], indem z.B. bewertet wird, wieviele Links von externen Servern auf die betrachtete Seite gefunden wurden, aber auch, wie oft diese Seite von den suchenden Anwendern aufgesucht wird.
Innerhalb von GEIN sollte ein derartiger Verdrängungswettbewerb nicht erwartet werden. Wir haben es mit einer überschaubaren Anzahl nicht-kommerzieller Anbieter zu tun, und ihre angemessene Repräsentanz in den Trefferlisten kann mit fairen und für alle Teilnehmer nachvollziehbaren Mitteln kontrolliert und optimiert werden.
Diesem Zweck dient auch die Offenlegung der implementierten (oder zu implementierenden) Rankingverfahren. Sie soll allen Informationsanbietern ermöglichen, eine möglichst zutreffende Antwort auf die vom Anwender gestellte Frage zu liefern. Dabei kann die Wichtigkeit einer Information nicht absolut gesehen werden, sondern ausschließlich in Bezug auf die jeweils vorliegende Fragestellung.
Eine weitere Besonderheit in GEIN ist die Verwendung einer expliziten Verschlagwortung auf der Basis von kontrolliertem Wortgut im "semantischen Netz" der Thesauri. Das erste Interesse dient daher einer inhaltlich adäquaten Vergabe von Schlagworten, wozu der von GEIN bereitgestellte Assistent verwendet werden kann (aber nicht muß). Dieser analysiert zunächst einzelne Dokumente und versucht, die wichtigsten Schlagworte in einer Rangfolge ihrer Signifikanz zu ermitteln. Diese Vorschläge sollten zweifellos von fachlich kompetenten Personen beim Informationsanbieter bearbeitet werden.
Hierbei werden zunächst quantitative Gewichtungsparameter der Schlagworte innerhalb des Dokuments verwendet. Die dabei erreichten absoluten Zahlenwerte können zwischen verschiedenen Dokumenten gravierend abweichen. Daher ist es in einem zweiten Schritt erforderlich, die Gewichtungsproportionen über das gesamte Angebot hinweg zu normalisieren.
Erst auf dieser Basis ist es möglich, die Relevanz einzelner Dokumente in Hinblick auf die vom Anwender verwendete Fragestellung zu bewerten.
Hier geht es zunächst ausschließlich darum, die Signifikanz von Haupt- und Nebenschlagworten zu jedem Dokument in eine vergleichbare Rangfolge zu bringen. Damit wird festgelegt, welche Fragestellungen ein Dokument in welchem Ausmaß (mit welcher Spezialisierung) beantworten kann.
Dieses Verfahren wird ausschließlich bei der Vergabe von Schlagworten verwendet.
Die Textanalyse dient in erster Linie der Ermittlung von Schlagworten für die detaillierte Suche. Dabei wird zwischen allen potentiellen Schlagworten ein Ranking durchgeführt, um eine begrenzte Anzahl von Hauptschlagworten zu ermitteln, die schließlich in den RDF-Index eingehen. Folgende Kriterien finden bei der Bewertung der gefundenen Begriffe Beachtung:
Die detaillierte Suche basiert auf dem kontrollierten Wortgut von UBA- und Geo-Thesaurus. Daher gilt das Vorkommen von Begriffen in diesen Thesauri als KO-Kriterium für die Aufnahme in die RDF-Verschlagwortung.
Dennoch kann auch das darüber hinausgehende, freie Wortgut bewertet werden, um dies in der spontanen Suche zu verwenden.
Hier gibt es drei Klassen:
Vorkommen in den Metainformationen des HTML-Headers:
Hierzu gehören <TITLE> und alle <META>-Tags. Für diese Begriffe kann eine bewußte inhaltsbeschreibende Verwendung durch die Urheber der Information unterstellt werden, daher haben sie die größte Relevanz. Eine feinere Unterscheidung zwischen dem Titel und den einzelnen Meta-Tags (Description, Keywords) erscheint fraglich, solange kein einheitliches Verfahren bei der Vergabe der Begriffe existiert. Die Praxis zeigt darüber hinaus, daß speziell Meta-Tags meist nur für wenige Einstiegsseiten vergeben werden, und dann häufig mit identischen Keywords. Dennoch sollte das Meta-Tag "keywords" die höchste Priorität bekommen, da es am ehesten den Intentionen der GEIN-Verschlagwortung entspricht.
Hervorgehobene Position im HTML-Body:
Alle <Hx>, aber auch die mit Hyperlinks hinterlegten Texte und Listbox-Options. Diese Begriffe stehen jedoch hervorgehoben nur innerhalb der Seite, sie zeichnen also nicht unbedingt den Inhalt der Seite gegenüber dem Inhalt der anderen Seiten aus. Sie sind auch nicht unbedingt inhaltlich signifikant, häufig werden formale Abstrakta verwendet wie "Einleitung" oder "zurück zu vorigen Seite", die eher auf die Navigation zielen als auf eine Inhaltsbeschreibung. Die Relevanz ist daher zweitrangig. Derzeit werden nur die Headlines <H1> bis <H3> entsprechend absteigend bewertet.
Einfaches Vorkommen im HTML-Body:
Dies ist der verbleibende, in keiner Weise hervorgehobene Fließtext. Wenn man ihn überhaupt bewertet, werden dadurch alle grafisch orientierten Seiten benachteiligt, die sich primär auf Metainformation und hervorgehobene Elemente stützen müssen. Hier kommt den Autoren eine besondere Verantwortung bei der bewußten Begriffswahl zu.
Fließtext ist jedoch von unschätzbarem Wert, um den tatsächlichen Seiteninhalt zu ermitteln, unabhängig von einer gewollten Verschlagwortung durch die Autoren. Wenn Fließtext vorliegt, soll er daher auf jeden Fall analysiert werden. Die Relevanz dieser Begriffe bleibt jedoch drittrangig.
Unabhängig von der positionellen Bewertung der einzelnen Begriffe kann eine semantische Analyse der vorgefundenen Begriffsmenge die Bewertung verbessern. Hiermit ist im weiteren zu experimentieren.
Zusammenfassung "ähnlicher Begriffe" zu einen gemeinsamen Deskriptor
Das Ergebnis kann verfälscht werden, wenn die Hauptthematik in eine größere Menge sinnverwandte, aber nicht direkt synonyme Begriffe "zersplittert" wird (dies kann aus fachlicher und redaktioneller Sicht vollkommen korrekt sein). Jeder dieser Begriffe hat dann eine vergleichsweise geringe Relevanz, obwohl sie eigentlich auf dasselbe Thema zielen. Über die Analyse der Oberbegriffe der gefundenen Stichworte und ihre zugeordnete Umweltklassifikation kann dies bis zu einem gewissen Grad erkannt und korrigiert werden.
Korrigierte Häufigkeitsbewertung
Die Häufigkeit des Vorkommens desselben Begriffs im Text ist ein fragliches Indiz für die Relevanz. Sie kann auch Ergebnis einer sprachlichen Ungeschicklichkeit sein. Die Häufigkeit darf nicht einfach absolut gezählt werden, sondern muß in Beziehung gesetzt werden zur Länge des Textes und zum Umfang des verwendeten Wortschatzes.
Beachtung seltener Begriffe
Eine andere Sicht auf die Relevanz einer Information ist die Beachtung ihrer Seltenheit. Auch eher beiläufige Stichworte in einem Informationsbeitrag, die durch die bisherigen Relevanzkriterien kaum beachtet würden, können einen wichtigen Beitrag zur Gesamtinformation des GEIN darstellen, wenn zu ihnen insgesamt sehr wenig Information vorliegt. Sie sollten dann bevorzugt in die Verschlagwortung aufgenommen werden.
Dies funktioniert allerdings erst dann, wenn bereits eine in etwa repräsentative Menge an Gesamtinformation vorliegt; am Anfang ist jedes Stichwort neu. Deshalb bleibt dieser Aspekt zunächst außer Kraft. Wir werden zunächst die Häufigkeit aller Deskriptoren im statischen Index in dieser Hinsicht überwachen.
Die bisherige Diskussion der Relevanz blieb bewußt qualitativ orientiert. Ob eine höhrere Relevanz nun 2-fach oder 3-fach oder gar stärker zählen soll, also die Steilheit der Relevanzkurve, läßt sich aus grundsätzlichen Erwägungen heraus kaum zwingend ableiten. Hier muß experimentiert werden, und es können prinzipiell jederzeit Feineinstellungen verändert werden. Dabei ist allerdings die Vergleichbarkeit der Ergebnisse über alle Anbieter erforderlich. Daher sollte zunächst im Testbetrieb experimentiert werden, um dann eine konstante Einstellung für wenigstens einen kompletten Zyklus einzuhalten.
Der gegenwärtige Verschlagwortungsassistent (VA) läßt sich in dieser Hinsicht durch eine Konfigurationsdatei steuern. Sie enthält derzeit die folgenden Einträge:
<META> DESCRIPTION: 10-fach
<META> KEYWORDS: 100-fach
<TITLE>: 10-fach
<H1>: 5-fach
<H2>: 4-fach
<H3>: 3-fach
Hier nicht explizit enthalten ist die Einstellung, daß jedes einfache Vorkommen im Textbody den Wert 1 hat (Default).
Diese Einstellung ist recht "steil" zu Gunsten der Keywords, was vielleicht korrigiert werden sollte.
Modifikationen der Parameter können nur in kontrollierter Form durch das GEIN-Team vorgenommen werden, wobei eine Vergleichbarkeit aller Informationsangebote umgehend wiederhergestellt werden muß. Daher bleiben Modifikationen auf die Testphase oder größere Versionsschritte begrenzt.
Erst wenn die abschließende Bewertung und Auswahl der Schlagworte erfolgt ist, kann die Hauptklassifikation der Seite ermittelt werden. Dabei werden nur Begriffe berücksichtigt, die tatsächlich in die Verschlagwortung aufgenommen wurden, und die Klassifikation übernimmt das Ranking von diesen Begriffen.
Dennoch kann während der Textanalyse die Klassifikation der Begriffe hinzugezogen werden, um die Signifikanz innerhalb der Schlagwortmenge zu bestimmen. Derartige Zwischenergebnisse werden jedoch nicht weiter verwendet.
Dies ist heute im Verschlagwortungsassistent (VA) noch nicht realisiert.
Die Gewichtung der einzelnen Schlagworte innerhalb eines einzelnen Dokuments kann zu äußerst unterschiedlichen absoluten Zahlenwerten führen, abhängig z.B. von der Verwendung von <Meta>-Tags überhaupt, aber auch von der Ausdrucksweise des jeweiligen Autors, soweit dies die Häufigkeit bestimmter Begriffe im Text betrifft.
In einem zweiten Schritt (oder bei einer manuellen Verschlagwortung von vorn herein) wird daher von diesen absoluten Werten abstrahiert, und sie werden durch eine relative Gewichtung ersetzt, welche über das gesamte Angebot hinweg zu einheitlichen Quantitäten führt. Zugleich wird dabei die Anzahl der verwendeten Schlagwörter in dennoch flexibler Weise geregelt.
Betrachten wir dies zunächst allein hinsichtlich der thematischen Schlagworte (UBA-Thesaurus, <g2k:topic>), in einer idealtypischen, starren Form. Man könnte hier folgende Regelung vorschlagen:
Verwendet werden exakt 5 Schlagworte in einer starren Rangfolge von 1 bis 5, wobei das für das Dokument signifikanteste Schlagwort den Wert 5 erhält und die anderen jeweils um 1 im Wert abfallen:
5 Schlagwort_1
4 Schlagwort_2
3 Schlagwort_3
2 Schlagwort_4
1 Schlagwort_5
Ein solches Vorgehen würde zwar die erwünschte Vergleichbarkeit zwischen allen Dokumenten erreichen, jedoch würde die Starrheit des Rasters eine angemessene Klassifizierung verschiedener Dokumente behindern. Wir schlagen daher eine flexiblere Regelung vor, welche dennoch die Vergleichbarkeit zwischen Dokumenten nicht verringert:
Für jedes Dokument können maximal 15 Gewichtungspunkte verwendet werden, welche in freier Weise auf max. 15 Schlagworte zu verteilen sind.
Gültige Anwendungen wären z.B.:
Damit steht es dem Anbieter frei, Dokumente eher enger oder aber vielseitiger zu verschlagworten, und dabei die Rangfolge steiler oder flacher einzusetzen.
Es soll hier ausdrücklich darauf hingewiesen werden, daß mit diesem Verfahren nicht die relative Wichtigkeit der Dokumente desselben Anwenders untereinander ausgedrückt werden soll. Wir gehen davon aus, daß es keine per se wichtigen oder unwichtigen Informationen gibt, sondern daß sich Relevanz ausschließlich in Bezug auf ein spezifisches Interesse beurteilen läßt. Im vorliegenden Fall wird dieses Interesse erst durch die Fragestellung des Anwenders bekannt, es kann daher nicht bereits bei der Verschlagwortung vorausgesetzt werden.
Ist ein Informationsanbieter davon überzeugt, daß bestimmte Dokumente generell vollkommen irrelevant sein müssen, weil er sich keinerlei Interesse an den dort behandelten Themen vorstellen kann, sollte er diese Dokumente vollständig aus dem Angebot entfernen.
Hinsichtlich des Raumbezugs (Geo-Thesaurus, <g2k:area>) wird sinngemäß in gleicher Weise verfahren.
Für den Zeitbezug (<g2k:time>) gehen wir davon aus, daß dieser stets eindeutig ist, sei es als Zeitpunkt (beliebiger Genauigkeit) oder als Zeitraum. Daher soll hier keine Rangfolge verwendet werden.
Auf der Basis der bisher beschriebenen, quantifizierten Klassifikation aller Dokumente kann nun recht exakt ermittelt werden, welche Dokumente in Hinblick auf jede einzelne Fragestellung des Anwenders die jeweils relevantesten sein müssen.
Dieses Verfahren wird ausschließlich im Moment der Suche verwendet, exakt bei der Sortierung der Trefferliste. Dabei haben wir es mit zwei grundsätzlich unterschiedlichen Suchverfahren zu tun:
Die Freitextsuche ignoriert jede Unterscheidung zwischen kontrolliertem und nicht-kontrolliertem Wortgut. Sie entspricht voll dem klassischen Verfahren der Internet-Suchmaschinen, welches lediglich die Übereinstimmungen zwischen Zeichenketten in der Suchbedingung und Zeichenketten im Dokumententext (oder einem geeigneten Äquivalent) beachtet.
Die Suche im kontrollierten Wortgut dagegen stützt sich ausschließlich auf dieses Wortgut, d.h. sie führt die Suchbedingung zunächst auf dieses kontrollierte Wortgut zurück und sucht entsprechend ausschließlich in der entsprechend gewonnenen Verschlagwortung der Dokumente.
Wenngleich verschiedene Kombinationen bei der Verfahren denkbar sind, so werden sie in GEIN 2000 (wenigstens zunächst) vollständig getrennt implementiert, damit die Qualität beider Verfahren ohne voreilige Vermischungen vergleichbar wird. Es ist anzunehmen, daß jedes Verfahren Vor- und Nachteile beinhaltet. Z.B. findet die Freitextsuche auch Dokumente über Suchbegriffe, die nie einer Verschlagwortung für würdig befunden wurden, sie kann also auch ein vollkommen unvorhergesehenes Interesse beantworten. Dagegen erreicht die Suche über das kontrollierte Wortgut eine genauere Abbildung der Intentionen der Anbieter, sie ignoriert bewußt jedes "zufällige" Vorkommen von Worten (Zeichenketten) in Dokumenten, welches von den Anbietern nicht als Signifikant angesehen wurde.
Zunächst gilt also:
Die folgenden Bemerkungen unterscheiden allein zwischen Freitextsuche und Suche im kontrollierten Wortgut, unabhängig davon, ob und wie beide Verfahren in der "Spontanen" oder "Detaillierten" Suche kombiniert werden. Eine etwaige Kombination beider Suchverfahren wird auch beide Rankingverfahren in geeigneter Weise kombinieren müssen.
3.1 Behandlung mehrerer Begriffe in einer Suchbedingung
Die Verwendung mehrerer Begriffe in einer Suchbedingung ist sehr verbreitet. Überlicherweise werden die Begriffe entweder durch logisches ODER oder durch logisches UND verknüpft.
Hinsichtlich des Rankings führt die Verknüpfung mit UND zu einem einzigen KO-Kriterium: Nur Dokumente, welche alle angegebenen Suchbegriffe beantworten, tauchen in der Trefferliste auf. Dieses Kriterium geht allen anderen Betrachtungen voraus, und zwar ganz gleich, ob im Freitext oder im kontrollierten Wortgut gesucht wird. Für ein Dokument, welches nicht alle UND-verknüpften Begiffe beantwortet, gibt es keine Möglichkeit, auf anderem Wege doch noch in die Treffermenge aufgenommen zu werden.
Im Fall der ODER-Verknüpfung reicht es aus, wenn wenigstens einer der verwendeten Suchbegriffe vom Dokument beantwortet wird. Hier geht nun in die Rangfolge ein, wie viele der Suchbegriffe beantwortet werden. Alle Dokumente, die auch einer UND-Verknüpfung genügt hätten, stehen folglich in dieser Trefferliste ganz oben. Man kann daher sagen, daß die Trefferliste einer ODER-Verknüpfung die Trefferliste der entsprechenden UND-Verküpfung beinhaltet und erweitert.
3.2 Ranking beim Freitextsuchverfahren (Spontane Suche)
Die Suche im Freitext kann sich (bei strikter Methodentrennung) nicht auf die Gewichtungsparameter der G2k-Verschlagwortung stützen, da diese Verschlagwortung nicht Bestandteil des Dokumententextes ist.
Im Prinzip muß sie ebenso (oder ähnlich) vorgehen wie der Verschlagwortungsassistent bei der Textanalyse, abgesehen von der Reduktion auf das kontrollierte Wortgut. Sie kann unterscheiden, ob ein Suchbegriff im Titel oder lediglich im Textkörper vorkommt, die Häufigkeit bewerten usw..
Aus Gründen der Methodenvergleichbarkeit ist die Freitextsuche in GEIN 2000 bisher durch externe Komponenten implementiert, welche aus gängigen Internet-Suchmaschinen entnommen sind. Hier wurde lediglich die Menge der durchsuchten Dokumente auf das Angebot der GEIN-Informationsanbieter begrenzt. Weitere Eingriffe in die von der Komponente verwendeten Verfahren wurden nicht vorgenommen, daher ist auch das Ranking dieser Suchmaschine(n) nicht an die GEIN-Spezifikation gebunden.
Es macht sich hier bemerkbar, was eingangs erwähnt wurde, daß nämlich diese Such-Maschinen ihr Ranking-Verfahren meist nicht offenlegen.
Die gegenwärtig verwendete Open-Source-Maschine ht://Dig kann hier eine Ausnahme machen, da es sich nicht um ein kommerzielles Projekt handelt. Die Ranking-Verfahren werden dort offen diskutiert, aber selbstverständlich gehorchen sie nicht einer GEIN-Spezifikation. Dennoch stimmen sie im wesentlichen mit unseren Anforderungen überein.
Wer dies näher betrachten möchte, kann auf der Homepage von ht://Dig unter "Quick Search" das Suchwort "ranking" eingeben.
Eine exakte Verwendung der G2K-spezifischen Rankingkriterien ist aber ausgeschlossen, wenn als Spontan-Suchmaschine eine Produktkomponente eingesetzt wird, welche ihre eigenen Verfahren verwendet.
Das Suchverfahren im kontrollierten Wortgut wird eigens für GEIN implementiert und kann daher exakt spezifiziert werden.
Zunächst verwendet es die in Abschnitt 2.2 vorgestellte Normalisierung der Signifikanzparameter über das gesamte Angebot. Demnach besitzt jedes vergebene Schlagwort einen numerischen Signifikanzwert zwischen 1 und 15. Je höher dieser Wert ist, desto spezieller geht das Dokument auf das betreffende Suchwort ein.
Betrachten wir also einen Suchbegriff allein, so wird die Trefferliste ausschließlich nach diesem Signifikanzwert in der Dokumentenverschlagwortung sortiert werden können. Dokumente, die thematisch vielseitiger sind und den Suchbegriff nur "unter anderem" behandeln, landen entsprechend weiter hinten.
Kombinieren wir dieses Vorgehen mit der Behandlung mehrerer Begriffe in einer Suchbedingung, so ergibt sich folgendes:
Bei einer UND-Verknüpfung sind nur Dokumente in der Trefferliste enthalten, welche in ihrer Verschlagwortung alle Suchbegriffe enthalten. Die Sortierfolge entspricht der Summe der betroffenen Signifikanzwerte.
Bei einer ODER-Verknüpfung soll Signifikanz vor Begriffsmenge gehen. D.h.: Die Sortierfolge entspricht auch hier der Summe der Signifikanzwerte aller mit den Suchbegriffen übereinstimmenden Schlagworte. Dies kann z.B. dazu führen, daß ein Dokument die Trefferliste anführt, welches nur ein einziges der angegebenen Suchbegriffe beantwortet, dies aber mit einem Signifikanzwert von 15. Ein anderes Dokument, welches drei der Suchworte beantwortet, folgt dahinter, wenn die Summe der drei Signifikanzwerte maximal 14 erreicht. Lediglich bei Gleichheit der Signifikanzsumme soll die Anzahl der beantworteten Suchbegriffe den Ausschlag geben.
Diese Kriterien gelten zunächst isoliert innerhalb der Kriterien Thema und Raumbezug. (Die Ausnamestellung des Zeitbezugs wurde bereits erwähnt, es gibt nur einen einzigen Zeitbezug je Dokument).
Zwischen Thema, Raum und Zeit wird ausschließlich eine UND-Verknüpfung verwendet. D.h. die Signifikanzsummen von Thema und von Raum werden addiert.
Linkliste - klein aber fein
Einen online Service zum Test der eigenen Relevanz aus der Sicht namhafter Suchmaschinen findet sich unter http://www.MetaPosition.de (deutschsprachig) oder http://www.rankthis.com/ (international).
Internetkurs Homepage an der Fakultät für Pädagogik der Universität der Bundeswehr München: http://www.unibw-muenchen.de/campus/Paed/ik.html
Die Homepage der gegenwärtig in GEIN 2000 eingesetzten Freitext-Suchmaschine: http://www.htdig.org/
Weitergehende Analysen und Vergleiche: http://www.searchenginewatch.com/