"Die Objektivität, Reliabilität und Validität der Wissensakquisition von Expertensystemen"
© Thimo Echtermann, Universität Dortmund, Dezember 1990





2. Systematik der Methoden
 

Eine Systematik der Methoden zur Wissenserhebung soll die verschiedenen in der Literatur vorgestellten Instrumente sachlogisch zusammenfassen und deren Verwandtschaftsgrad aufzeigen. Je nach Stärke des Verwandtschaftsgrades gelten Kritikpunkte und Empfehlungen zur Vorgehensweise bei der Anwendung nicht nur für den "typischen Vertreter", wie er in den folgenden Kapiteln beschrieben wird, sondern ebenso in gewissem Maße für die Varianten. Viele Varianten unterscheiden sich nur in wenigen Merkmalen voneinander, bleiben jedoch der grundsätzlichen Kritik der Methodenkategorie verhaftet.

Ein Vorschlag von Stender soll hier kurz als Beispiel für zu grobe Gliederung aufgezeigt werden. Er teilt die Wissensakquisitionsinstrumente in drei Hauptkategorien ein: In Interviewtechniken, Beobachtungstechniken und andere Techniken. In der umfangreichsten Kategorie "andere Techniken" sind Instrumente aufgeführt, die sich hinsichtlich ihrer Gütekriterien sehr stark unterscheiden und doch einer Kategorie angehören, wie beispielsweise Konstruktgitterverfahren und Gruppendiskussion.

Einen in dieser Hinsicht gelungeneren Vorschlag machen Reitman-Olson und Rueter. Sie unterteilen die Instrumente zuerst in direkte und indirekte Methoden. Direkte Methoden erfassen das Wissen, daß der Experte direkt dem Wissensingenieur übermitteln kann, beispielsweise durch Interview oder Befragung. Voraussetzung der direkten Wissensübermittlung durch schriftliche oder mündliche Artikulation ist eine ausreichende Bewußtheit des Wissens, die eine direkte Informationsübermittlung erst möglich macht.

Die indirekten Erhebungsmethoden sind dann angebracht, wenn das Expertenwissen nicht ausreichend bewußt gemacht werden kann. Liegt das Wissen in stark komprimierter Form vor, dann ist es dem Experten oftmals unmöglich, Zwischenschritte von Schlußfolgerungen anzugeben, da sie bei ihm automatisch, unbewußt ablaufen. Ebenso können komplexe Zusammenhänge nur schwer in alle Details aufgelöst werden.

Zu den direkten Methoden gehören Introspektion, Befragung, Inhaltsanalyse, kommentierte Beobachtung und sonstige Techniken. Die Introspektion benötigt zwar keinen Wissensingenieur, da in diesem Falle der Experte sein eigener Wissensingenieur ist, oder anders betrachtet, das Wissensakquisitionswerkzeug die Rolle des Wissensingenieurs übernimmt, aber gerade deshalb muß das Wissen einen hohen Bewußtheitsgrad haben, damit der Experte sein Wissen direkt in Form von Regeln in die Wissensbasis eingeben kann (siehe Kap. 3.1.1.). Die Befragung unterteilt sich in mündliche und schriftliche Befragung. In beiden Fällen kann der Experte sein Wissen durch Wort oder Schrift an den Wissensingenieur übermitteln, wobei der Wissensingenieur durch gezieltes Nachfragen fehlende Schlußfolgerungsschritte dem Experten bewußt machen kann. Dies gelingt bei der mündlichen Befragung um so besser, je weniger strukturiert die Befragung ist. Daher wurde die mündliche Befragung noch einmal in strukturierte (siehe Kap. 3.2.1.) und unstrukturierte (siehe Kap. 3.3.1.) Befragungstechniken aufgegliedert. Die schriftliche Befragung wendet sich im allgemeinen an mehrere Experten, in der Form des mailed questionaire, des postalisch verschickten Fragebogens, oder in der Variante der Delphi-Methode. Bei Letzterer werden die Meinungen der Experten schriftlich und anonym ermittelt, der Abgleich bei unterschiedlichen Ansichten erfolgt folgendermaßen: Jeder Experte erhält die ausgefüllten Fragebögen der anderen Experten, und kann auf diesen seine Kritik notieren, danach werden die Bögen wieder neu verteilt. Ist nach mehreren Durchgängen noch keine einheitliche Meinung feststellbar, muß zur Klärung eine Gruppendiskussion herangezogen werden. Hinweise auf den praktischen Gebrauch des postalisch verschickten Fragebogens zur Erfassung von Expertenwissen tauchen in der einschlägigen Literatur nicht auf. Bei den negativen Erfahrungen, die der Verfasser mit der Datenqualität von solchen Fragebögen gemacht hat, ist von dieser Methode ebenfalls abzuraten.

Bei der Inhaltsanalyse stellen schriftliche Unterlagen (Handbücher, Fachbücher etc.) die Wissensquelle des Wissensingenieures dar. Ein Experte ist also nicht interaktiv vorhanden. Trotzdem liefern diese schriftlichen Unterlagen Informationen, die sich direkt in Regeln umformen lassen, die teilweise sogar schon in Form von Regeln vorliegen. Die Inhaltsanalyse kann in quantitative und qualitative Varianten unterteilt werden (siehe Kap. 3.5.1.)

Etwas problematisch ist die Einordnung der Beobachtungstechniken. Die Beobachtung ist dann angemessen, wenn die mündliche oder schriftliche Verbalisierungsfähigkeit des Experten nicht mehr ausreicht, das Wissen dem Wissensingenieur zuverlässig direkt zu vermitteln. Aus dieser Sicht heraus wäre die Beobachtung unter der Kategorie indirekter Techniken einzuordnen. Da im allgemeinen der Experte aber seine beobachtbaren Handlungen selbst zusätzlich kommentiert, wie beispielsweise bei der Protokollanalyse, der Wissensingenieur aber eher auf die Kommentare des Experten achtet, anstatt die Handlungsabläufe selber zu interpretieren, wäre diese Technik unter den direkten Techniken einzugliedern. Es erscheint dem Verfasser sinnvoll, die Beobachtungstechniken in vom Experten kommentierte und nichtkommentierte Techniken einzuteilen. Zu den kommentierten und damit direkten Beobachtungstechniken zählt demnach die Protokollanalyse, die retrospektive Protokollanalyse und die Interruptionanalysis (siehe Kap. 3.4.1.). Die sonstigen Techniken beinhalten die Methoden Gruppendiskussion und Brainstorming. Bei der Gruppendiskussion wird eine Expertengruppe gebeten, über ein bestimmtes Thema unter leitender, aber neutraler, Betreuung des Wissensingenieurs zu diskutieren. Der Wissensingenieur nimmt Wortmeldungen entgegen und weist auf Gegenargumente hin. Durch das Austauschen unterschiedlicher Meinungen kann ein Klärungsprozeß in Gang gesetzt werden. Brainstorming bezeichnet einen Prozeß der Ideenfindung, bei dem in lockerer Gesprächsrunde mehrere Experten in freiem Gedankenspiel möglichst viele Ideen und Vorschläge nennen sollen. Wichtig ist, daß während des Brainstorming selbst bei "unglaublich" oder "lächerlich" erscheinenden Nennungen keine Kritik stattfindet.

Neben der Blickaufzeichnungsmethode als Vertreter der nichtkommentierten Beobachtung gehören Skalierungsmethoden und Strukturdarstellungsmethoden zu den indirekten Techniken. Die Letzteren werden dort benutzt, wo der Experte komplexe Zusammenhänge oder Beziehungen von Wissenselementen nicht mehr verbal (durch Wort oder Schrift) artikulieren kann, da die Unterschiede zwischen den zu klassifizierenden Elementen so gering sind, daß sie sich sprachlich kaum noch beschreiben lassen. Bei der psycho-biologischen Blickaufzeichnungsmethode werden mit Hilfe eines brillenähnlichen Bildaufzeichnungsgerätes die Fixationen (Ruhepunkte) und Saccaden (Bewegungen) der Augen des Experten registriert. Der Output besteht aus einem bewegten Videobild, das das gesamte Blickfeld der Testperson zeigt, sowie einen kleinen Lichtpfeil, der auf das jeweils fixierte Element hinweist. Bei den Skalierungsmethoden (siehe Kap. 4.1.1.) werden Ähnlichkeiten zwischen Elementen beispielsweise durch Distanzzahlen repräsentiert. Zu den Techniken, die Distanzzahlen benutzen, gehören Multidimensional Scaling, Johnson hierarchical clustering, general weighted networks und das Konstruktgitterverfahren (repertory grid analysis). Bei den Strukturdarstellungsmethoden (siehe Kap. 4.2.1.) werden Wissenselementen Clustern (Mengen) von ähnlichen Elementen zugeordnet, um eine Verwandtschaftsstruktur zu erhalten. Hierzu gehören die Techniken ordered trees from recall, Heidelberger Strukturlegetechnik und Networking. Die Heidelberger Strukturlegetechnik zeigt die Relationen zwischen den Wissenselementen durch Legen von Karten, auf denen Verwandtschaftssymbole aufgedruckt sind. Ähnlich ist das Networking, bei dem die Elemente ebenfalls durch Karten mit Verwandtschaftssymbolen verbunden werden.

Abb. 1: Systematik der Methoden