"Die Objektivität, Reliabilität und Validität der Wissensakquisition von Expertensystemen"
© Thimo Echtermann, Universität Dortmund, Dezember 1990





4. Indirekte Wissensakquisitionsmethoden

4.1. Multidimensional Scaling

4.1.1. Beschreibung der Methode

Skalierungstechniken, wie das multidimensional scaling, im weiteren MDS genannt, haben eine Tradition in der kognitiven Psychologie und wurden zur Untersuchung der Organisation von Konzepten im menschlichen Gedächtnis eingesetzt. Der Wissensingenieur benutzt diese Methoden, um die konzeptionelle Struktur eines Problembereiches zu analysieren, nicht um Regeln zu erzeugen.

MDS ist eine Technik die, für die vom Experten genannten Konzepte und Objekte des Problembereiches, Distanzschätzungen erfordert. Voraussetzung für die Anwendung der MDS ist eine symmetrische Ähnlichkeitsbeziehung (A ist genauso ähnlich zu B, wie B zu A) und eine graduelle Ähnlichkeit (also nicht nur die Aussage: ähnlich oder nicht ähnlich). Beispielsweise werden zur Unterscheidung der Konzepte Haustiere und wilde Tiere vom Experten Objekte wie Schaf, Ziege und Löwe) genannt und gesammelt: Nun fragt der Wissensingenieur den Experten nach der Ähnlichkeit von Schaf und Ziege. Der Experte schätzt daraufhin die semantische Distanz der Elemente dieses Objektpaares anhand einer mehrstufigen, numerischen Skala. Dieser Vorgang wiederholt sich für alle möglichen Kombinationen von Objektpaaren, bis eine Matrix von Ähnlichkeitsbeziehungen vorliegt. Nach der mathematischen Analyse durch ein Computerprogramm, wird für jedes Element die Abweichung zwischen dem tatsächlichen Standort im Lösungsraum und der idealen Übereinstimmung mit dem Konzept Haustier oder wildes Tier berechnet und ausgegeben. Aufgrund der Ähnlichkeit können Cluster (Gruppen) gebildet werden, die semantisch ähnliche Objekte zusammenfassen.

Folgende Skalierungstechniken werden weiterhin in der Literatur erwähnt:

- Johnson hierarchical clustering

Im Unterschied zur MDS wird weder Symmetrie noch eine graduelle Ähnlichkeit vorausgesetzt. Aufgrund der, bei hierarchischen Beziehungen, mangelnden Symmetrie wird lediglich eine Halbmatrix von Ähnlichkeitsbeziehungen erzeugt. Diese Methode geht davon aus, daß ein Objekt entweder zu einem Cluster gehört, oder nicht. Die Zuordnung erfolgt entsprechend der Ähnlichkeitsabstände.

- General weighted network

Wie bei MDS erstellt der Experte eine Matrix symmetrischer Ähnlichkeitsbeziehungen. Die Grundüberlegung ist die, daß der Experte beim Erstellen der Ähnlichkeitsbeziehungen in seinem Gedächtnis einem Assoziationsnetzwerk folgt und die gefundenen Beziehungen in Distanzzahlen übersetzt. Zur Rekonstruktion dieses Netzwerks werden die Objekte entsprechend ihrer Distanzzahlen grafisch miteinander verbunden, so daß ein Netzwerk aus minimalen Verbindungslinien entsteht. Danach werden Verbindungslinien hinzugefügt, wenn sie kürzer sind als die Verbindungslinien zwischen zwei Objekten, die nur über andere Objekte hinweg verbunden sind. Anschließend wird das Netzwerk beispielsweise auf dominierende Konzepte hin untersucht, das sind die Objekte (Knoten), die die meisten Verbindungen zu anderen Objekten (Knoten) besitzen.

- Konstruktgitter-Verfahren

Konstruktgitter-Verfahren (repertory grids)haben das Ziel, Konstrukte (Möglichkeiten, die Welt zu strukturieren) und Konstrukt-Dimensionen von Experten zu erfragen. Dies geschieht, indem der Experte vom Wissensingenieur aufgefordert wird, semantisch ähnliche Konzepte oder Objekte aus einem bestimmten Wissensbereich zu benennen. Aus diesen bildet der Wissensingenieur Tripel von Objekten oder Konzepten. Nun muß der Experte Konstrukt-Dimensionen erzeugen, also eine Eigenschaft nennen, die zwei Elemente dieses Tripels gemeinsam haben, das dritte Element jedoch nicht besitzt. Beispielsweise kann gefragt werden, ob es eine Eigenschaft gibt, die Leitrad und Pumpenrad gemeinsam haben, die aber kein Merkmal von Turbinenrad ist. Dieses Verfahren wird mit weiteren Kombinationen von Tripeln wiederholt.
 
 

4.1.2.1 Objektivität

Der Grad der Durchführungsobjektivität der MDS-Methode ist hoch, da der Experte die Konzepte und Objekte selbst generiert, sie also nicht vom Wissensingenieur vorgeschlagen werden. Die Bildung der Objektpaare erfolgt, unbeeinflußt durch den Untersucher, streng systematisch, da alle möglichen Objekt-Kombinationen befragt werden. Der Wissensingenieur stellt die Matrix zusammen, weist auf fehlende Angaben hin und trägt angegebene Ähnlichkeitswerte in die Matrix ein.

Die Auswertungsobjektivität ist ebenfalls als sehr hoch einzuschätzen, da der Experte auf die Frage nach den Ähnlichkeitsbeziehungen in Form numerischer Werte antwortet. Diese standardisierten Antworten sind objektiv auszuwerten und für das Computerprogramm zu vercoden.

Etwas problematisch hingegen ist die Interpretationsobjektivität. Die Ergebnisse der Methode können nicht direkt als Grundlage für Inferenzprozesse dienen, sondern der Output der Skalierungstechnik muß noch interpretiert werden. Der Untersucher hat zwar numerische Distanzwerte erfaßt, die im allgemeinen objektive Interpretationen ermöglichen (siehe auch Kap. 1.2.), in diesem Falle besteht jedoch ein Interpretationsspielraum in der Auslegung der Ähnlichkeiten: Ab welchem numerischen Wert kann, zur sinnvollen Regel- bzw. Framegenerierung (siehe auch Kap. 5.4.1.), von ausreichender Ähnlichkeit zwischen zwei Objekten gesprochen werden?
 
 

4.1.2.2. Reliabilität

Die Zuverlässigkeit der MDS-Methode hängt entscheidend davon ab, ob der Experte zwei Objekten auch bei einer Testwiederholung dieselben Distanzzahlen zuordnet. Die Retest-Reliabilität wurde jedoch noch nicht untersucht, die Paralleltest-Reliabilität mangels vergleichbarer Methode ebenfalls nicht. Es kann jedoch angenommen werden, daß eine Testwiederholung keine vollkommen übereinstimmenden Distanzzahlen zum Ergebnis hätte, da der Experte die Ähnlichkeitswerte nur zu schätzen vermag. Wenn der Experte zwischen den kleinen Distanzen zu extrem differenziert, läuft er Gefahr, die großen Distanzen zu unterschätzen. Dazu kommt die Schwierigkeit, daß sich "Unähnlichkeit" nicht gut verankern läßt. Der Experte sollte also zuerst das Objektpaar suchen, daß die geringste Ähnlichkeit besitzt, anschließend wird dieses Paar in die Extremkategorie eingeordnet. Alle anderen Paare sollten dann zwischen Null und dem Extrempaar entsprechend untergebracht werden, um den Effekt des Unterschätzens zu vermeiden.

Im übrigen ist die Datenerhebung monoton, langwierig und für den Experten sicherlich ermüdend. Da jedes Objekt mit allen anderen Objekten gepaart werden muß, ergibt sich schon bei einer geringen Anzahl von Objekten eine große Menge von Objektpaaren. Die Nennung von beispielsweise n=20 Objekten erzeugt n*(n-1)/2, also 190 Objektpaare. Arbeitet der Experte anfangs noch bereitwillig und konzentriert mit, so wird die Konzentration und die Bereitwilligkeit immer mehr schwinden und demzufolge die Qualität der Distanzschätzungen abnehmen.
 
 

4.1.2.3. Validität

Das intuitive und komprimierte Expertenwissen muß zwar nicht, wie bei anderen Methoden, in Sprache übersetzt werden, aber einfache Distanzwerte anzugeben entspricht nicht der Natur der Expertise. Menschen geben lieber umfangreiche, verbale Erklärungen ab, als mit abstrakten Zahlen zu arbeiten. Diese, für den Experten ungewohnte, Distanzschätzung wird daher mangels Erfahrung fehlerbehaftet sein. Er ist gezwungen, eine hochkomplexe Beziehung zwischen zwei Objekten in einer einzigen Zahl zu verdichten. Dabei gehen aber die facettenreichen Beziehungsstrukturen verloren, denn sie können nicht in einem numerischen Wert manifestiert werden. Trotzdem kann es bei bestimmten Problemen besser sein, auf diese Methode zurückzugreifen: Unterscheiden sich beispielsweise die Laufgeräusche einer funktionierenden und einer defekten Turbine nur minimal, so besitzt der Experte eventuell kein Vokabular, um diese subtilen Unterschiede zu verbalisieren. Distanzzahlen können in solchen Fällen dienlich sein, da die Unterscheidungskriterien höher aufgelöst werden.
 
 

4.2. Heidelberger Strukturlegetechnik

4.2.1. Beschreibung der Methode

Der Wissensingenieur versucht mit Hilfe der Heidelberger Strukturlegetechnik, die sogenannten "subjektiven Theorien" des Experten zu ermitteln. Es wird angenommen, daß die Handlungen des Experten nur dann voll verstanden werden, wenn sein Wissen, seine Vorurteile und Annahmen über die Welt, also seine "subjektive Theorie", als Referenzsystem genommen wird. Die Handlungen und Überlegungen des Experten innerhalb des interessierenden Problembereiches sind nicht von seiner allgemeinen Lebenseinstellung trennbar. Daher wird die "subjektive Theorie" des Experten erfragt, indem Konzepte des Problembereiches und deren Beziehungen untereinander erhoben werden.

Zuerst müssen die Konzepte des Wissensgebietes im Intensivinterview mit dem Experten erhoben werden. Nachdem einige allgemeine Konzepte erfragt wurden, wird der Experte in der Form des "harten" Interviews mit, vom Wissensingenieur angelesenen, differierenden Hypothesen konfrontiert und muß zu diesen Stellung nehmen. Damit versucht der Wissensingenieur, die "subjektiven Theorien" des Experten zu erfragen. Nach dem Interview werden die wichtigsten Konzepte auf Karten geschrieben, wobei grüne Karten für Konzepte, die die Struktur des Wissensgebietes definieren, und rote Karten für Konzepte, die eine sonstige Beziehung zum Wissensgebiet besitzen, benutzt werden.

Um die Beziehungen und Interdependenzen zwischen den Konzepten aufzuzeigen, werden Konzeptkarten durch Karten mit Beziehungssymbolen miteinander verbunden. Es gibt Karten, die u.a. "Identität oder "Subkategorie" symbolisieren. Möchte der Experte beispielsweise ausdrücken, daß "Auto" und "Automobil" per Definition identische Konzepte sind, so legt er die beiden entsprechend beschriebenen Kärtchen auf eine Unterlage, dazwischen eine Karte mit dem Symbol "=" (für "identisch"). Nebenbei besteht auch die Möglichkeit, Konzepte logisch miteinander zu verknüpfen: Horizontale Anordnung der Karten entspricht einer "UND"-Verknüpfung, vertikale einer "ODER"-Beziehung.

Eine Variante der Strukturlege-Methode ist das Networking. Ohne vorheriges Interview wird der Experte aufgefordert, ein Diagramm zu zeichnen oder mit Hilfe von kleinen Kärtchen zu legen. Das Diagramm ist ein Netzwerk, daß aus Knoten (Konzepten) und Kanten (Beziehungen) besteht. Die Kanten werden mit Beziehungssymbolen versehen, so entspricht "p" "part of" oder "t" "type of, example of". Um beispielsweise zu zeigen, daß die Finger ein Teil der Hand sind, schreibt der Experte die Knoten "Hand" und "Finger", und neben die Kante (Verbindungslinie) das Symbol "p". Wird das Netzwerk aus Karten gebildet, schreibt der Experte die beiden Knotenbezeichner "Hand" und "Finger" auf eine Karte und legt die Symbolkarte "p" zwischen die beiden Knoten.

Eine weiter Methode, ordered trees from recall genannt, geht von der Annahme aus, daß das Expertenwissen in thematisch zusammengefaßten Clustern im Gedächtnis des Experten vorliegt und während des Erinnerungsvorganges zuerst der Inhalt eines Clusters vollständig abgerufen wird, bevor der nächste Cluster an die Reihe gelangt.

Der Experte wird aufgefordert, eine begrenzte Zahl n von Objekten des interessierenden Themenbereiches zu nennen. Diese werden vom Wissensingenieur notiert. Der Wissensingenieur gibt nun eines der genannten Objekte als Vorgabe, worauf der Experte nochmals die verbleibenden n-1 Objekte nennt. Dieser Vorgang wiederholt sich bei wechselnden Vorgabeobjekten mehrmals. Schließlich werden die genannten Objektreihungen auf Regelmäßigkeiten untersucht. Festzustellen ist, daß viele Objekte immer aufeinanderfolgend genannt werden und "Klumpen" bilden. Diese "Klumpen" werden in der Form einer Baumstruktur aufgezeichnet und erlauben Rückschlüsse auf die Struktur des Expertenwissens.
 
 

4.2.1.1. Objektivität

Die Durchführungsobjektivität bei der Heidelberger Strukturlege-Technik (im weiteren HST genannt) ist geringer als bei der Methode des MDS. Die HST benutzt zur Sammlung der Konzepte und der "subjektiven Theorien" die Methode des (sogar teilweise harten) Interviews. Die daraus resultierende Verminderung der Objektivität wurde bereits in Kapitel 3.2.1.1. beschrieben.

Nachdem die Konzepte erhoben wurden, muß der Wissensingenieur die wichtigsten Konzepte auswählen und auf Karten schreiben. Das Ausfiltern der Konzepte aus dem Interviewverlauf ist subjektiv beeinflußt, denn je nach Kenntnisstand des Erhebers haben die Konzepte eine unterschiedliche Relevanz für den Problembereich. Eine Möglichkeit diese Beeinflussung zu vermeiden besteht darin, daß der Experte die Konzepte auswählt. Allerdings ist zu beachten, daß die zur Verfügung stehende Zeit des Experten sehr begrenzt und kostenintensiv ist.

Auch die Auswahl der, mit dem Experten in der Form des harten Interviews zu diskutierenden, Hypothesen ist subjektiv beeinflußt, da der Wissensingenieur sich die Hypothesen durch eine Inhaltsanalyse angeeignet hat (Siehe dazu auch Kapitel 3.5.1.1.).

Die Auswertungsobjektivität ist, unter Berücksichtigung der die Objektivität begrenzenden, eben genannten Methoden, relativ hoch, da der Experte sein Wissen in standardisierter Form übergibt. Diese Standardisierung kommt durch das Legen der Karten zustande, das dem Erheber keinen Auswertungsspielraum läßt. Auch der Interpretationsspielraum ist minimal, da der Experte die Interpretationen der Beziehungszusammenhänge durch Auswahl der Symbolkarten selbst vornimmt.
 
 

4.2.1.2. Reliabilität

Der Hauptvorteil dieser indirekten Methode ist der, daß der Experte sein teilweise unbewußtes Wissen nicht verbal oder schriftlich artikulieren muß. Komplexe Beziehungsrelationen lassen sich mit indirekten Methoden, wie der HST, erheben, wo direkte Methoden versagen. Mangelnde Motivation oder sinkende Konzentration können als Fehlerfaktor vernachlässigt werden, denn die Experten hatten mit großer Freude in der Praxis an dieser Erhebungsmethode teilgenommen, möglicherweise wurde der in jedem Menschen vorhandene Spieltrieb angeregt.

Nachteilig mag sich das Intensivinterview zu Anfang der Prozedur auswirken. Bei der Erfassung der "subjektiven Theorien" ist der Wissensingenieur interaktiv beteiligt und kann die, in Kapitel 3.2.1.2 erläuterten, reliabilitätsvermindernden Fehler verursachen.
 
 

4.2.1.3. Validität

Die Gültigkeit der HST ist davon abhängig, daß die mit Karten dargestellte Struktur tatsächlich der Wissensstruktur des Experten entspricht. In der Regel können die indirekten Wissenserhebungsmethoden den Anteil unbewußten Expertenwissens besser erheben, als direkte Techniken. Das Legen von Konzept- und Beziehungskarten vermag die teilweise unbewußte Wissensstruktur darzustellen, während ihre verbale Artikulation dem Experten größere Schwierigkeiten bereiten würde. Fraglich ist jedoch, ob in der begrenzten Menge verschiedener Beziehungskarten alle relevanten Beziehungssymbole vorhanden sind. Ist dies nicht der Fall, so muß sich der Experte für eine Karte entscheiden, die mit seinen Vorstellungen nicht vollkommen übereinstimmt. Werden jedoch zu viele differenzierte Beziehungssymbole zur Auswahl gestellt, so wird der Experte nicht mehr intuitiv entscheiden, sondern aufgrund der schwierigen Zuordnung versucht sein, über sein eigenes Wissen zu theoretisieren.