3. Direkte Wissensakquisitionsmethoden
 

3.1. Introspektion

3.1.1. Beschreibung der Methode

Bei der Introspektion untersucht der Fachexperte seine eigenen Entscheidungsprozesse, Schlußfolgerungsschritte oder Problemlösungsstrategien und erzeugt mit den auf diese Weise erhaltenen Regeln selbst das Expertensystem. Da kein Wissensingenieur an der Erstellung des Systems beteiligt ist, muß der Fachexperte dessen Aufgaben übernehmen. Voraussetzung für diese Form der Wissensakquisition ist entweder, bei mangelnden Informatikkenntnissen des Experten, eine sehr mächtige Wissensakquisitionskomponente (ein Wissensakquisitionswerkzeug, wie z.B. KRITON o.ä.), oder, bei einer weniger "intelligenten" Akquisitionskomponente, ausreichendes Verständnis für die Struktur und "Denkweise" des Systems. Waterman sieht dies jedoch als sehr seltene Kombination an. Ein guter Fachexperte, der zugleich ein guter Wissensingenieur ist, sollte einen anderen Experten als Wissensquelle heranziehen und selbst nur die Funktion des Wissensingenieurs übernehmen, da diese in der Regel seltener zu finden sind, als gute Fachexperten. Beide Funktionen in einer Person vereint, das verstößt gegen Watermans Grundsatz "Don't be your own expert!". Die Nichtbeachtung dieses Grundsatzes hätte eine fehlerbehaftete Wissensbasis zur Folge:
 
 

3.1.1.1. Objektivität

Ist der Fachexperte gleichzeitig sein eigener Wissensingenieur, kann die Wissenserhebung nicht objektiv sein. Dazu müßten die Ergebnisse der Wissenserhebung vom Untersucher, also vom Experten selbst, unabhängig sein. Eine Unterstellung, daß dies möglich sei, wäre definitionsgemäß nicht zu verifizieren, da kein zweiter Untersucher als Kontrollinstanz denkbar ist. Aus diesem Grund wird die Introspektion als nicht objektiv beurteilt.
 
 

3.1.1.2. Reliabilität

Gemäß der Definition aus 1.5. kann die Reliabilität nicht größer sein als die Objektivität. Da Expertenwissen höchst komplex aufgebaut ist und stark kompiliert vorliegt, werden nur die wichtigsten Schlußfolgerungsschritte angegeben, die dazwischenliegenden Schritte bleiben unbewußt, oder werden nicht angegeben, da sie für den Experten selbstverständlich und offensichtlich sind. Barrett beschreibt dies am Beispiel des Verfassens seines Werks "Expert Systems in Business". Er und sein Mitautor Beerel hatten Schwierigkeiten, ihr intuitiv vorhandenes Wissen in Worte zu fassen. Sie führen aus, daß es in solchen Situationen hilfreich ist, einen Ansprechpartner zu haben, dem man etwas erklären kann. Dadurch würde man gezwungen, seine eigenen Methoden und Argumente zu überdenken und zu vervollständigen.
 
 

3.1.1.3. Validität

Da die Validität nicht größer als die Objektivität sein kann, ist die Introspektion nicht valide. Als Begründung kann Waterman angeführt werden, der davon ausgeht, daß durch die Komplexität des Expertenwissens, dieses dem Experten zum großen Teil unbewußt ist. Dies kann dazu führen, daß er bei Erklärungsversuchen plausible Schlußfolgerungsschritte konstruiert, die nicht seinem tatsächlichen Expertenwissen entsprechen. Waterman nennt dies das knowledge engineering paradox: Je kompetenter der Fachexperte ist, desto weniger ist er in der Lage, sein Problemlösungswissen zu beschreiben. Als Lösung für dieses Problem sieht Waterman nur die Hilfe und Beteiligung eines Ansprechpartners.
 
 

3.2. Intensivinterview

3.2.1. Beschreibung der Methode

Alle Formen der mündlichen Befragung, die nicht-standardisierte Fragen beeinhalten und hinsichtlich der Fragenanordnung nur gering oder gar nicht strukturiert sind, gehören der Gruppe der Intensivinterviews an. Beim Intensivinterview geht der Interviewer stärker auf den Befragten ein, sein Spielraum, Fragen zu formulieren, Nachfragen zu stellen, ist erhöht. Der Wissensingenieur hat die Möglichkeit, die Befragung den spezifischen Problemen und Bedürfnissen des Experten anzupassen. Der Befragte andererseits wird die Antworten frei formulieren und dadurch längere Antworten geben. Das Interview wird lediglich nach einem grob strukturierten Schema geführt, einem sogenannten Leitfaden.

Folgende Vorgehensweise wird empfohlen:

Zur Durchführung des Interviews sollen neben dem Befragten zwei Interviewer anwesend sein. Der passive Interviewer bedient die Aufzeichnungsgeräte, Cassetten- und Videorecorder zur audiovisuellen Protokollierung und Sicherung der Aussagen, während der aktive Interviewer die Fragen stellt. Die Umgebung, in der die Befragung stattfindet, sollte einen Eindruck von Bequemlichkeit und Ungestörtheit machen. Der aktive Interviewer muß ausreichende Kenntnisse des betreffenden Fachgebietes besitzen, um herauszufinden, ob eine Antwort des Experten die verlangte Information beinhaltet und genügend detailliert ist.

In der Literatur werden verschieden Interviewtechniken vorgestellt:

1. forward scenario simulation

Aus dem gesamten Problembereich wird eine Anwendungssituation ausgewählt und vollständig zu eruieren versucht, wobei der Experte seine Denkprozesse zur Lösung des Problems beschreibt. Diese Vorgehensweise, auch Vorwärtssimulation genannt, entspricht eher der normalen Alltagssituation des Fachexperten und wird daher auch häufig angewandt.

2. goal decomposition

Der Wissensingenieur unterteilt das Gesamtproblem in Teilbereiche und Unterziele und fordert den Experten auf, die Wege zum Erreichen dieser Subziele zu beschreiben. Diese Technik (auch Rückwärtssimulation oder laddered grid genannt) ist dann angebracht, wenn das Gesamtproblem so kompliziert oder die Beschreibung des Lösungsweges so zeitraubend ist, daß der Experte das Problem nicht in einer Sitzung lösen kann.

3. teachback-Interview

Im Verlauf des Teachback-Interviews beschreibt der Experte dem Wissensingenieur den Lösungsweg eines Problems. In dieser Variante jedoch erklärt der Wissensingenieur dem Experten anschließend denselben Lösungsweg, bis die Erklärung zur Zufriedenheit des Fachexperten ausgefallen ist. In der Praxis angewandt wurde diese Methode zur Erstellung der Wissensbasis des Expertensystems GENOSTAR der WGZ-Bank in Münster. Dies erfuhr der Verfasser auf einer Exkursion, die im Rahmen eines Seminars über Expertensysteme Anfang 1990 durchgeführt wurde.

4. pure reclassification

Beobachtungen, die durch den Experten gemacht werden, werden im Dialog mit dem Wissensingenieur immer weiter differenziert, um das Wissen in spezifische Objekte und Beziehungen aufzuschlüsseln.

5. laddering

Beim Laddering werden wichtige Konzepte des Problembereiches vom Experten erfragt und zur Grundlage des weiteren Interviews gemacht. Ähnlich der pure reclassification werden hier jedoch die Objekte in Super- und Subtypen klassifiziert und in eine hierarchische Ordnung gebracht.

Im Folgenden werden die Vorwärtssimulation und das Teachback-Interview etwas genauer hinsichtlich der Hauptgütekriterien untersucht.
 
 

3.2.1.1. Objektivität

Obwohl das Interview schon frühzeitig als komplexer Interaktionsprozeß zwischen Fragendem und Befragtem begriffen wurde, richtete sich die Methodenforschung hauptsächlich auf die Rolle des Interviewers. Der Interviewer sollte Ruhe, Wärme und Freizügigkeit ausstrahlen, um auch den Befragten in seine Rolle als Wissenslieferant einzuführen. Der Befragte darf sich nicht wie in einer Prüfungssituation fühlen, dies könnte zu emotionalen oder mentalen Blockaden führen. Dem Interviewer stehen die Methoden weiches, neutrales oder hartes Interview zur Verfügung, um das Expertenwissen zu erlangen. Das weiche Interview überläßt dem Experten die aktive Rolle, während der Wissensingenieur passiv bleibt, hin und wieder Bestätigungsfloskeln übermittelt und nur im Falle des Themenwechsels dirigierend eingreift. Problematisch hierbei kann eine Tendenz zu sozialer Erwünschtheit werden, wenn der Experte die gute Atmosphäre zwischen ihm und dem Wissensingenieur nicht stören möchte. Das neutrale Interview hingegen soll den unpersönlichen, sachlichen Charakter der Befragung und die soziale Distanz zwischen den Befragungspartnern betonen, wobei eine Tendenz der Antworten zur sozialen Erwünschtheit nicht zu verzeichnen ist.

Das harte Interview verlangt ein ständig herausforderndes Eingreifen des Interviewers, bei dem die Skepsis gegenüber der Richtigkeit der Antworten deutlich gemacht wird. In der extremen Ausprägung als Streßinterview wird das harte Interview zum Kreuzverhör. Bei der Methode des harten Interviews ist eher eine Tendenz zu ausweichenden Antworten festzustellen.

Neben der Rolle des Interviewers kann für die Durchführungsobjektivität auch die Person des Interviewers bedeutsam sein. Erbslöh zieht aus praktischen Studien den Schluß, daß sichtbare Merkmale wie Rassenzugehörigkeit, Geschlecht oder Alter des Interviewers Einfluß auf die Antworten der Befragten haben können, wenn die Fragen inhaltlich eine Beziehung zu den Merkmalen besitzen. Erbslöh kann aber nicht ausschließen, daß ohne inhaltliche Beziehung kein Einfluß vorhanden ist, da allgemeinere Studien noch nicht durchgeführt wurden und empfiehlt daher eine Berücksichtigung dieser Merkmale bei jeder Befragung.

Sind beide, Interviewer und Experte, Angestellte desselben Unternehmens, für das das Expertensystem erstellt werden soll, so können Kompetenzstreitigkeiten und Hierarchieprobleme eine Rolle spielen.

Auch das weitere Verhalten des Interviewers kann von Bedeutung sein. Hierzu gehört die Art, wie er Fragen stellt, ob schnell oder langsam, oder auch die Länge der Pausen nach den Antworten. Eine bewußte Verlängerung der Pausen ist ein oft angewandtes Mittel, um längere Antworten zu provozieren, denn der Befragte bekommt das Gefühl, er hätte die Frage noch nicht erschöpfend beantwortet. Neben diesem verbalen, prägt auch das nonverbale Verhalten die Interviewsituation. Ein Interviewer, der fortwährend mit seinem Kugelschreiber spielt, wird kaum die geforderte entspannte Atmosphäre herstellen können, während ihm dies durch häufigen Blickkontakt zum Experten besser gelingen wird.

Die Auswertungsobjektivität ist gering, da auf die offenen Fragen des Interviewers nichtstandardisierte Antworten provoziert werden. Nur bei Nachfragen oder Filterfragen wird mit geschlossenen Fragen gearbeitet.

Die Höhe der Interpretationsobjektivität ist abhängig von den Antworten des Experten, sie ist gering bei offenen Fragen. Werden jedoch bei Nachfragen oder Filterfragen geschlossene Fragen benutzt, so kann die Interpretationsobjektivität ansteigen. Fragen, auf die der Experte mit numerischen Werten antwortet, sind höher zu bewerten, als Antworten, die noch Interpretationsspielraum enthalten (Beispiel: "Wie hoch schätzen Sie die durchschnittliche Ausfallhäufigkeit des Systems X ein?". Eine numerische Antwort (Ausfälle pro 1000 Betriebsstunden) hat keinen Interpretationsspielraum, hingegen hat die Antwort "sehr geringe Ausfallhäufigkeit" einen großen Spielraum).
 
 

3.2.1.2. Reliabilität

Die Genauigkeit der Wissenserhebungsergebnisse hängt von der Fähigkeit des Experten ab, sein komplexes, teilweise unbewußtes Wissen zu verbalisieren. Würde der Experte gebeten, sein allgemeines Fachwissen zu erklären, so bestünde die Gefahr, daß er begänne zu theoretisieren, anstatt seine Problemlösungsstrategien darzulegen. Daher wird in der Vorwärtssimulation die Lösung nur eines Problems vorgenommen. Unter der Voraussetzung, daß der Wissensingenieur sich in das Fachgebiet eingearbeitet hat, wird er den Experten gegebenenfalls darauf hinweisen können, einen für ihn nicht nachvollziehbaren Gedankengang etwas näher zu erläutern. Auf diese Weise kann das Expertenwissen entkomprimiert und detaillierte und genaue Regeln erzeugt werden.

Im Falle des Teachback-Interviews wird eine höhere Reliabilität bestehen, da dem Experten die mangelhafte Erklärungsfähigkeit der geäußerten Gedankengänge erst dadurch bewußt wird, daß der Wissensingenieur sie (eventuell in eigenen Worten) wiederholt und durch den Experten kritisieren läßt.

Allgemeine Fehlerquellen der Vorwärtssimulation, die zu geringerer Reliabilität der Ergebnisse führen können, sind die Folgenden:

Wichtig ist die Fragenanordnung, Fragen sind nicht isoliert zu betrachten, sondern in ihrer Abfolge. Ein als "Trichter" bezeichnetes Verfahren leitet vom Allgemeinen über zum Besonderen. Bei der Beantwortung der Fragen kann jedoch ein "Halo-Effekt" entstehen, hierbei wird die Beantwortung einer Frage durch den Inhalt und die Beantwortung der vorhergehenden Frage beeinflußt. Um diese Beeinflussungen festzustellen, müßte der Experte einige Zeit später noch einmal befragt werden, diesmal aber mit umgekehrter Fragenanordnung.

Verzerrte Fragen, die allein durch die Formulierung bestimmte Antworttendenzen provozieren, sind eine weitere Fehlerquelle. Verzerrte Fragen können belastete Wörter beinhalten oder suggestiv wirken. Eine Verhinderung dieser Fehlerquelle ist wohl nicht möglich, da sich die Fragenformulierung erst aus der Situation heraus ergibt, ist durch Auswahl eines geeigneten, also gutgeschulten und erfahrenen Wissensingenieurs aber reduzierbar. Eine erhöhte Retest-Reliabilität kann hier wiederum erreicht werden, wenn zur Vermeidung dieser Fehlerquelle Kontrollfragen gestellt werden. Zu beachten ist jedoch prinzipiell der chronische Zeitmangel unter dem Experten leiden, so daß aus diesem Grunde in der Praxis sicherlich oftmals auf Kontrollen verzichtet wird.

Ebenfalls ist vor der Verwendung zu langer Fragen zu warnen, die eventuell auch noch mehrere Fragen logisch miteinander verknüpft (und/oder z.B.). Die Beantwortung kann den Befragten überfordern, wenn die Informationsfülle der Frage die Kapazität des Kurzzeitgedächtnisses überfordert und daher nur noch Teilaspekte der Frage beantwortet werden.
 
 

3.2.1.3. Validität

Ein in der Literatur vieldiskutiertes Problem der Validität ist das Folgende: Inwieweit kann von verbalen Aussagen des Befragten überhaupt auf dessen Handeln geschlossen werden, wie ist es also um die Korrespondenz von Wort und Tat bestellt?

1. Versteht der Befragte das gleiche unter der Frage wie der Wissensingenieur, bzw. interpretiert der Interviewer die Antwort genauso wie der Experte sie gemeint hat? Bei unzureichender fachlicher Vorbereitung des Wissensingenieurs werden möglicherweise die vom Experten zur Beantwortung benutzten Fachtermini nicht in ihrer vollen Bedeutung erkannt und fehlinterpretiert. Benutzte Fachtermini müssen also bekannt sein und umstrittene Definitionen vom Experten festgelegt werden.

2. Sagt der Befragte, was er denkt? Experten haben eventuell kein Interesse an einer korrekten Arbeitsweise des Expertensystems. Es besteht die Gefahr, daß bewußt falsche oder ungenaue Regeln übermittelt werden, um bei Versagen des Expertensystems dieses zu diskreditieren. Dies kann in Fällen relevant werden, in denen sie Konkurrenz mit nachfolgendem Arbeitsplatzverlust fürchten, obwohl zur Zeit ein Expertensystem keinen menschlichen Experten wirklich ersetzen kann. Allerdings bestehen auch Befürchtungen, daß der "Marktwert" der Experten sinkt, wenn das Wissen auch Nicht-Experten zugänglich wird. Eine weitere Ursache für fehlerhafte Aussagen seitens des Experten besteht darin, daß er befürchten mag, eine Darstellung seines Wissens in Form einfacher, gar intuitiv begründeter Aussagen führe zu vermindertem Ansehen. Schließlich gibt es Wissen, das ein Experte lieber nicht äußern möchte, da es unwissenschaftlich oder irrational erscheinen mag, obwohl er selbst positive Erfahrungen damit gemacht hat. Prinzipiell ist bewußte Täuschung bei keiner Wissensakquisitionsmethode auszuschließen, jedoch erscheint dem Autor die Hemmschwelle bei nichtschriftlichen Äußerungen niedriger zu sein. Kontrollfragen, eine Wiederholung des Interviews nach einiger Zeit, oder parallele Verwendung von Beobachtungstechniken, wenn möglich, können solche Täuschungen sichtbar werden lassen. Auch kann ein verhaltenspsychologisch geschulter Interviewer aus der Art und Weise, wie ein Experte etwas sagt, Rückschlüsse auf den Wahrheitsgehalt der Aussagen ziehen. So können beispielsweise häufige Berührungen des Gesichtsbereiches durch die Hand oder eine Reduktion der Gestik, dem geschulten Beobachter Hinweise auf bewußte Falschaussagen geben.

3. Handelt der Experte so, wie er sagt? Aufgrund des teilweise nur unbewußten Wissens beschreibt der Experte oftmals nicht sein Wissen direkt, sondern lediglich sein Meta-Wissen. "He will describe what he thinks he does, or thinks he ought to do, and what he actually does may be different." Abhilfe bieten hier wiederum Rückfragen, die bestehende Lücken in den Aussagen aufzufüllen vermögen. Eine exakte Darstellung des Wissens ist um so eher möglich, je weniger umfangreich das Aufgabengebiet ist, da die Aufmerksamkeit des Experten auf ein kleines Teilgebiet konzentriert wird. Dies wird in der Rückwärtssimulation erreicht.
 
 

3.3. Strukturiertes, standardisiertes Interview

3.3.1. Beschreibung der Methode

Von großer Bedeutung für die Differenzierung der Frageformen ist der Grad der Standardisierung und der Strukturierung. Ein hoher Grad der Standardisierung bedeutet eine Festlegung des Wortlauts und der Reihenfolge der Fragen, während unter einem hohen Grad der Strukturierung die Festlegung der möglichen oder zulässigen Antworten verstanden wird. Der Wissensingenieur soll möglichst wenig Beeinflussungsmöglichkeiten der Befragung, und möglichst wenig Interpretations- und Auswertungsspielraum für die Antworten des Experten haben. Erreicht wird dies dadurch, daß der Wissensingenieur seine Fragen von einem Fragebogen abliest, dem Experten die zur Antwort vorgesehenen Alternativen angibt, und entsprechend der Antwort des Experten auf dem Fragebogen notiert.

Varianten zu der eben beschriebenen Form des Face-To-Face-Interviews sind Telefon- und Gruppeninterview. Beim Telefoninterview sind Interviewer und Experte räumlich voneinander getrennt, die Fragen und Antworten werden telefonisch übertragen und vom Interviewer auf dem Fragebogen notiert. Im Gruppeninterview wird nicht eine Person befragt, sondern mehrere gleichzeitig Anwesende, jedoch muß darauf geachtet werden, daß sich die Anwesenden in ihren Antworten nicht gegenseitig beeinflussen.
 
 

3.3.1.1. Objektivität

Durch Vorgabe des Fragenwortlauts und der Fragenreihenfolge ist eine höhere Durchführungsobjektivität zu erwarten, als bei der Methode des Tiefeninterviews. Das verbale Verhalten des Interviewers (Betonung, Sprechpausen etc., siehe 3.2.1.1.) wird durch die Vorgaben kontrolliert, obgleich Verhaltensvariationen nicht vollkommen ausgeschlossen werden können. Weiterhin problematisch bleiben eventuelle Kompetenzstreitigkeiten und sichtbare Merkmale der Person, wie z.B. Rassenzugehörigkeit, Geschlecht etc., siehe 3.2.1.1.).

Die Auswertungsobjektivität erreicht eine maximale Größe, da die Antwortvorgaben nur eine Auswertungsmöglichkeit zulassen. Der Grad der Interpretationsobjektivität ist höher anzusetzen, als bei der Methode des Tiefeninterviews mit offenen Fragen. Bei numerischen Werten erreicht sie einen maximalen Wert, bei nicht-numerischen Antworten mit höherem Interpretationsspielraum (siehe 3.2.1.1.) ein genügend hohes Niveau.
 
 

3.3.1.2. Reliabilität

Die beim Tiefeninterview aufgezeigten Kritikpunkte Fragenanordnung (Halo-Effekt) oder Suggestivfragen besitzen beim strukturierten und standardisierten Interview eine geringere Problematik, da sie bei der Konstruktion des Fragebogens bei Bedarf kontrolliert eingesetzt oder, wenn nicht erwünscht, leichter erkannt und ausgeschaltet werden können. Bei der Erstellung des Fragebogens steht dem Wissensingenieur mehr Zeit zur Verfügung, um die Fragen möglichst wertfrei und unverzerrend zu konstruieren, zur Vermeidung suggestiv wirkender Fragen kann er bei Bedarf Psychologen zur Konsultation heranziehen. Aufgrund des längeren Planungszeitraums können Kontrollfragen eher vom Experten unbemerkt in die Fragenanordnung eingewoben werden, eine höhere Reliabilität ist auch aus diesem Grund die Folge. Schließlich erlaubt ein wohlüberlegter und geplanter Fragebogen, daß jedes interessierende Thema gleichgewichtig angesprochen und erforscht wird, während im Tiefeninterview, je nach Interessenausrichtung des Experten, manche Themen umfangreicher dargestellt, andere hingegen eher vernachlässigt werden.

Nach den Erfahrungen des Verfassers mit Telefoninterviews, muß jedoch angemerkt werden, daß bei offenen Fragen, die eine Erinnerungsleistung erfassen sollten, mangelhafte Ergebnisse die Folge waren, während die anschließende, geschlossene Frage mit dem gleichen Inhalt bessere Ergebnisse aufwies.
 
 

3.3.1.3. Validität

Ein standardisiertes Interview ist bisweilen gespreizt und unnatürlich, die natürliche Unterhaltung des täglichen Lebens, wie beim Tiefeninterview, wird nur in seltenen Fällen erreicht. Der Experte wird, durch das Gefühl, getestet zu werden, in die Defensive gedrängt. Seine natürlichen Gedankengänge werden eventuell blockiert, was dazu führt, daß der Experte Erklärungen gibt, die nicht seinem Handeln und Denken in der Realität entsprechen. Maccoby und Maccoby schreiben, daß diese Gefahr besonders im standardisierten Interview mit vorfixierten Alternativfragen gegeben ist, während bei sorgfältig vorgetesteten, standardisierten Interviews mit offenen Fragen durchaus ein normaler Gesprächscharakter aufrechterhalten werden kann.

Werden im strukturierten und standardisierten Fragebogen Alternativantworten vorgegeben, so können bei unzureichender Ausarbeitung nicht-valide Antworten erhalten werden: Hat der Experte auf die gestellte Frage eine zutreffende Antwort, die jedoch in den vorfixierten Antwortalternativen nicht oder nicht adäquat enthalten ist, so wird der Experte die Antwort wählen, die seiner Idealantwort am nächsten steht, ihr aber nicht vollkommen entspricht.
 
 

3.4. Protokollanalyse

3.4.1. Beschreibung der Methode

Die Protokollanalyse ist eine Form der kommentierten Beobachtung. Der Experte wird angewiesen, eine realistische Aufgabe aus dem täglichen Leben zu lösen und seine Handlungen oder Gedanken verbal zu begleiten. Bei dieser Form des "lauten Denkens" geht es im Gegensatz zum Interview um die Frage, welche Kognitionen und mentalen Operationen tatsächlich im Bewußtsein des Experten ablaufen. Die Handlungen und verbalen Äußerungen des Experten werden durch Aufzeichnungsgeräte (Audio, Video) protokolliert, transkribiert und später durch den Wissensingenieur ausgewertet. Der Experte ist nicht an der Analyse beteiligt, um zu verhindern, daß im Nachhinein theoretisiert wird. Der Ort des Interviews sollte der Situation entsprechen, in der der Experte gewöhnlich seine Tätigkeiten erledigt. Das kann sein Arbeitsplatz sein, oder falls dies nicht realisierbar ist, kann die Arbeitsplatzsituation eventuell durch Rollenspiele simuliert werden. Während der Beobachtung sollte der Experte sowenig wie möglich vom Wissensingenieur unterbrochen werden, um nicht seinen Rede- und Gedankenfluß zu stören.

Bei der retrospektiven Protokollanalyse werden die, mit einer Videokamera aufgezeichneten, Handlungen nachträglich dem Experten vorgeführt. Dieser soll während der Wiedergabe erklären, welche Gedanken und Überlegungen ihm bei der jeweiligen Handlung durch den Kopf gingen. Eine weitere Variante ist unter der Bezeichnung Interruption Analysis bekannt. Dabei führt der Experte seine Handlungen und Tätigkeiten aus, ohne sie verbal zu begleiten. Erst wenn der ihn beobachtende Wissensingenieur die Handlungen nicht mehr nachvollziehen kann, fordert er den Experten auf, diese detailliert zu erklären.

3.4.1.1. Objektivität

Die Durchführungsobjektivität bei der Protokollanalyse ist von hoher Güte, der Wissensingenieur beobachtet den Experten, bedient das technische Equipment, hält sich jedoch selbst im Hintergrund. Sind Zwischenfragen unvermeidlich, sinkt der Grad der Durchführungsobjektivität, da unterschiedliche Fragestile unterschiedliche Antworten provozieren können, der Wissensingenieur also unmittelbar Einfluß auf die Äußerungen des Experten nimmt.

Die Auswertungs- und Interpretationsobjektivität ist bei dieser Form der unstrukturierten Beobachtung geringer als die Durchführungsobjektivität. Die Auswertung der Protokolle des "lauten Denkens" führen aufgrund der nichtreglementierten und nicht-standardisierten verbalen Äußerungen des Experten zu vielfältigen Auswertungsmöglichkeiten hinsichtlich des Wissensingenieurs. Auch die Interpretation der Handlungen und verbalen Äußerungen ist stark subjektiv geprägt: Die bei der Protokollanalyse beobachteten Handlungen und Äußerungen unterliegen der selektiven Wahrnehmung des Wissensingenieurs. Bestimmte Ereignisse werden bevorzugt registriert, andere dadurch nicht beachtet oder unterdrückt, entsprechend der Vorstellungsinhalte des Beobachters. Nicht unbedeutend für das Problem der selektiven Wahrnehmung ist das Übersehen von Selbstverständlichkeiten. Bestimmte Ereignisse sind dem Beobachter bereits so vertraut, daß er ihnen keine Aufmerksamkeit mehr schenkt. Abhilfe bietet hier die Analyse der aufgezeichneten Protokolle durch mehrere Wissensingenieure. Auftretende Unstimmigkeiten müssen anschließend diskutiert und beseitigt werden.
 
 

3.4.1.2. Reliabilität

Ein Vorteil der Protokollanalyse liegt in der lückenlosen audiovisuellen Aufzeichnung der Handlungen und Äußerungen des Experten. Auf fehlerbehaftete Auswertung während der Erhebung kann zugunsten einer späteren Auswertung verzichtet werden. Insbesondere Fehler, die durch Zeitdruck oder mangelnde Aufnahmekapazität des Kurzzeitgedächtnisses auftreten könnten, werden vermieden, da die audiovisuellen Medien es ermöglichen, Ereignisse beliebig oft zu wiederholen oder Handlungen in Zeitlupe oder Zeitraffer zu verdeutlichen. Einige Nachteile der Aufnahmetechnik sind der kleinere Sehwinkel und Schärfebereich der Videokamera.

Eine Verminderung der Zuverlässigkeit der Protokollanalyse wird dadurch hervorgerufen, daß der Experte gezwungen ist, nur ausgewählte Gedanken zu verbalisieren, denn dem Experten gehen viel mehr Gedanken durch den Kopf, als er aussprechen kann. Manchmal tauchen Gedanken auf und verschwinden wieder, bevor sie in Worte gefaßt werden können oder während ein Gedanke ausgesprochen wird, geht eine andere Kognition schon wieder verloren. Darauf ist wahrscheinlich zurückzuführen, daß das Lösen von Problemen durch gleichzeitiges "lautes Denken" unter Umständen sogar behindert werden kann: Flaherty führte eine Untersuchung durch, die die Auswirkungen von handlungsbegleitendem "lauten Denken" bei Schulkindern zum Thema hatte. Beim Lösen mathematischer Probleme waren bei der Gruppe von Schülern, die ihre Lösungswege verbal begleiteten, hochsignifikant mehr Rechenfehler zu verzeichnen, als bei ihrer Vergleichsgruppe, die dies nicht tat. Bei der retrospektiven Protokollanalyse wird dieses Problem ausgeschlossen, da erst im Nachhinein die Handlungen erklärt werden. Andererseits ist nicht gewährleistet, daß die Erklärungen den Überlegungen und Gedankengängen während der Aufzeichnung entsprechen, sondern daß der Experte über seine Handlungen theoretisiert und intuitive Handlungen nachträglich plausibilisiert.

Eine Arbeit von Burton, Shedbolt, Hedgecock und Rugg vergleicht im Rahmen eines Laborexperiments die vier Wissenserhebungsmethoden Interview (Goal Decomposition und Forward Scenario Simulation), Protokollanalyse und Multidimensional Scaling. 32 fortgeschrittenen Studenten der Geowissenschaften, aufgeteilt in vier Teams zu je acht Personen, sollte ihnen vorgelegte Mineralien klassifizieren und ihre Schlußfolgerungsschritte offenbaren. Die akquirierten Regeln dieser "Experten" wurden mit den Regeln eines zuvor befragten, erfahrenen Experten verglichen. Dessen Regeln wurden daher zu "goldenen Regeln", die den Maßstab für die Regeln der Studenten bildeten, sowohl hinsichtlich der Qualität als auch der Quantität. Ein Ergebnis dieser Studie ist die unterschiedliche Anzahl von erhobenen Regeln und die unterschiedliche Übereinstimmung mit den "goldenen Regeln" bei Anwendung der untersuchten Methoden. Dabei wurde signifikant nachgewiesen, daß obwohl die Protokollanalyse längere Zeit in Anspruch nahm (ca. 37% länger als das Interview, bei p<0.05), die Zuverlässigkeit der erhobenen Regeln, gemessen an der Übereinstimmung mit den "goldenen Regeln", gering war (Forward Scenario Simulation: 27,9% Übereinstimmung, Protokollanalyse: 7,9%, bei p<0.05). Die Paralleltest-Reliabilität ist in dieser praktischen Studie eher negativ zu beurteilen.

Eine weitere Einschränkung der Reliabilität besteht darin, daß nicht alle Kognitionen, die das Verhalten steuern, dem Bewußtsein zugänglich sind. Dies trifft vor allem auf automatisierte Handlungen zu. Schließlich deckt die Protokollanalyse nicht jede Situation ab, lediglich Standardsituationen werden bearbeitet.
 
 

3.4.1.3. Validität

Vorteilhaft für die Gültigkeit der Methode ist der Umstand, daß der Experte nicht über seine Handlungen und Gedankengänge theoretisieren muß, sondern beides in der Realität vollzieht und dies "lediglich" verbal begleiten muß. Hierin liegt jedoch eine Einschränkung. Alles, was gedacht oder empfunden wird, muß in Sprache umgesetzt werden. Für komplexe Gedankengänge ist es vorstellbar, daß die Umsetzung in Sprache fehlerbehaftet ist, in dem Sinne, daß sie keine genaue Abbildung der mentalen Prozesse ermöglicht.

Ein weiterer Nachteil besteht darin, daß die Auswirkungen der wahrgenommenen Anwesenheit eines Beobachters die Gültigkeit der Ergebnisse negativ beeinflussen können, das Mitschneiden auf audiovisuellen Medien, das das Aufstellen von Mikrophonen und Beleuchtungseinrichtungen erfordert, kann eine Prüfungsatmosphäre erzeugen. Eine nicht mehr ungezwungene Verbalisierung kann die Folge sein, der Experte verhält sich möglicherweise anders als in der Praxistätigkeit, er ist allgemein gehemmter und zurückhaltender.

Beobachtungsfehler können dazu führen, daß Handlungen fehlinterpretiert werden: Beispielsweise läßt sich die Blickrichtung des Experten in den meisten Fällen nur durch die Kopfhaltung ermitteln, dabei kann aber nicht vorausgesetzt werden daß die Blickrichtung immer von der Kopfhaltung abhängt.
 
 

3.5. Inhaltsanalyse

3.5.1. Beschreibung der Methode

Bei der Inhaltsanalyse, auch Textanalyse genannt, erhebt der Wissensingenieur die Daten nicht von einem menschlichen Experten als direktem Interaktionspartner, sondern durch das Studium von Dokumenten. Diese Dokumente können beispielsweise Fachbücher, technische Anleitungen oder Gesetzestexte sein, die von Fachleuten zur Wissensvermittlung oder als Handlungsanleitung geschrieben wurden. Bei der Fülle von Textmaterialien, die bisweilen zu dem interessierenden Problembereich veröffentlicht wurden, ist eine Gesamterhebung oftmals nicht möglich. Die Auswahl der zu untersuchenden Dokumente wird nach systematischen Kriterien, seltener durch Stichprobenziehung, erfolgen. Die Analyse selbst kann quantitativ oder qualitativ durchgeführt werden. Eine quantitative Analyse untersucht den Text unter systematischen Gesichtspunkten:

Bei der Textanalyse wird zwischen den Ausdrücken für die Objekte der Einstellung (OE) und den auf sie bezogenen wertgeladenen Ausdrücken (WA) unterschieden (z.B.: Die Zündanlagen(OE) der meisten Automobile sind störanfällig(WA)). Alle im Text vorkommenden relevanten Objekte der Einstellung werden durch neutrale Buchstaben ersetzt (Die XY der meisten Automobile sind störanfällig), daraufhin die wertgeladenen Ausdrücke den Objekten der Einstellung zugeordnet und in standardisierte Aussagesätze übersetzt (Die XY sind störanfällig). Anschließend können, falls erforderlich, die Objekte der Einstellung nach Richtung und Intensität ihrer Wertgeladenheit gekennzeichnet werden, beispielsweise durch Zuordnung positiver oder negativer numerischer Werte.

Unter der qualitativen Inhaltsanalyse ist, stark vereinfacht, das besonders aufmerksame und sensible Lesen eines Textes unter bestimmten Gesichtspunkten zu verstehen. Der Wissensingenieur leitet unsystematisch aus dem Verständnis des Textes heraus Aussagen oder Regeln ab, ähnlich dem Vorgang des studentischen Lernens aus Lehrbüchern.

Bei der Beurteilung wird sich der Verfasser hauptsächlich auf die qualitative Inhaltsanalyse konzentrieren, da sie für die Erstellung von Expertensystemen eine größere Relevanz besitzt: Die Inhaltsanalyse wird vom Wissensingenieur im allgemeinen zum Zweck der Themeneinarbeitung herangezogen, seltener bereits zur Erstellung der Wissensbasis.
 
 

3.5.1.1. Objektivität

Bei der Analyse des Textmaterials können bei der qualitativen Inhaltsanalyse verschiedene Untersucher zu unterschiedlichen Ergebnissen gelangen. Bedingt durch die selektive Wahrnehmung des Untersuchers, werden Stimuli, die den eigenen Werten und Einstellungen entsprechen, schon bei geringerer Intensität wahrgenommen, als bei Widersprechenden. Ebenso ist keine Gewähr vorhanden, daß der Wissensingenieur alle Teile des Materials mit gleicher Aufmerksamkeit und Sorgfalt liest. Die Durchführungsobjektivität dürfte, ebenso wie Auswertungs- und Interpretationsobjektivität, relativ gering sein, im Gegensatz zur quantitativen Textanalyse. Dort ist aufgrund der Systematisierungsregeln mit eine insgesamt hohen Objektivität zu rechnen.
 
 

3.5.1.2. Reliabilität

Der Wissensingenieur muß unter den zur Auswahl stehenden Dokumenten dasjenige heranziehen, das den gewünschten Zweck am ehesten erfüllt. Ein technisches Handbuch bietet Lösungswege für Einzelfälle an, während ein Lehrbuch Wissen vermittelt und Probleme und deren Lösungen zu verallgemeinern sucht. Hat sich der Untersucher für eine Textgattung, oder eine Kombination von Textgattungen, entschieden, so muß die Intention des Autors fehlerfrei erfaßt werden. Aufgrund der eventuell unterschiedlichen sprachlichen Ebenen zwischen Autor und Wissensingenieur, kann dies zu Problemen führen. Zu Beginn der Analyse ist wegen des noch zu geringen Wissens- und Informationsniveaus zu erwarten, daß Aussagen des Autors falsch verstanden und daher in falsche Regeln übersetzt werden. Unklare Formulierungen, mehrdeutige Aussagen und in ihrer Komplexität nicht umfassend begriffene Fachtermini können die Ursache sein. Stehen überwiegend fremdsprachliche Texte zur Verfügung, so besteht die Gefahr daß, selbst bei guten fremdsprachlichen Kenntnissen, diffizile Bedeutungsunterschiede nicht erkannt werden.
 
 

3.5.1.3. Validität

Bei der Auswahl des zu untersuchenden Textmaterials treten Probleme auf, die die Gültigkeit der Ergebnisse beeinträchtigen. Am Anfang steht die Frage, welcher Autor als ein Experte auf seinem Fachgebiet gelten kann. Diese Feststellung darf nicht der willkürlichen Einschätzung des Wissensingenieurs unterliegen. Um zu verhindern, daß der Untersucher das Material dahingehend auswählt, wie es mit seinen eigenen Hypothesen harmoniert, muß diese Auswahl systematisch erfolgen. Beispielsweise könnte die wissenschaftliche Anerkennung aus der Anzahl der Zitate in den Lehrbüchern anderer Fachkollegen hervorgehen.

Ein Vorteil der Textanalyse hinsichtlich ihrer Gültigkeit besteht darin, daß Dokumente oft im ungestörten Privatbereich (Lehrbücher), oder in der Form von Arbeitsprotokollen (Handbücher, Anleitungen) geschrieben werden. Die Wissensaufzeichung fand also in natürlicher Umgebung und nicht in einer künstlichen Erhebungssituation statt. Nachteilig ist die fehlende Rückkopplung zwischen Experte und Wissensingenieur, wodurch Mißverständnisse und unvollständige Aussagen nicht zu korrigieren sind. Unvollständige Aussagen entstehen dadurch, daß der Experte im allgemeinen nur wissenschaftlich begründbare Aussagen niederschreibt. Expertenwissen ist aber oft intuitiv und wird vom Experten theoretisiert. Wright und Ayton zitieren Feigenbaum: "What masters really know is not written in the textbooks of the masters".