"Die Objektivität, Reliabilität und Validität der Wissensakquisition von Expertensystemen"
© Thimo Echtermann, Universität Dortmund, Dezember 1990







5. Die automatische Wissensakquisition am Beispiel KRITON

5.1. Konzeption und Architektur von KRITON

Das Wissensakquisitions-Werkzeug KRITON gehört zur Gruppe der globalen Systeme, die für sich in Anspruch nehmen, in jedem Wissensbereich Wissen akquirieren zu können. Im Gegensatz dazu sind bereichsspezifische Systeme nur auf einen bestimmten Anwendungsbereich hin ausgerichtet, wie beispielsweise bei dem Wissenserwerbs-Werkzeug OPAL, das speziell für die Krebs-Diagnose und Therapie entwickelt wurde.

In KRITON wird versucht, wesentliche Teile des Wissenserhebungsprozesses im Aufbau von Expertensystemen zu automatisieren und den Wissensingenieur dahingehend zu entlasten. Bei der Konzeption des Systems wurde davon ausgegangen, daß keine Wissensakquisitionsmethode allein mächtig genug ist, das Expertenwissen adäquat zu erfassen. Aus diesem Grund wurde KRITON mit mehreren Wissenserwerbsmethoden ausgestattet.

KRITON kann als interaktives System bei den Wissenserwerbsmethoden Interview und inkrementelle Textanalyse sowohl durch einen Wissensingenieur, als auch durch den Experten benutzt werden. Lediglich die psychologische Kompetenz erfordernde Protokollanalyse und die semi-automatische Wissensbasisgenerierung sollte dem Wissensingenieur mit Kenntnissen in künstlicher Intelligenz vorbehalten bleiben.

Nachdem das deklarative und prozedurale Expertenwissen durch die geeigneten Methoden erhoben, vervollständigt und auf Konsistenz überprüft wurde, erfolgt die Übersetzung der Informationen in eine Zwischenrepräsentationssprache. Anschließend wird die Wissensbasis durch Frame- und Regelgeneratoren, basierend auf der Zwischenrepräsentationssprache, aufgebaut. Die Frames und Regeln der so erzeugten Wissensbasis können bei Bedarf durch Editoren interaktiv korrigiert werden.
 
 

5.2. Wissenserwerbsmethoden in KRITON

5.2.1. Interviewmethoden in KRITON

Die Definition des Wissensgebietes und die Aufteilung des umfangreichen Expertenwissens in wohlproportionierte Untergliederungen ist eine wichtige Vorbedingung für die spätere automatische Wissensakquisition. Die grundlegenden Konzepte des Problembereiches werden mit der Technik der forward scenario simulation (siehe Kap. 3.2.1.) erhoben und vom Wissensingenieur in das System eingegeben. Nachdem die Konzepte eingegeben wurden, beginnen die automatischen Interviewtechniken. Automatisch bedeutet in diesem Falle, daß der Experte direkt mit dem System interagiert, also ohne Beteiligung eines Wissensingenieurs. Die Vorgabe-Methode des Systems entspricht dem Konstruktgitteransatz (siehe Kap. 4.1.1., Diederich faßt diese Technik unter den Interviewmethoden zusammen): In einem natürlich-sprachlichen Satz nennt KRITON Tripel semantisch verwandter Konzepte und erwartet vom Experten die Eingabe von Attributen, in denen sich zwei der Elemente gleichen, sich jedoch vom dritten Element unterscheiden. Ist der Experte dazu nicht in der Lage, so nimmt das System an, daß solche Attribute nicht existieren, sondern eine hierarchische Struktur vorliegt. Dementsprechend schaltet KRITON in den Laddering-Modus (siehe Kap. 3.2.1.), um taxonomische Relationen abzufragen.

Das Verfahren ist, abgesehen von dem Intensivinterview zur anfänglichen Konzeptgenerierung, von großer Durchführungsobjektivität. KRITON ersetzt den Wissensingenieur, indem das System dessen Aufgaben übernimmt und gleichzeitig die Subjektivität des Wissensingenieurs durch eine objektive, emotionsfreie Interviewführung ausschließt. Unter der Voraussetzung eines fehlerfrei arbeitenden Systems, kann eine geringfügig erhöhte Zuverlässigkeit erwartet werden. Fehler, die auf mangelnde Konzentration des Wissensingenieurs zurückzuführen sind, wie beispielweise unvollständige Objekt-Attribut-Relationen, werden durch den knowledge-base-watcher (siehe Kap. 5.1.2.3.) vermieden. Die Gültigkeit der Verfahren dürfte durch die Automatisierung nicht beeinflußt werden, da auch bei manueller Ausführung dieser speziellen Techniken der Wissensingenieur keine Kontrollmöglichkeiten besitzt.

Die automatischen Interviewtechniken, die deklaratives Wissen erfassen, generieren strukturierte Objekte auf der Ebene der Zwischenrepräsentationssprache.
 

5.2.2. Inkrementelle Textanalyse in KRITON

Phasenmodelle (siehe auch Kap. 6.1.3.) legen es dem Wissensingenieur nahe, seine Arbeit mit der Lektüre der einschlägigen Fachbücher des betreffenden Problembereiches zu beginnen. Diese sehr zeitaufwendige Prozedur kann durch Unterstützung eines Wissensakquisitions-Werkzeuges verkürzt werden. Ziel der automatischen Inhaltsanalyse in KRITON ist es, interessante Textfragmente zu lokalisieren und wichtige Konzepte des Wissensbereiches zu finden (Stichwort-Suche und morphologische Analyse).

Vorbedingung der automatische Inhaltsanalyse ist die maschinenlesbare Aufbereitung der zu analysierenden Texte. Diese Aufbereitung geschieht entweder durch manuelle Eingabe der Texte, oder durch Klarschriftleser (Textscanner), die automatisch maschinenlesbaren Code erzeugen.

In der ersten Phase stellt KRITON statistische Informationen über die Vorkommenshäufigkeit bestimmter Stichwörter im Text bereit, wobei unterstellt wird, daß die Häufigkeit einer Wortnennung etwas über seine Wichtigkeit für den Textinhalt aussagt. Die potentielle Bedeutsamkeit eines Stichwortes wird durch Lexikonabgleich ermittelt: In einer Analyse deutschsprachiger Texte mit insgesamt fast 11 Millionen Wortnennungen bei einem Vokabular von ca. 250.000 Wörtern wurde festgestellt, daß mit nur 200 Wörtern dieses Vokabulars 50% des Textes gebildet wurden. Zu diesen 200 Wörtern zählen die, der, und, in, zu. Da diese Wörter für die Analyse irrelevant sind, werden sie durch Lexikonabgleich herausgefiltert, was den zu untersuchenden Textumfang merklich reduziert. Der weitere Lexikonabgleich wird auf Nomen beschränkt, die eventuell relevante Konzepte beschreiben. In einem Menü- und Fenstersystem werden die so gefundenen Stichwörter und Phrasen dem Benutzer zur weiteren interaktiven Bearbeitung zur Verfügung gestellt. Erscheint dem Benutzer die Analyse lohnenswert, so kann er einen bestimmten, die Stichwörter umgebenden Bereich definieren, der als Grundlage für die anschließende Generierung der Operator-Argument-Strukturen dient. Dazu werden die Stichwörter extensional definiert: Der umgebende Bereich des Begriffes Kommunikation kann beispielsweise durch die Wörter berichten, diskutieren oder informieren gebildet werden. Durch den Gebrauch mehrerer Lexika werden schließlich Operator-Argument-Strukturen gebildet, die dem Benutzer nochmals zur Kontrolle und interaktiven Bearbeitung angezeigt werden. Durch Auswahl der entsprechenden Konstruktionen wird die Wissensbasis nach und nach aufgebaut. Zur besseren Dokumentation können den Konstruktionen bei Bedarf erklärende Kommentare hinzugefügt werden.
 

5.2.2.1. Objektivität

Die Durchführungsobjektivität dieser quantitativen Inhaltsanalyse ist durch das computergestützte, systematisierte Verfahren als sehr hoch einzuschätzen. Die implementierten Auswahlkriterien und Lexika kommen bei mehrfacher Analyse desselben Textes prinzipiell immer auf dasselbe Ergebnis. Erhebliche subjektive Einflüsse machen sich bei der Beurteilung der, vom Computer erzeugten, Vorschläge bemerkbar. Die Aufnahme der Operator-Argument-Strukturen in die Wissensbasis oder deren Verwerfung sollte nicht vom Wissensingenieur, sondern vom Bereichsexperten entschieden werden, um Fehlinterpretationen auszuschließen. Dadurch bleibt der Wissensingenieur als weiteres subjektives Moment unbeteiligt.
 

5.2.2.2. Reliabilität

Fehlerquellen, die die Zuverlässigkeit verringern, können in mehreren Phasen auftreten:

In der Texterfassungsphase treten selbst bei geübten Schreibkräften Fehler auf. Durch das computerbedingte 1:1-matching bei Vergleichsoperationen können Stichworte nur dann als übereinstimmend mit dem Lexikoneintrag erkannt werden, wenn sie maschinenintern identisch dargestellt sind. Auch das automatische Scannen der Texte ist, wegen der noch unvollkommen arbeitenden Texterkennungs-Module, nicht ohne Nachbesserungen durchführbar, wobei wiederum Fehler übersehen werden können.

In der Analysephase wird das Vokabular den verschiedenen Lexika zugeordnet und Stichwörter als potentielle Konzepte vorgeschlagen. Selbst unter der Voraussetzung vollständiger und fehlerfreier Lexikoneinträge, stellt die Mehrdeutigkeit der Begriffe ein großes Problem dar. Lösungsansätze sind mit Kontextroutinen erarbeitet worden, bei denen bis zu 93% aller mehrdeutigen Wörter ihren korrekten Wortsinn zugeordnet bekamen. Dabei wird der Kontext, in dem das mehrdeutige Wort im Text verwendet wird, überprüft und aufgrund bestimmter syntaktischer Kategorien der zutreffende Sinn ermittelt. Festzustellen bleibt jedoch, daß die Fehler in dieser Phase systematischer Natur sind und insofern eine hohe Retest-Reliabilität zu erwarten ist. Diederich und andere bezeichnen die in KRITON integrierte Protokoll- und Inhaltsanalyse als noch fehlerbehaftet, wobei sie eine höhere Reliabilität durch einen Ausbau der Lexika erwarten.

In der Übernahmephase werden die vorgeschlagenen Operator-Argument-Strukturen bestätigt, editiert oder verworfen und anschließend in die Wissensbasis übertragen. Da auch der Experte subjektiven Einflüssen unterworfen ist (Desinteresse, mangelnde Konzentration), kann es geschehen, daß falsche Strukturen unverändert akzeptiert und zutreffende Strukturen abgewiesen werden.
 

5.2.2.3. Validität

Einer der, die Gültigkeit der Ergebnisse beeinflussenden, Faktoren ist die Auswahl der, in maschinenlesbare Codes zu transkribierenden, Literatur. Jedoch können auch hier systematische Kriterien herangezogen werden, beispielsweise die am häufigsten zitierten Quellen bei anderen Autoren (siehe auch Kap. 3.5.1.3.).

Die Unterstellung, daß die Häufigkeit des Auftretens eines Stichwortes etwas über die Wichtigkeit aussagt, muß kritisiert werden. Je nach Textquelle (vor allem in Lehrbüchern) werden ganze Textpassagen als Argumentationskette, unter Verwendung immer wieder anderer Wörter, auf einen Schlüsselsatz mit zentralen Begriffen hin ausgerichtet. In diesen Ausnahmefällen entspricht die Häufigkeit nicht der Bedeutung.

Bei der extensionalen Definition der, die Stichwörter umgebenden, Bereiche, muß sichergestellt sein, daß die Stichwörter der Kategorie sinngemäß entsprechen. Das wird um so eher gelingen, je homogener die Texte nach ihrer sprachlichen Herkunft sind. Fremdsprachliche Vokabeln werden häufig nicht in ihren breiten Bedeutungsspektren erfaßt.
 

5.2.3. Protokollanalyse in KRITON

Die Protokollanalyse wird in KRITON zur Erfassung des prozeduralen menschlichen Expertenwissens benutzt. Diese in Kapitel 3.4.1. beschriebene Methode, liefert beispielsweise Tonbandprotokolle des "lauten Denkens" des Experten. Bei der schriftlichen Umsetzung in KRITON werden Sprechpausen des Experten durch Sonderzeichen (**) markiert. KRITON teilt die Expertenäußerungen in durchnummerierte Segmente auf, wobei die gekennzeichneten Sprechpausen die Länge der Segmente determinieren. Nun werden, ähnlich der automatischen Inhaltsanalyse, die in den Segmenten gefundenen Wörter durch Lexikonabgleich auf ihre Wortart hin untersucht. So sind z.B. Nomen eventuell relevante Konzepte und können in den zu erzeugenden Operator-Argument-Strukturen die Argumentpositionen besetzen. Die Suche nach den dazugehörigen Operatoren (z.B. Adjektive oder Verben) wird zunächst innerhalb desselben Segments durchgeführt, bei negativem Ergebnis auch in den benachbarten Segmenten. Zu Dokumentationszwecken wird zwischen Operator und Argument ein Segmentmarker als Referenz auf die entsprechende Stelle des Protokolltextes geschrieben. Schließlich werden die erzeugten Strukturen im Zwischenrepräsentationsmodul zwischengespeichert. Die dort gespeicherten Strukturen werden dem Wissensingenieur zur interaktiven Regelgenerierung angeboten.
 

5.2.3.1. Objektivität

Bei der Durchführungsobjektivität der Protokollanalyse ist keine Abweichung zu dem in Kapitel 3.4.1.1. Gesagten feststellbar. Jedoch ist die Auswertungsobjektivität der Tonbandprotokolle hoch, da die Operator-Argument-Strukturen unbeeinflußt von menschlicher Subjektivität (z.B. selektive Wahrnehmung), durch den Computer nach festgelegten Regeln gebildet werden. Die Interpretationsobjektivität ist geringer als die Auswertungsobjektivität, da der Wissensingenieur die automatisch erzeugten Regeln akzeptieren, korrigieren oder verwerfen muß und damit wieder ein subjektives Potential eröffnet wird.
 

5.2.3.2. Reliabilität

Die Zuverlässigkeit bei der Datenerhebung entspricht der in Kapitel 3.4.1.2. beschriebenen manuellen Methode. Bei der Weiterverarbeitung wird auf die Probleme in der Texterfassungs-, Analyse- und Übernahmephase der inkrementellen Inhaltsanalyse (Kap. 5.2.2.2.) verwiesen.
 

5.2.3.3. Validität

Die Gültigkeit der Ergebnisse bei der automatischen Protokollanalyse unterscheiden sich nicht von der, in Kap. 3.4.1.3. beschriebenen, manuellen Protokollanalyse.
 

5.3. Die Zwischenrepräsentation

KRITON benutzt eine Zwischenrepräsentationssprache, um noch unzureichend formalisiertes Wissen abzubilden und zu speichern, und es für den weiteren Erwerbsprozeß zur Verfügung zu halten. Das bedeutet, daß die Zwischenrepräsentationssprache die Zielsprache der Wissenserwerbsmethoden ist. Der Benutzer hat jedoch keine Möglichkeit, hier manuelle Änderungen vorzunehmen, da es sich nicht um eine Programmiersprache handelt, sondern eine systeminterne Sprache zur Verwaltung des erhobenen Wissens.

Die zwischengeschaltete Repräsentationsebene hat überdies den Vorteil, eine größere Offenheit in Bezug auf künftig zu entwickelnde und in das System zu integrierende Wissenserwerbsmethoden zu bieten. Beispielsweise ist die Integration einer grafisch orientierten Networking-Methode (siehe Kap. 4.2.1.) geplant.

Diese Repräsentationssprache besteht aus zwei Teilen, einem deklarativen und einem prozeduralen Teil:
 

5.3.1. Deklarativer Teil der Zwischenrepräsentation

Der deklarative Teil ist die Zielsprache für die Wissenserwerbsmethoden Interview und Textanalyse. Die erfaßten Konzepte, mitsamt den Attributen und Relationen, sowie die Operator-Argument-Strukturen bilden in der Zwischenrepräsentation ein semantisches Netz, das später als Basis für den Frame-Generierungsprozeß dient. In diesem semantischen Netz bestehen taxonomische und Objekt-Attribut-Relationen. Taxonomische Relationen beschreiben die hierarchische Struktur der Konzepte, in Form von Teil-von oder Instanz-von-Beziehungen. Sie werden von dem Laddering-Modus des Interview-Moduls erhoben. Objekt-Attribut-Relationen beschreiben die Beziehungen zwischen den Konzepten (Eigenschaft, Keine-Eigenschaft, Funktion, Keine-Funktion). Die diesbezüglichen Informationen werden durch die forward-scenario-simulation und den Konstruktgitteransatz des Interview-Moduls, sowie durch die inkrementelle Textanalyse erhoben. Zusätzlich besteht die Möglichkeit, freien Text als Kommentar einzugeben. Bevor der Frame-Generierungsprozeß startet, muß jedoch der freie Text entweder nach weiteren Relationen analysiert werden, oder der entsprechende Eintrag wird als Datentyp "Freier Text" unverändert übernommen.
 

5.3.2. Prozeduraler Teil der Zwischenrepräsentation

Der prozedurale Teil ist die Zielsprache für die automatische Protokollanalyse. Semantische Primitiva werden benutzt, um die in der Protokollanalyse aufgedeckten Beziehungen zwischen den Konzepten zu beschreiben. Die dabei zur Verfügung stehende Menge des Vokabulars ist unvollständig und muß daher für die jeweiligen speziellen Anwendungsbereiche vervollständigt werden.

Die automatisch eruierten Operator-Argument-Strukturen erhalten auf der Ebene der Zwischenrepräsentation zusätzliche Referenzen auf die Segmente des Protokolltextes, für die die erste Argumentposition der Operator-Argument-Struktur vorbehalten ist. Durch diesen Index kann bei Bedarf auf das Originalprotokoll des "lauten Denkens" zurückgegriffen werden.
 

5.3.3. Der Knowledge-Base-Watcher

Der knowledge-base-watcher (im weiteren "Watcher" genannt) kontrolliert die deklarative Ebene der Zwischenrepräsentation auf fehlende Elemente hin. Wurden beispielsweise während der inkrementellen Textanalyse neue Objekte erzeugt, die in keiner taxonomischen Beziehung zu den schon vorhandenen Objekten stehen, so bemerkt dies der Watcher, indem er alle vorhandenen Objekte auf dieser Ebene auf fehlende oder unvollständige Relationen hin überprüft. Bei Vorliegen einer fehlenden taxonomischen Beziehung ruft der Watcher die Laddering-Komponente von KRITON auf, bei fehlender Objekt-Attribut-Beziehung wird die Konstruktgitter-Methode aktiviert.
 

5.4. Regel- und Frame-Generierung

Die Zwischenrepräsentationssprache, in der prozedurale und deklarative Elemente zwischengespeichert sind, bildet die Basis für die Regel- und Frame-Generierung.
 

5.4.1. Frame-Generierung

Aus den deklarativen Wissenselementen werden Frames gebildet, die die Informationen aus dem semantischen Netz enthalten. Frames sind eine andere Methode der Darstellung von Objekt-Attribut-Strukturen und Relationen: Ein Frame ist die Beschreibung eines Objektes, das sogenannte Slots (Abteile) enthält, in denen die mit dem Objekt verbundenen Informationen gespeichert werden können. Die Slots können aber auch Vorgaben oder Zeiger auf andere Frames enthalten. Zur Erklärung ein Beispiel:
 
Slot Eintragung
Fahrzeug Mercedes
Baureihe Vorgabe: W 123
Leistung in Tabelle xy nachschauen

Die Frame-Generierung erfolgt automatisch, da es sich um einen grundsätzlich einfachen syntaktischen Transformationsprozeß handelt. Trotzdem haben die Systementwickler die Möglichkeit vorgesehen, die Übersetzung mit einem Struktureditor interaktiv zu korrigieren.
 
 

5.4.2. Regel-Generierung

Operator-Argument-Strukturen, die aus den Segmenten des Protokolls automatisch extrahiert wurden, werden nach der Aufbereitung in der Zwischenrepräsentationsebene interaktiv dem Benutzer zur Regel-Generierung angeboten. Die Bildung der Regeln vollzieht sich über maus-gesteuerte Menüs, wobei die vorgeschlagenen Strukturen, die nicht vom Benutzer zurückgewiesen wurden, in den rechten und linken Teil der Wenn-Dann-Strukturen eingeordnet werden können. Durch einen Regeleditor können eventuelle Fehler der Protokollanalyse korrigiert werden. Der Wissensingenieur hat die Aufgabe, bei den Operator-Argument-Strukturen zu entscheiden, was Prämisse (Wenn) und was Aktion (Dann) ist.