Performance improvements regarding Attendee::VectorFilter’s (as well as
Attendee::NonewordFilter’s) memory usage; set sort: false in
the config.
Added Attendee::Stemmer (implementing Porter’s algorithm for suffix stripping).
Added progress reporting to Attendee::TextReader; set progress:
true in the config.
Added directory and glob processing to Attendee::TextReader (new options
glob and recursive).
Renamed Attendee::TextReader’s option lir-record-pattern to
records.
Fixed Attendee::Debugger to forward all objects so it can be inserted between any two attendees in the config.
Fixed regression introduced in 1.8.0 where Lingo would not use existing compiled dictionary when source file is not present.
Fixed “invalid byte sequence in UTF-8” on Windows for SDBM store.
Enabled pluggable (compiled) dictionaries and storage backends.
Extensive internal refactoring and cleanup. (Finished for now.)
Introduced alternative storage backends, mainly to circumvent SDBM’s record size limit.
Warn when truncating a record for SDBM now.
Added benchmarks for storage backends.
Added demo and sample commands to lingoctl and introduced
aliases.
Added default plugin path.
Fixed Gem dependencies.
Updated the German system dictionary.
Extended the README with test setup and literature.
Internal refactoring and some housekeeping.
Ruby 1.8 officially no longer supported! Use Lingo 1.7.x instead.
Executable may be run from outside installation root directory now. See README for further details.
Search path for dictionaries and configuration files; plugin system.
Textreader can read from STDIN if no files given; leave out the
files parameter in the config for this to trigger.
Status/performance details as well as progress information are now printed on STDERR instead of STDOUT in order to not mix with regular output. Learned ‘–log’ option to write such information to a file.
Additional internal refactorings. (To be continued…)
Multiworder actually finds the longest matching multiword group.
Multiword entries in SingleWord dictionaries now respect
def-wc; new parameter def-mul-wc to control the
word class for multiword entries (defaults to def-wc). Use
def-mul-wc: 'm' in your .lang to restore the
previous behaviour.
New Attendee::Formatter for configurable output formatting as an alternative to Attendee::Textwriter.
New basic input filters to enable indexing of HTML/XML (and PDF?) files.
Updated the system dictionary.
Switched license to Affero GPL.
More Ruby 1.9 compatibility.
Extended VectorFilter to double as enhanced Non(e)wordFilter.
Fixed Sequencer to recognize additional word classes beyond the first.
Fixed Sequencer to not prematurely flush the buffer, which led to a decreased recognition rate.
Housekeeping.
Ruby 1.9 compatibility, finally.
Added lingoweb.rb, a plain & simple web frontend for Lingo.
Added DIFF-LCS gem directly to Lingo distribution.
Redirect Lingo output to /dev/null
during testing. Indicate error with appropriate exit code.
Replace usage of command-line diff with cross-plattform Ruby implementation (requires diff-lcs).
Provide alternatives to standard zip command on windows platforms.
Use UNK itself if it doesn’t have any lexicals.
Use compo form instead of word form when lexicalizing compound entry for multiword dictionaries.
LexicalHash#[] must use target (not source) form.
Optionally, try to find matches for all lexicals a word has.
Make ‘-’ a PRINTABLE_CHAR.
Allow synonyms to be considered for multiword matching.
Don’t use compound parts.
Introduced some (more or less arbitrary) line length limit. We can only store values of a certain length anyway (with SDBM). Entries exceeding this limit will be rejected and logged in the .rev file.
Prevent “infinite” backtracking in regular expressions.
Updated configs.
Partly reverted Ruby 1.9 compatibility where it clashed with the 1.8 series.
Initiale Bereitstellung von Lingo in Subversion
BUGFIX: Token wurden durch den Caching-Mechanismus in ihrer Schreibweise verändert (Groß-/Kleinschreibung).
Englische Wörterbücher, ein Beispiel-Artikel und eine Konfiguration für das Englische wurden aufgenommen. Aufruf mit lingo.rb -c lingo-en.cfg -l en <datei>.
Integration der Testumgebung für Entwickler.
Die Attendees in den Lingo-Konfigurationsdateien werden automatisch verkettet. Dies erspart mühsame Verlinkung von Hand und macht die Konfiguration lesbarer.
Modified parameters for Tokenizer and building of databases to handle UTF-8 correctly. Printable characters from the ASCII charset and every UTF character greater than x80 is now recognized as a non word breaking character. so now diacritical characters are handled well.
Added a command line option ‘-p’ for lingo.rb for making detailed performance mesurements possible for each single attendee.
Allow Lingo.new to be called from a different directory. (Still need to Dir.chdir to talk because of the dictionaries…).
Allow Textreader to read from STDIN.
Allow Lingo to be called from an external library or program; pass a string and get an array back.
Allow Textwriter to write to STDOUT.
Match suffixes case-insensitively.
Don’t exclude synonyms that are eponymous with the original word.
Don’t stop variating hyphenated words if any component was taken as-is.
Basic Ruby 1.9 compatibility.
Words should be counted per record, not per document, in LIR mode.
Added Porter stemmer.
Englische Wörterbücher ergänzt
Lingo kann nun auch Englisch. Dazu muss beim Aufruf von Lingo die Option "-l en" angegeben werden. Ein englischer Artikel ist unter txt/artikel-en.txt zu finden.
Eckige Klammern als darstellbare Zeichen eingebaut
Neuer Attendee Dehyphenizer
Zur Behandlung von Bindestrichen am Zeilenende wurde der Dehyphenizer eingeführt.
GPL-Wörterbuch
Das Systemwörterbuch ist vollständig unter GPL gestellt.
Pfad- und Dateibehandlung
Kleine Fehlerbehebung in der Pfadgenerierung im Textwriter.
Return-Codes
Bei Aufruf der Hilfe oder bei Fehlersituationen, die intern abgefangen werden, wird der Return-Code 1 gesetzt, um somit bessere Steuerung in der Batchverarbeitung zu ermöglichen.
Fehlerkorrektur im Multiworder
Der Multiworder hat sich in einem seltenen Spezialfall nicht korrekt verhalten. Das ist bereinigt.
Wörterbücher umbenannt
Die standardmäßig mitgelieferten Wörterbücher sind umbenannt worden in lingo-xxx.txt und haben als einheitlichen Separator zwischen Schlüssel und Werten das ‘=’-Zeichen.
Bereinigungen durchgeführt
Aus dem Code sind viele alte Programmschnipsel entfernt worden.
Wörterbücher umbenannt
Die standardmäßig mitgelieferten Wörterbücher sind umbenannt worden in lingo-xxx.txt und haben als einheitlichen Separator zwischen Schlüssel und Werten das ‘=’-Zeichen.
Bereinigungen durchgeführt
Aus dem Code sind viele alte Programmschnipsel entfernt worden.
Fehlerkorrektur Multiworder
Ein klitzekleiner Fehler hat sich doch durch die übereifrig schnelle Bereitstellung der neuen Version eingeschlichen. Ist korrigiert und in die Testroutinen mit aufgenommen.
Punkt-Behandlung vollständig überarbeitet (Abbreviator wieder im Einsatz!) => TEIL 2
…hatte ich doch vergessen zu erwähnen, dass als Voraussetzung für das
Funktionieren der neu eingeführten Punkt-Behandlung ZWINGEND die
Tokenizer-Regel ‘ABRS’ in der de.lang auskommentiert werden
muss ?:o\
Vorsicht bei CFG-Dateien!
Multiworder und Sequencer vertragen beide einen ‘stopper’-Parameter, der in der Regel mit ‘PUNCT,OTH_C’ vorbelegt ist. Dies soll Token identifizieren, die durch die Regel gleichen Namens im Tokenizer erkannt wurden. Diese Regeln sind jedoch umbenannt worden (weiß nicht mit welcher Version) in ‘PUNC’ und ‘OTHR’. Daher bitte die entsprechenden Einträge ändern auf ‘PUNC,OTHR’.
Punkt-Behandlung vollständig überarbeitet (Abbreviator wieder im Einsatz!)
Die Behandlung des Zeichen ‘.’ wurde komplett neu designet. Das Zeichen ‘.’ kommt grundsätzlich in drei verschiedenen Kontexten vor:
Als Punkt hinter einer Zahl (1. = Erster, 2. = Zweiter,…)
Als Abkürzungspunkt
Der Satzendepunkt
Der 1. Fall ist sehr sicher durch eine Tokenizer-Regel zu identifizieren und wird daher hier nicht weiter betrachtet. Dabei wird kein Punkt-Token erzeugt, sondern der Punkt im Stammwort mitgegeben (z.B. <1.>).
Zwischen dem 2. und dem 3. Fall macht der Tokenizer keine Unterscheidung mehr. Der Punkt wird als eigenständiges Token erkannt und in den Verarbeitungsstrom weitergereicht. Der Abbreviator versucht nun Abkürzungen anhand von Punkt-Token zu erkennen. Taucht ein Punkt im Zeichenstrom auf, dann wird das vorhergehende Word im Abkürzungswörterbuch nachgeschlagen. Wird das Wort dort gefunden, wird das Punkt-Token aus dem Zeichenstrom entfernt und die Abkürzung als identifiziert weitergereicht.
Bleibt neben dem Satzendepunkt noch der Abkürzungspunkt z.B. in Personennamen (John F. Kennedy). Diese müssen vom Multiworder zuverlässig als Teil einer Mehrwortgruppe erkannt und ggf. ebenfalls entfernt werden. Die zusätzlich aufgebohrtet Testroutinen zeigten ein zuverlässiges Verhalten.
Grundlegende architektonische Überarbeitung
Die über ein Jahr gewachsene Struktur von Lingo wurde grundlich überarbeitet. Detailliertere Dokumentation folgt.
Abbreviator entfernt
Den Attendee Abbreviator gibt es nicht mehr. Seine Funktion wird vom Wordsearcher mit übernommen. Wenn ein Wort nicht erkannt wird, so prüft der Wordsearcher das Wort erneut mit abschließendem Punkt, wenn das nächste Token im Zeichenstrom tatsächlich ein Punkt ist. In diesem Fall wird das Punkt-Token aus dem Datenstrom entfernt.
Ocr_variator heißt jetzt Variator
Kleine kosmetische Anpassung. Der Ocr-Bezug stimmt zwar historisch gesehen noch, mit der eigentlichen Funktion hat es jedoch nichts zu tun.
Decomposer mit zusätzlicher Validitätsprüfung und Kennzeichnung
Der Decomposer kann bei Bedarf Komposita einer zusätzlichen Prüfung
unterziehen. Ist der Schlüssel
de.lang:language/dictionary/compound/skip-sequences angegeben,
der z.B. in der Form skip-sequences: [ VS ] definiert wird,
wird zusätzlich geprüft, ob das Kompositum mit seinen Teilen diesen
Wortklassen entspricht. Hiernach werden Komposita verworfen, die aus
Verb-Substantiv-Kombination bestehen. Die Angabe des Parameters ist
optional. Zusätzlich werden bei Angabe des Schlüssels
de.lang:language/dictionary/compound/append-wordclass, der
i.d.R einen ein Zeichen langen String enthält,
die durch Zerlegung erkannten Wortstämme markiert, in dem ihre Wortklasse
das über diesen Schlüssel definierte Zeichen angehangen bekommt.
Install.rb nicht mehr notwendig
Die Umwandlung von Text-Dateien in SDBM-Dateien erfolgt nicht mehr über Install, sondern durch ‘jeden’ Lingoaufruf implizit. Beim öffnen der SDBM-Datei wird automatisch die Aktualität geprüft und bei Bedarf eine erneute Übersetzung angestartet.
Sprachkonfiguration aktualisiert
Die Konfigurationsdatei de.lang ist an produktive Erfahrungen angepasst worden. Insbesondere werden jetzt alle Sonderzeichen der Zeichensätze ISO-8859-1 und Windows-1252 vollständig erkannt, ohne dass laufend Zeichen nachgepflegt werden müssen.
Cachable arbeitet jetzt mit Duplikaten
Objekte, die in den Cache von Datasource, Dictionary oder Grammer übernommen wurden, wurden auch immer als Referenz ausgelesen. Die hatte zur Folge, dass wenn Cacheinhalte im späteren Verlauf der Lingo-Kette verändert wurden, diese Veränderung auch alle nachfolgen aus dem Cache gelesenen Objekte betraf. D.h.: Wird das Wort <von|?> in den Cache geschrieben, so werden alle nachfolgenden Suchanfragen aus dem Cache bedient. So weit so gut. Wenn ein Attendee nach Cacheauslesen der Meinung ist, er müsste für das Objekt das Attribut z.B. auf ‘MU?’ (Teil einer Mehrwortgruppe) ändern, dann wurde dadurch auch das Element im Cache geändert. Nachfolgende Suchanfragen erhielten somit <von|MU?> als Antwort. Ab jetzt werden nur noch Kopien des Originals in den Cache übernommen, so das eine versehentliche Veränderung ausgeschlossen wird.
String hat attr-Methode
Die Methode select der Klasse Dictionary gibt die gefundenen Lexicals sortiert zurück. Bei der Verarbeitung von Mehrwortwörterbüchern kann jedoch auch z.B. ‘*5’ als Antwort gegeben werden, was dem Multiworder mitteilt, dass es eine Mehrwortgruppe der Länge 5 gibt, die mit genau den drei nachgefragten Wörtern beginnt und der Multiworder eine weitere Abfrage machen soll. Klappt alles wunderbar, nur dass select nicht in der Lage ist ein Array aus Lexicals und Strings anhand des attr-Wertes zu sortieren. Jetzt hat die Klasse String eines attr-Wert ” bekommen und die Sortierung funktioniert wieder.
Neues Synonym-Wörterbuch
Ein sehr gut gepflegtes Synonym-Wörterbuch ist als Beispiel mit aufgenommen worden. Wie beim Mehrwortwörterbuch system_mul.txt sind jedoch nur Einträge mit dem Anfangsbuchstabe ‘a’ enthalten.
Fehlerkorrekturen und Anpassungen
Multiworder verarbeitet wieder mehrere Wörterbücher.
Synonyme mit ‘_’ statt ‘ ’ für LIR-Format wieder entfernt.
Abbreviator mit initialem Wörterbuch versehen
System_dic mit Stopwörtern versehen
Bei install.rb `…` durch system()-Aufruf getauscht
Browser bei install.rb über Parameter -b konfigurierbar
Kleinere Anpassungen
Kompositumerkennung redesigned
Neben den Klassen für Datenzugriff auf unterster Ebene (Datasource) und dem Wörterbuchzugriff (Dictionary) gibt es nun auch eine Klasse für grammatikalische Spezialitäten (Grammar), welche die Kompositumerkennung aufgenommen hat.
Testroutinen ausgebaut
Alle bisher per Mail gemeldeten Fehlersituationen sind in die Testroutinen eingebaut worden, so dass sie bei zukünftigen Versionen direkt mit getestet werden. Also weiterhin fleißig per Mail z.B. an error@lex-lingo.de melden.
Stopworder getilgt
Der Stopworder hat seine Schuldigkeit getan. Sein Konzept ist von gestern. Weil er auch durch normale Wörterbuchsuche abbildbar ist, wird hier auf die weitere Pflege verzichtet. Bitte in den Konfig-Dateien berücksichtigen! und WICHTIG: Stopwörter im Wörterbuch ggf. nachpflegen!
Neuer Attendee Abbreviator
Bisher hat der Tokenizer per Konfiguration eine Liste von Abkürzungen mitgeteilt bekommen, die er in einer Textzeile als Token erkennen und in den Datenstrom einfliessen lassen sollte. Die Pflege dieser Konfigurationsdaten fiel vollends aus dem sonst stringenten Wörterbuchkonzept heraus. Daher wurde dies Funktion in den Abbreviator ausgelagert, der sich die bekannten Abkürzungen aus einem eigenen Wörterbuch holt. Bitte in den Konfig-Dateien berücksichtigen!
Datenformate in de.lang vereinfacht
Die Datenformate für den Tokenizer und die _Suffix_e haben sich in der Sprachkonfigurationsdatei de.lang geändert. Sofern eine alte de.lang-Datei mit dieser Version zusammen laufen soll, bitte in den Konfig-Dateien berücksichtigen!
Attendees überarbeitet
Das Verhalten der Attendees wurde homogenisiert. Als zusätzliche Klasse wurde der BufferedAttendee eingeführt, der den Eingabe-Strom zwischen speichern kann und den angestauten Buffer mit einem mal verarbeiten kann. Dies ist insbesondere förderlich für die Attendees Multiworder und Sequencer, die eine Kette von Objekten untersuchen müssen.
Dokumentation erstellt
Für alle Attendees gibt es jetzt reichlich Dokumentation, die mit doc/index.html aufgerufen werden kann. Weitere Dokumentation muss noch folgen…
Bugfix im Sequencer
Der Sequencer sorgte für Fehlfunktionen, wenn er aus dem Multiworder Worter unerwarteten Typs erhielt.
Synonymer verarbeitet jetzt WIRKLICH mehrere Wörterbücher
Aus einem mir bislang unbekannten Grund sind die in der letzten Version gemachten Änderungen nicht übernommen worden. Ist bereinigt.
Vector_filter mit geändertem
sort-Parameter
Der sort-Parameter konnte vormals die Werte
normal, count und term annehmen. Die
Werte count und term wurden durch die
Bezeichnungen term_abs und term_rel ersetzt.
Zusätzlich hinzugekommen sind die Werte sto_abs und
sto_rel, welche mit den o.g. korrespondieren, der Zahlenwert
jedoch in geschweiften Klammern hinter dem Wort stehen. Dies ist notwendig
für das LIR-Format.
Für zukünftige Meldungen!
Besteht ein Änderungsbedarf aufgrund eines Fehlers oder der Wunsch einer
Funktionserweiterung? Mailt mir eure Wünsche an
rfc@lex-lingo.de
Neuer Attendee Sequencer
Der Sequencer erkennt Mehrwortgruppen, die nicht über ein
Wörterbuch vorgegeben werden müssen, sondern über ihre Wortklassen erkannt
werden. Steht z.B. in de.lang:language/attendees/sequencer/sequences:
[ [AS, "2, 1"], [AK, "2, 1"] ] so werden
Wortfolgen der Art Adjektiv-Subjektiv und Adjektiv-Kompositum erkannt und
in der in Gänsefüsschen angegebenen Form als Indexeintrag bereitgestellt.
So wird ‘geniale Indexierung’ als ‘indexierung, genial’ in Form eines
zusätzlichen Wortes in den Ausgabestrom eingefügt mit Attribut
SEQ und der Wortklasse q.
Bugfixing Kompositum-Caching
Beim zweiten Auftreten eines Kompositums wurde das Kompositum als nicht erkanntes Wort weiterverarbeitet. Der Fehler im Chahing-Mechanismus ist behoben, so dass die LIR-Verarbeitung wieder korrekt läuft.
Synonymer verarbeitet mehrere Wörterbücher
Mit Angabe des Parameters mode=all kann der Synonymer
jetzt auch mehrere Wörterbücher verarbeiten.
Neuer Attendee Objectfilter
Als Basis für eine eher allgemeinere und flexiblere Filter-Möglichkeit im
Vergleich zum Noneword_filter kann der Objectfilter alle
Arten von Selektion vornehmen. Das Attribut objects ist eine
Ruby-Bedingung, die, wenn sie als false ausgewertet wird, dass
aktuelle Objekt filtert.
Neuer Attendee Compositizer
Die Kompositumzerlegung war bisher im Attendee Wordsearcher enthalten. Dadurch wurden für die Zerlegung immer die gleichen Wörterbücher benutzt, die auf für die Wortsuche verwendet wurden. Durch die Trennung ist eine separate Angabe von Wörterbüchern möglich.
Testing
Ausführliche Testroutinen sind erstellt worden, welche die Folge-Releases deutlich stabiler machen werden. Innerhalb einer Sekunde sind sämtlich Attendees durchgetestet. Die durchgeführten Tests basieren auf Fehlermeldungen und Anregungen aus vergangenen E-Mails. Sie können jederzeit erweitert werden. In diesem Zusammenhand ist auf die Basisklasse aller Attendees (vorher Lingo) neu erstellt worden. In Verbindung mit der Einführung von YAML als Konfigurationssprache wurden diese automatischen Tests erst möglich.
YAML
Bei YAML unbedingt darauf achten, dass keine TABs verwendet werden. YAML ist da sehr empfindlich.
Fehlerkorrektur LIR-Absturz
Bei der Suche nach Mehrwortsynonymen wurden auch interne Steuercodes an weitere Attendees weitergeben, die damit nichts anfangen konnten. Synonymer filter jetzt bei der Suche interne Steuercodes heraus.
Vector_Filter mit Term-Frequenz
Wird beim Attendee Vector_filter das Attribut
sort='term' angegeben, wird statt der absoluten Zahl (wie bei
sort='count') die Term-Frequenz eines Wortes ermittelt. Die
Term-Frequenz bezieht sich auf die Anzahl Worte in der Datei. Diese
wiederum können über das Attribut no-count gesteuert werden.
Das Attribut entscheidet darüber, welche Wort-Typen nicht in die
Gesamtwortanzahl der Worte in der Datei berücksichtigt werden. Default
hierfür ist no-count='PUNCT,OTH_C'.
Kompositum-Zerlegung mit weiterer Einschränkung
Ein weiterer Parameter ist für die Kompositumzerlegung hinzugekommen. Als
Attribute des Tags XML:dictionary/compound können jetzt
angegeben werden:
Attribut Default Funktion ============================================================================ min-word-size 8 Prüft nur Wörter ab dieser Größe auf Kompositum
Die folgenden Attribute werden auf gefundene Komposita angewendet. Das Kompositum muss diese Prüfung bestehen, um gewertet zu werden.
min-avg-part-size 4 Die durchschnittliche Größe aller Wortteile muss
mindestens diesen Wert haben
min-part-size 1 Jeder Wortteil muss mindestens so groß sein
max-parts 4 Es darf höchstens so viele Wortteile geben.
Install-Routine um Linux-Kommandos erweitert
Die Install-Routine sollte jetzt alle Aufgaben sowohl auf Windows wie auch Linux komplett abschließen können.
Zu lange Datensätze
Trotz anderweitiger Meinung haben Klaus und ich gemeint, Datensätze größer 1024 Bytes werden nicht benötigt. Kam halt anders. SDBM kann keine Sätze größer 1k speichern, weshalb die Informationen derzeit ziemlich q&d auf 1k getrimmt werden.
Test-Routinen erweitert
Insbesondere die Sortierung von Lexicals wurde noch einmal intensiv unter die Lupe genommen. Dabei sind ein paar kleine Dinge noch begradigt worden.
Install-Routine bereinigt
Install.rb soll in Richtung Plattformunabhängigkeit weiterentwickelt werden, so dass auch Linux nicht zu kurz kommt. Da fehlen noch ein paar Kommandos, aber die Routine wird euch zu gegebener Zeit fragen :o) !!Einzelne Datenbanken können jetzt angesprochen werden!! Mit ‘install -data -r rdk’ werden z.B. alle Datenbanken, die rdk im Namen enthalten, gelöscht und mit ‘install -data rdk’ auch wieder hergestellt. Das sollte die Pflege der Datenbanken deutlich erleichtern.
VORSICHT: KNOWN ERROR
Die Datenbanken werden im Verzeichnis de/store gespeichert. Unter Linux scheint das Erstellen des Verzeichnisses noch nicht die richtigen Rechte mitzugeben. Teste ich noch unter Linux, bis dahin bitte das Unterverzeichnis vor dem Aufruf von Install von Hand anlegen!
Umstellung der Versionsnummernsystematik
Damit auch Patches und Bugfixes nicht als herrenloses Archiv ausgetauscht werden müssen und jeden besser in Erinnerung verbleibt, wann welche Funktions- erweiterung dazu kam, gelten für die Veränderungen in den Versionsnummern folgende Regeln:
X.0.0 Die erste Stelle kennzeichnet einen grundlegenden architektonischen
Umbau von Lingo, wie z.B. den Wechsel von Rubyling auf Lingo. Im Zweifel
zählt hierzu auch eine zehnmalige Funktionserweiterung :o)
0.X.0 Die zweite Stelle kennzeichnet eine Funktionserweiterung, wie z.B. die
Verarbeitung von Mehrwortgruppen.
0.0.X Die letzte Stelle ist für Bugfixes vorbehalten.
Gegebenenfalls kann der Versionsnummer noch ein kleiner Buchstabe folgen, der anzeigt, dass sich lediglich an der Dokumentation etwas geändert hat. Gestartet wird mit der 1.1.0 (Erweiterung um Mehrworterkennung), die im wesentlichen der Vorversion (alte Systematik) entspricht.
Datenbankformat und -zugriff vereinheitlicht
Bisher gab es drei verschiedene Datenformate für Wörterbücher, Synonyme und Mehrwortgruppen. Alle drei Typen finden sich nun in einem universellen Format wieder. Ebenso wurde der Zugriff auf die Daten modifiziert. Wurden vorher je nach Typ einmal eine Liste der erkannten Grundformen (Lexical) als Ergebnis erzeugt und ein anderes mal nur eine Zeichenkette zurück gegeben, werden jetzt alle Zugriffe auf die Daten als Lexical-Liste generiert. Dies hatte Auswirkungen auf die Synonymerkennung, da bisher die die Wortklasse ‘y’ aus dem Programm und nicht aus den Datendateien kam.
Multiworder verarbeitet mehrere Datenbanken
Die Verarbeitung von mehreren Datenbanken für einen Zugriff wird normalerweise in der Klasse Dictionary erledigt. Da der Multiworder jedoch die Funktionen der Dictionary-Klasse nicht benötigt, greift er direkt auf die Klasse DataSource zu, welche diese Funktion nicht besitzt. Daher musste die Verarbeitung mehrerer Datendateien im Multiworder selbst erfolgen.
Multiworder fertig!
Mit dem neuen Attendee Multiworder werden Mehrwortgruppen locker und schnell erkannt. Erkannte Gruppen werden als als zusätzliches (Dummy-)Wort mit in den Datenstrom eingespeist. Die Geschwindigkeit wird dadurch erreicht, dass die Mehrwortgruppen in Ihren jeweiligen Grundformen gespeichert werden. Das ist genau dass, was der Multiworder frei Haus geliefert bekommt. Das klappt wunderbar, wenn für den Multiworder-Lauf und die Ersterstellung des Mehrwörterbuches die gleichen Wörterbücher verwendet werden. Soll heißen, wenn zu einem späteren Zeitpunkt zusätzliche Wörterbücher hinzu gezogen werden, kann eine erneute Erstellung der Mehrwörterbuches Sinn machen, um die Erkennungsquote zu verbessern. Diese Version arbeitet mit einem abgespeckten Mehrwörterbuch.
Install.rb weiter ausgebaut
Die einzelnen Installationsphasen können jetzt auch einzeln aufgerufen werden. Mit den Optionen -data, -test und -docu können die jeweiligen Phasen wiederholt werden. Mit der zusätzlichen Option -r kann auch alles wieder rückgängig gemacht werden.
Install.rb
Nach dem Download sollte als erstes ruby install.rb aufgerufen werden. Dadurch werden notwendige Vorarbeiten erledigt, z.B. Erstellung der Dokumentatio in /doc oder der Datenbasis in /de
Forget MySQL
Als erstes filebasiertes Datenzugriffssystem wurde SDBM integriert. Darüber wird MySQL überflüssig. Alle relevanten Daten liegen im Unterverzeichnis /de. Siehe auch de.xml:<datasource>. Vor der ersten Nutzung sollten die SDBM- Dateien mit ruby dbm.rb erzeugt werden. (wird durch install.rb erledigt)
Sortierung im Vector_filter verbessert
Bei sort=‘count’ wird jetzt nicht nur nach Häufigkeit sortiert sondern auch innerhalb der Häufigkeit nach Alphabet.
Kompatibilität zur LIR
LIR-Formate können jetzt gelesen und CSV-Format geschrieben werden. Anpassungen in Textreader und Textwriter. Siehe auch lir.xml
Bug-Fix in Synonymer
Schweren Fehler entfernt. Wordklassen, die nicht geprüft werden sollten, wurden kastriert.
Kompositumverarbeitung im Vector_filter
Neben der Kompositum-Grundform werden jetzt auch die Grundformen der Wort- Teile mit eingesackt.
Dokumentation erstellt
Sie ist zwar noch teilweise verteilt, aber sie ist da, z.B. in doc/index.html oder in Config.doc. Einigermaßen fertig (war ich nach der Erstellung). Bitte um Feedback was besser geht und was fehlt.
Attendees überarbeitet
Sehen jetzt noch einfacher aus. Brauchen nur noch die Methoden init - Zur Bereitstellung von Parametern und Konfiguration für die anderen Meth. control - Zur Verarbeitung von Kommandos process - Zur Ver- und Bearbeitung von zugestellten Objekten
Dictionary aufgesplittet
Da es mittlerweile drei Attendees gibt, die Datenbankzugriff brauchen, ist das Dictionary eine Hauptklasse geworden. Dazu gibt es eine rudimentärere Klasse, auf die das Dictionary sich für den Datenzugriff stützt: Datasource. Diese Klasse nutzt die vollen Möglichkeiten eines eigenen Datencaches, welches die Performance noch einmal deutlich verbessert hat.
Konfiguration aufgesplittet
Ja ja, mein Lieblingsthema, aber ohne eine saubere Konfigurationsmöglichkeit ist Lingo leider nix Wert. Gibt jetzt lingo.xml - Zur Konfiguration der Kommandozeilenoptionen de.xml - Enthält die sprachrelevante Konfiguration <ablauf>.xml - Enthält die Lingo-Konfiguration, z.B. rubyling.xml oder ocr.xml Mit ruby lingo.rb -c <ablauf> kann jeweils eine andere Konfig. gezogen werden.
Class Config überarbeiten
Klar, immer die wichtigen Dinge zuerst. Die über die Kommandozeile erwarteten Parameter sind über lingo.xcl konfigurierbar. In Lingo.xml kann man auf die Kommandozeilen-Parameter als Variable zurückgreifen. Doku anschauen, lohnt sich…
Noneword_variator
Auftragsarbeit von Klaus eingebaut.
Lingo ist Rubyling, nur besser
Rubyling ist tot, es lebe Lingo! Rubyling wurde vollständig modularisiert.
Konfiguration mit Lingo.xml
Konfiguration vollständig überarbeitet. Lingo.cfg heißt jetzt lingo.xml. Mit dieser Endung ist sie leichter mit SciTe editierbar. Die Klasse LingoConfig kann jetzt (fast) generische XML-Syntax verarbeiten. Die Werte werden auf sehr einfache Weise im Code bereitgestellt. Hinzu kommt, dass die Aufruf-Parameter ebenfalls über diesen Weg zur Verfügung stehen. Dokumentation muss folgen :o)
Load_wbs.rb stabilisiert
Programm zeigte keine Reaktion mehr auf Laptop nach Standby. Daher stoppen und starten des MySQL-Dienstes eingebaut. Load_wbs.rb von Archiv rubyling_de nach rubyling verschoben (Version aus rubyling_de im nächsten Release entfernen!)
Rubyling Parameter korrigiert
Für Programmtests waren Parameter im Programm verdrahtet. Kommandozeile wurde ignoriert.
Interne Klassenhierarchie umgebaut
In der Datei word.rb sind nun die Klassen unterschieden nach Token, Lexical und Word inkl. weiterer Hilfsklassen.
Synonymverarbeitung eingebaut
Erkannte Worte werden zusätzlich auf Synonyme hin geprüft. Die Liste der Grundformen des Wortes wird dann um die gefundenen Synonyme erweitert. Die Synonym-Wörterbücher sind wie gewohnt in ruby.cfg unter database/synonym konfigurierbar. Derzeit wird openthesaurus als einziges Wörterbuch benutzt. Um openthesaurus zu nutzen, sei das Archiv rubyling_de(v1.0) wärmstens empfohlen.
Nicht erkannte Wörter
Als zusätzliche Datei wird jetzt auch noch eine Endung .non erzeugt, die alle nicht erkannten Wörter beinhaltet
Schnelle Installation
Die Umgebung von Rubyling ist jetzt auf drei Archive verteilt. Bitte weitere Änderungen an den Daten in den Archiven vornehmen und in dieser RELEASE.TXT dokumentieren. Alle Archive sind so aufgebaut, dass sie im Verzeichnis rubyling entpackt werden können.
Archiv Ziel Inhalt ---------------------------------------------------------------------------- rubyling(v1.4) /rubyling Programm, Konfiguration und Dokumentation rubyling_de(v1.0) /rubyling/de Wörterbücher und Programm zum DB-Aufbau rubyling_txt(v1.0) /rubyling/txt Texte zum testen
Inline-Dokumentation erstellt
Mit Prozedur make_doc.cmd HTML-Seiten erstellen, dann docindex.html aufrufen
Konfiguration komplett überarbeitet
Eine zentrale Konfigurationsdatei ruby.cfg enthält im XML-Style alle Parameter, z.B. “<parm1 value=‘15’/>” in Ruby durch $CFG abfragbar. ruby-token.txt und ruby-suffix.txt sind nicht mewhr notwendig.
Reduzierung der linguistisch relevanten Klassen auf zwei Klassen
TextFile erweitert die Klasse File und ermöglicht die Datei-Verarbeitung auf Tokenbasis. Dictionary enthält mit der Methode search() die zentrale Schnittstelle für die Wörterbuch-Recherche (inkl. Stopwörtern, Suffixbehandlung und Kompositumzerlegung).
Rubyling erkennt bei Aufruf automatisch (jetzt richtig) das Dateiobjekt und unterscheidet Textdatei, Verzeichnis und DB-Datei (z.B. lir.txt). In den ersten beiden Fällen werden je Textdatei drei Ausgabedateien erstellt, die eine weitere Verbesserung der Verarbeitung ermöglichen:
.tok = Textfile in Token je Zeile zerlegt; .dic = Token mit Auflösung nach Wörterbuchzugriff; .vec = Inhaltsvektor der Datei.
Diverse Versionen, von denen Klaus meint, sie hätten noch keine eins vor dem Punkt verdient :o(