Eine Geschichte der maschinellen Übersetzung vom Kalten Krieg bis zum tiefen Lernen

Ich öffne Google Translate doppelt so oft wie Facebook und die sofortige Übersetzung der Preisschilder ist für mich kein Cyberpunk mehr. Das nennen wir Realität. Es ist schwer vorstellbar, dass dies das Ergebnis eines hundertjährigen Kampfes um die Entwicklung der Algorithmen der maschinellen Übersetzung ist und dass es in der Hälfte dieses Zeitraums keinen sichtbaren Erfolg gab.

Die genauen Entwicklungen, die ich in diesem Artikel diskutieren werde, bilden die Grundlage aller modernen Sprachverarbeitungssysteme - von Suchmaschinen bis zu sprachgesteuerten Mikrowellen. Ich spreche heute über die Entwicklung und Struktur der Online-Übersetzung.

Am Anfang

Die Geschichte beginnt im Jahr 1933. Der sowjetische Wissenschaftler Peter Troyanskii präsentierte der Akademie der Wissenschaften der UdSSR „die Maschine zur Auswahl und zum Drucken von Wörtern bei der Übersetzung von einer Sprache in eine andere“. Die Erfindung war super einfach - sie hatte Karten in vier verschiedenen Sprachen, eine Schreibmaschine und eine Filmkamera der alten Schule.

Der Bediener nahm das erste Wort aus dem Text, fand eine entsprechende Karte, machte ein Foto und tippte seine morphologischen Eigenschaften (Substantiv, Plural, Genitiv) auf die Schreibmaschine. Die Tasten der Schreibmaschine codierten eine der Funktionen. Das Band und der Film der Kamera wurden gleichzeitig verwendet, um eine Reihe von Bildern mit Wörtern und ihrer Morphologie zu erstellen.

Trotz alledem wurde die Erfindung, wie es in der UdSSR häufig vorkam, als „nutzlos“ angesehen. Troyanskii starb an Stenocardia, nachdem er 20 Jahre lang versucht hatte, seine Erfindung zu vollenden. Niemand auf der Welt wusste von der Maschine, bis zwei sowjetische Wissenschaftler 1956 seine Patente fanden.

Es war zu Beginn des Kalten Krieges. Am 7. Januar 1954 begann in der IBM-Zentrale in New York das Georgetown-IBM-Experiment. Der IBM 701-Computer übersetzte zum ersten Mal in der Geschichte automatisch 60 russische Sätze ins Englische.

„Ein Mädchen, das kein Wort der Sprache der Sowjets verstand, stanzte die russischen Nachrichten auf IBM-Karten aus. Das „Gehirn“ hat seine englischen Übersetzungen auf einem automatischen Drucker mit einer rasanten Geschwindigkeit von zweieinhalb Zeilen pro Sekunde abgebrochen “ - berichtete die IBM-Pressemitteilung.

Die triumphalen Schlagzeilen verbargen jedoch ein kleines Detail. Niemand erwähnte, dass die übersetzten Beispiele sorgfältig ausgewählt und getestet wurden, um Unklarheiten auszuschließen. Für den täglichen Gebrauch war dieses System nicht besser als ein Sprachführer. Trotzdem startete diese Art von Wettrüsten: Kanada, Deutschland, Frankreich und insbesondere Japan schlossen sich dem Rennen um maschinelle Übersetzung an.

Das Rennen um maschinelle Übersetzung

Die vergeblichen Kämpfe um die Verbesserung der maschinellen Übersetzung dauerten vierzig Jahre. 1966 bezeichnete das US-amerikanische ALPAC-Komitee in seinem berühmten Bericht die maschinelle Übersetzung als teuer, ungenau und vielversprechend. Sie empfahlen stattdessen, sich auf die Entwicklung von Wörterbüchern zu konzentrieren, wodurch US-Forscher fast ein Jahrzehnt lang vom Rennen ausgeschlossen wurden.

Eine Grundlage für die moderne Verarbeitung natürlicher Sprache wurde jedoch nur von den Wissenschaftlern und ihren Versuchen, Forschungen und Entwicklungen geschaffen. Alle heutigen Suchmaschinen, Spamfilter und persönlichen Assistenten wurden dank einer Reihe von Ländern angezeigt, die sich gegenseitig ausspionierten.

Regelbasierte maschinelle Übersetzung (RBMT)

Die ersten Ideen zur regelbasierten maschinellen Übersetzung tauchten in den 70er Jahren auf. Die Wissenschaftler sahen sich die Arbeit der Dolmetscher an und versuchten, die enorm trägen Computer dazu zu zwingen, diese Aktionen zu wiederholen. Diese Systeme bestanden aus:

  • Zweisprachiges Wörterbuch (RU -> EN)
  • Eine Reihe von Sprachregeln für jede Sprache (z. B. sind Substantive, die mit bestimmten Suffixen wie -heit, -keit, -ung enden, weiblich).

Das ist es. Bei Bedarf können Systeme durch Hacks ergänzt werden, z. B. Namenslisten, Rechtschreibkorrekturen und Transliteratoren.

PROMPT und Systran sind die bekanntesten Beispiele für RBMT-Systeme. Schauen Sie sich einfach den Aliexpress an, um den sanften Atem dieses goldenen Zeitalters zu spüren.

Aber auch sie hatten einige Nuancen und Unterarten.

Direkte maschinelle Übersetzung

Dies ist die einfachste Art der maschinellen Übersetzung. Es unterteilt den Text in Wörter, übersetzt sie, korrigiert die Morphologie leicht und harmonisiert die Syntax, damit das Ganze mehr oder weniger richtig klingt. Wenn die Sonne untergeht, schreiben ausgebildete Linguisten die Regeln für jedes Wort.

Die Ausgabe gibt eine Art Übersetzung zurück. Normalerweise ist es ziemlich beschissen. Es scheint, dass die Linguisten ihre Zeit umsonst verschwendet haben.

Moderne Systeme verwenden diesen Ansatz überhaupt nicht, und moderne Linguisten sind dankbar.

Transferbasierte maschinelle Übersetzung

Im Gegensatz zur direkten Übersetzung bereiten wir uns zunächst vor, indem wir die grammatikalische Struktur des Satzes bestimmen, wie wir in der Schule unterrichtet wurden. Danach manipulieren wir ganze Konstruktionen, keine Worte. Dies hilft dabei, die Wortreihenfolge in der Übersetzung recht ordentlich umzuwandeln. In der Theorie.

In der Praxis führte dies immer noch zu wörtlichen Übersetzungen und erschöpften Linguisten. Einerseits brachte es vereinfachte allgemeine Grammatikregeln. Andererseits wurde es aufgrund der erhöhten Anzahl von Wortkonstruktionen im Vergleich zu einzelnen Wörtern komplizierter.

Interlinguale maschinelle Übersetzung

Bei dieser Methode wird der Quelltext in die Zwischendarstellung umgewandelt und für alle Weltsprachen (Interlingua) vereinheitlicht. Es ist dieselbe Interlingua, von der Descartes geträumt hat: eine Metasprache, die den universellen Regeln folgt und die Übersetzung in eine einfache „hin und her“ -Aufgabe verwandelt. Als nächstes würde Interlingua in jede Zielsprache konvertieren, und hier war die Singularität!

Aufgrund der Konvertierung wird Interlingua häufig mit transferbasierten Systemen verwechselt. Der Unterschied besteht in den Sprachregeln, die für jede einzelne Sprache und Interlingua spezifisch sind, und nicht in den Sprachpaaren. Dies bedeutet, dass wir dem Interlingua-System eine dritte Sprache hinzufügen und zwischen allen drei übersetzen können. In transferbasierten Systemen ist dies nicht möglich.

Es sieht perfekt aus, ist es aber im wirklichen Leben nicht. Es war äußerst schwierig, solch universelle Interlingua zu schaffen - viele Wissenschaftler haben ihr ganzes Leben lang daran gearbeitet. Sie haben es nicht geschafft, aber dank ihnen haben wir jetzt morphologische, syntaktische und sogar semantische Repräsentationsebenen. Aber die einzige Bedeutungstextheorie kostet ein Vermögen!

Die Idee der Zwischensprache wird zurück sein. Warten wir eine Weile.

Wie Sie sehen können, sind alle RBMT dumm und furchterregend, und das ist der Grund, warum sie nur in bestimmten Fällen (wie der Übersetzung des Wetterberichts usw.) verwendet werden. Zu den häufig erwähnten Vorteilen von RBMT zählen die morphologische Genauigkeit (die Wörter werden nicht verwechselt), die Reproduzierbarkeit der Ergebnisse (alle Übersetzer erhalten das gleiche Ergebnis) und die Fähigkeit, sie auf das Fachgebiet abzustimmen (um Ökonomen oder Begriffe zu unterrichten) zum Beispiel für Programmierer).

Selbst wenn es jemandem gelingen würde, ein ideales RBMT zu erstellen, und Linguisten es mit allen Rechtschreibregeln erweitern würden, gäbe es immer einige Ausnahmen: alle unregelmäßigen Verben auf Englisch, trennbare Präfixe auf Deutsch, Suffixe auf Russisch und Situationen, in denen Menschen nur sag es anders. Jeder Versuch, alle Nuancen zu berücksichtigen, würde Millionen von Arbeitsstunden verschwenden.

Und vergessen Sie nicht die Homonyme. Das gleiche Wort kann in einem anderen Kontext eine andere Bedeutung haben, was zu einer Vielzahl von Übersetzungen führt. Wie viele Bedeutungen können Sie hier erfassen: Ich habe einen Mann mit einem Teleskop auf einem Hügel gesehen ?

Sprachen haben sich nicht auf der Grundlage fester Regeln entwickelt - eine Tatsache, die Linguisten lieben. Sie waren viel stärker von der Geschichte der Invasionen in den letzten dreihundert Jahren beeinflusst. Wie könnten Sie das einer Maschine erklären?

Vierzig Jahre des Kalten Krieges halfen nicht, eine eindeutige Lösung zu finden. RBMT war tot.

Beispielbasierte maschinelle Übersetzung (EBMT)

Japan war besonders daran interessiert, für maschinelle Übersetzung zu kämpfen. Es gab keinen Kalten Krieg, aber es gab Gründe: Nur sehr wenige Menschen im Land konnten Englisch. Es versprach, auf der bevorstehenden Globalisierungspartei ein ziemliches Problem zu sein. Die Japaner waren daher äußerst motiviert, eine Arbeitsmethode für die maschinelle Übersetzung zu finden.

Die regelbasierte englisch-japanische Übersetzung ist äußerst kompliziert. Die Sprachstruktur ist völlig anders und fast alle Wörter müssen neu angeordnet und neue hinzugefügt werden. Im Jahr 1984 kam Makoto Nagao von der Universität Kyoto auf die Idee , fertige Phrasen anstelle von wiederholten Übersetzungen zu verwenden .

Stellen wir uns vor, wir müssen einen einfachen Satz übersetzen: "Ich gehe ins Kino." Nehmen wir an, wir haben bereits einen ähnlichen Satz übersetzt - „Ich gehe ins Theater“ - und wir finden das Wort „Kino“ im Wörterbuch.

Alles, was wir brauchen, ist, den Unterschied zwischen den beiden Sätzen herauszufinden, das fehlende Wort zu übersetzen und es dann nicht zu vermasseln. Je mehr Beispiele wir haben, desto besser ist die Übersetzung.

Ich baue Phrasen in unbekannten Sprachen genauso!

EBMT zeigte Wissenschaftlern aus aller Welt das Licht der Welt: Es stellt sich heraus, dass Sie die Maschine einfach mit vorhandenen Übersetzungen versorgen können und nicht jahrelang Regeln und Ausnahmen formulieren müssen. Noch keine Revolution, aber eindeutig der erste Schritt in diese Richtung. Die revolutionäre Erfindung der statistischen Übersetzung würde in nur fünf Jahren geschehen.

Statistische maschinelle Übersetzung (SMT)

Anfang 1990 wurde im IBM Research Center erstmals ein maschinelles Übersetzungssystem gezeigt, das nichts über Regeln und Sprachwissenschaft als Ganzes wusste. Es analysierte ähnliche Texte in zwei Sprachen und versuchte, die Muster zu verstehen.

Die Idee war einfach und doch schön. Ein identischer Satz in zwei Sprachen, aufgeteilt in Wörter, die anschließend abgeglichen wurden. Diese Operation wurde ungefähr 500 Millionen Mal wiederholt, um beispielsweise zu zählen, wie oft das Wort "Das Haus" als "Haus" gegen "Gebäude" gegen "Bau" usw. übersetzt wurde.

Wenn das Quellwort die meiste Zeit als "Haus" übersetzt wurde, verwendete die Maschine dies. Beachten Sie, dass wir weder Regeln festgelegt noch Wörterbücher verwendet haben - alle Schlussfolgerungen wurden maschinell gezogen, geleitet von Statistiken und der Logik: „Wenn Menschen auf diese Weise übersetzen, werde ich es auch.“ Und so wurde die statistische Übersetzung geboren.

Die Methode war viel effizienter und genauer als alle vorherigen. Und es wurden keine Linguisten benötigt. Je mehr Texte wir verwendet haben, desto besser ist die Übersetzung.

Es blieb noch eine Frage offen: Wie würde die Maschine das Wort „Das Haus“ und das Wort „Gebäude“ korrelieren - und woher würden wir wissen, dass dies die richtigen Übersetzungen waren?

Die Antwort war, dass wir es nicht wissen würden. Zu Beginn ging die Maschine davon aus, dass das Wort „Das Haus“ gleichermaßen mit jedem Wort aus dem übersetzten Satz korreliert. Als nächstes würde, wenn „Das Haus“ in anderen Sätzen auftauchte, die Anzahl der Korrelationen mit dem „Haus“ zunehmen. Dies ist der „Wortausrichtungsalgorithmus“, eine typische Aufgabe für maschinelles Lernen auf Universitätsniveau.

Die Maschine benötigte Millionen und Abermillionen Sätze in zwei Sprachen, um die relevanten Statistiken für jedes Wort zu sammeln. Wie haben wir sie bekommen? Nun, wir haben beschlossen, die Abstracts des Europäischen Parlaments und der Sitzungen des Sicherheitsrates der Vereinten Nationen zu übernehmen - sie waren in den Sprachen aller Mitgliedsländer verfügbar und standen jetzt bei UN Corpora und Europarl Corpora zum Download zur Verfügung.

Wortbasierte SMT

Am Anfang arbeiteten die ersten statistischen Übersetzungssysteme, indem sie den Satz in Wörter aufteilten, da dieser Ansatz einfach und logisch war. Das erste statistische Übersetzungsmodell von IBM wurde als Modell eins bezeichnet. Ganz elegant, oder? Ratet mal, wie sie den zweiten nannten?

Modell 1: "die Tasche der Wörter"

Modell eins verwendete einen klassischen Ansatz - um in Wörter aufzuteilen und Statistiken zu zählen. Die Wortreihenfolge wurde nicht berücksichtigt. Der einzige Trick bestand darin, ein Wort in mehrere Wörter zu übersetzen. Zum Beispiel könnte aus „Der Staubsauger“ ein „Staubsauger“ werden, aber das bedeutete nicht, dass es umgekehrt ausfallen würde.

Hier sind einige einfache Implementierungen in Python: shawa / IBM-Model-1.

Modell 2: Berücksichtigung der Wortreihenfolge in Sätzen

Das mangelnde Wissen über die Wortreihenfolge von Sprachen wurde zu einem Problem für Modell 1 und ist in einigen Fällen sehr wichtig.

Modell 2 befasste sich damit: Es merkte sich die übliche Stelle, die das Wort am Ausgabesatz einnimmt, und mischte die Wörter für den natürlicheren Klang im Zwischenschritt. Die Dinge wurden besser, aber sie waren immer noch irgendwie beschissen.

Modell 3: zusätzliche Fruchtbarkeit

In der Übersetzung tauchten häufig neue Wörter auf, z. B. Artikel auf Deutsch oder die Verwendung von „do“ beim Negieren auf Englisch. "Ich werde keine Persimonen" → "Ich will keine Persimonen." Um dies zu bewältigen, wurden Modell 3 zwei weitere Schritte hinzugefügt.

  • Das Einfügen eines NULL-Tokens, wenn die Maschine die Notwendigkeit eines neuen Wortes berücksichtigt
  • Auswahl des richtigen grammatikalischen Partikels oder Wortes für jede Token-Wort-Ausrichtung

Modell 4: Wortausrichtung

Modell 2 berücksichtigte die Wortausrichtung, wusste aber nichts über die Neuordnung. Zum Beispiel wechselten Adjektive oft die Stellen mit dem Substantiv, und egal wie gut die Reihenfolge gespeichert wurde, es würde die Ausgabe nicht verbessern. Modell 4 berücksichtigte daher die sogenannte „relative Reihenfolge“ - das Modell lernte, wenn zwei Wörter immer die Plätze wechselten.

Modell 5: Bugfixes

Hier gibt es nichts Neues. Modell 5 hat einige weitere Parameter für das Lernen erhalten und das Problem mit widersprüchlichen Wortpositionen behoben.

Trotz ihres revolutionären Charakters konnten wortbasierte Systeme Fälle, Geschlecht und Homonymie immer noch nicht behandeln. Jedes einzelne Wort wurde je nach Maschine auf eine einzige wahre Weise übersetzt. Solche Systeme werden nicht mehr verwendet, da sie durch fortgeschrittenere phrasenbasierte Methoden ersetzt wurden.

Phrasenbasierte SMT

Diese Methode basiert auf allen wortbasierten Übersetzungsprinzipien: Statistik, Neuordnung und lexikalische Hacks. Zum Lernen wurde der Text jedoch nicht nur in Wörter, sondern auch in Phrasen aufgeteilt. Dies waren die n-Gramm, um genau zu sein, die eine zusammenhängende Folge von n Wörtern in einer Reihe waren.

Auf diese Weise lernte die Maschine, stetige Wortkombinationen zu übersetzen, was die Genauigkeit spürbar verbesserte.

Der Trick war, dass die Phrasen nicht immer einfache Syntaxkonstruktionen waren und die Qualität der Übersetzung erheblich abnahm, wenn jemand, der sich der Linguistik und der Satzstruktur bewusst war, störte. Frederick Jelinek, der Pionier der Computerlinguistik, scherzte einmal darüber: "Jedes Mal, wenn ich einen Linguisten entlasse, steigt die Leistung des Spracherkenners."

Neben der Verbesserung der Genauigkeit bot die phrasenbasierte Übersetzung mehr Optionen für die Auswahl der zweisprachigen Texte zum Lernen. Für die wortbasierte Übersetzung war die genaue Übereinstimmung der Quellen kritisch, was jegliche literarische oder freie Übersetzung ausschloss. Die phrasenbasierte Übersetzung hatte kein Problem damit, von ihnen zu lernen. Um die Übersetzung zu verbessern, begannen die Forscher sogar, die Nachrichten-Websites zu diesem Zweck in verschiedenen Sprachen zu analysieren.

Ab 2006 nutzten alle diesen Ansatz. Google Translate, Yandex, Bing und andere hochkarätige Online-Übersetzer arbeiteten bis 2016 als phrasenbasiert. Jeder von Ihnen kann sich wahrscheinlich an die Momente erinnern, in denen Google den Satz entweder fehlerfrei übersetzt oder zu völligem Unsinn geführt hat, oder? Der Unsinn kam von phrasenbasierten Funktionen.

Der gute alte regelbasierte Ansatz lieferte durchweg ein vorhersehbares, wenn auch schreckliches Ergebnis. Die statistischen Methoden waren überraschend und rätselhaft. Google Translate verwandelt "dreihundert" ohne zu zögern in "300". Das nennt man eine statistische Anomalie.

Phrasenbasierte Übersetzungen sind so populär geworden, dass es eigentlich gemeint ist, wenn Sie „statistische maschinelle Übersetzung“ hören. Bis 2016 lobten alle Studien die phrasenbasierte Übersetzung als Stand der Technik. Damals dachte noch niemand, dass Google bereits seine Feuer schürte und sich darauf vorbereitete, unser gesamtes Bild der maschinellen Übersetzung zu ändern.

Syntaxbasierte SMT

Diese Methode sollte auch kurz erwähnt werden. Viele Jahre vor dem Aufkommen neuronaler Netze galt die syntaxbasierte Übersetzung als „Zukunft oder Übersetzung“, aber die Idee kam nicht auf.

Die Befürworter der syntaxbasierten Übersetzung glaubten, dass es möglich sei, sie mit der regelbasierten Methode zusammenzuführen. Es ist notwendig, eine ziemlich genaue Syntaxanalyse des Satzes durchzuführen - um das Thema, das Prädikat und andere Teile des Satzes zu bestimmen und dann einen Satzbaum zu erstellen. Mithilfe dieser Funktion lernt die Maschine, syntaktische Einheiten zwischen Sprachen umzuwandeln, und übersetzt den Rest in Wörter oder Phrasen. Das hätte das Problem der Wortausrichtung ein für alle Mal gelöst.

Das Problem ist, dass die syntaktische Analyse schrecklich funktioniert, obwohl wir sie vor einiger Zeit für gelöst halten (da wir die vorgefertigten Bibliotheken für viele Sprachen haben). Ich habe versucht, syntaktische Bäume für Aufgaben zu verwenden, die etwas komplizierter sind, als das Thema und das Prädikat zu analysieren. Und jedes Mal gab ich auf und benutzte eine andere Methode.

Lassen Sie mich in den Kommentaren wissen, ob Sie es mindestens einmal erfolgreich verwenden.

Neuronale maschinelle Übersetzung (NMT)

2014 erschien ein ziemlich amüsantes Papier über die Verwendung neuronaler Netze bei der maschinellen Übersetzung. Das Internet bemerkte es überhaupt nicht, außer Google - sie nahmen ihre Schaufeln heraus und begannen zu graben. Zwei Jahre später, im November 2016, gab Google eine bahnbrechende Ankündigung bekannt.

Die Idee war nahe daran, den Stil zwischen Fotos zu übertragen. Erinnern Sie sich an Apps wie Prisma, die Bilder im Stil eines berühmten Künstlers verbessert haben? Es gab keine Magie. Dem neuronalen Netz wurde beigebracht, die Gemälde des Künstlers zu erkennen. Als nächstes wurden die letzten Schichten, die die Entscheidung des Netzwerks enthielten, entfernt. Das resultierende stilisierte Bild war nur das Zwischenbild, das das Netzwerk erhalten hat. Das ist die Fantasie des Netzwerks, und wir finden es wunderschön.

Wenn wir den Stil auf das Foto übertragen können, was ist, wenn wir versuchen, einem Quelltext eine andere Sprache aufzuerlegen? Der Text wäre genau dieser „Künstlerstil“, und wir würden versuchen, ihn zu übertragen, während wir die Essenz des Bildes (mit anderen Worten die Essenz des Textes) beibehalten.

Stellen Sie sich vor, ich versuche meinen Hund zu beschreiben - durchschnittliche Größe, scharfe Nase, kurzer Schwanz, immer bellt. Wenn ich Ihnen diese Merkmale des Hundes geben würde und die Beschreibung präzise wäre, könnten Sie sie zeichnen, obwohl Sie sie noch nie gesehen haben.

Stellen Sie sich nun vor, der Quelltext besteht aus einer Reihe spezifischer Funktionen. Grundsätzlich bedeutet dies, dass Sie es codieren und das andere neuronale Netzwerk es wieder in den Text dekodieren lassen, jedoch in einer anderen Sprache. Der Decoder kennt nur seine Sprache. Es hat keine Ahnung von der Herkunft der Merkmale, kann sie jedoch beispielsweise auf Spanisch ausdrücken. Wenn Sie die Analogie fortsetzen, spielt es keine Rolle, wie Sie den Hund zeichnen - mit Buntstiften, Aquarell oder Ihrem Finger. Sie malen es, wie Sie können.

Noch einmal - ein neuronales Netzwerk kann den Satz nur für den spezifischen Satz von Merkmalen codieren, und ein anderes kann sie nur zurück in den Text decodieren. Beide haben keine Ahnung voneinander und jeder von ihnen kennt nur seine eigene Sprache. Erinnerst du dich an etwas? Interlingua ist zurück. Ta-da.

Die Frage ist, wie finden wir diese Funktionen? Es ist offensichtlich, wenn wir über den Hund sprechen, aber wie geht man mit dem Text um? Bereits vor dreißig Jahren haben Wissenschaftler versucht, den universellen Sprachcode zu erstellen, und er endete mit einem völligen Misserfolg.

Trotzdem haben wir jetzt tiefes Lernen. Und das ist seine wesentliche Aufgabe! Die Hauptunterscheidung zwischen Deep Learning und klassischen neuronalen Netzen liegt genau in der Fähigkeit, nach diesen spezifischen Merkmalen zu suchen, ohne eine Vorstellung von ihrer Natur zu haben. Wenn das neuronale Netzwerk groß genug ist und ein paar tausend Grafikkarten zur Verfügung stehen, können Sie diese Funktionen auch im Text finden.

Theoretisch können wir die Merkmale der neuronalen Netze an die Linguisten weitergeben, damit diese sich schöne neue Horizonte eröffnen können.

Die Frage ist, welche Art von neuronalem Netzwerk zum Codieren und Decodieren verwendet werden sollte. Convolutional Neural Networks (CNN) eignen sich perfekt für Bilder, da sie mit unabhängigen Pixelblöcken arbeiten.

Der Text enthält jedoch keine unabhängigen Blöcke - jedes Wort hängt von seiner Umgebung ab. Text, Sprache und Musik sind immer konsistent. Daher wären wiederkehrende neuronale Netze (RNN) die beste Wahl, um mit ihnen umzugehen, da sie sich an das vorherige Ergebnis erinnern - in unserem Fall an das vorherige Wort.

Jetzt werden RNNs überall verwendet - Siris Spracherkennung (sie analysiert die Tonfolge, wobei die nächste von der vorherigen abhängt), Tastaturtipps (merken Sie sich die vorherige, raten Sie die nächste), Musikgenerierung und sogar Chatbots.

Für die Nerds wie mich: Tatsächlich ist die Architektur der neuronalen Übersetzer sehr unterschiedlich. Das reguläre RNN wurde zu Beginn verwendet und dann auf bidirektional aktualisiert, wobei der Übersetzer nicht nur Wörter vor dem Quellwort, sondern auch das nächste Wort berücksichtigte. Das war viel effektiver. Dann folgte das Hardcore-Multilayer-RNN mit LSTM-Einheiten zur Langzeitspeicherung des Übersetzungskontexts.

In zwei Jahren übertrafen neuronale Netze alles, was in den letzten 20 Jahren der Übersetzung aufgetreten war. Die neuronale Übersetzung enthält 50% weniger Fehler in der Wortreihenfolge, 17% weniger lexikalische Fehler und 19% weniger Grammatikfehler. Die neuronalen Netze lernten sogar, Geschlecht und Fall in verschiedenen Sprachen in Einklang zu bringen. Und niemand hat ihnen das beigebracht.

Die auffälligsten Verbesserungen wurden in Bereichen erzielt, in denen keine direkte Übersetzung verwendet wurde. Statistische Methoden der maschinellen Übersetzung funktionierten immer mit Englisch als Schlüsselquelle. Wenn Sie also vom Russischen ins Deutsche übersetzt haben, hat die Maschine zuerst den Text ins Englische und dann vom Englischen ins Deutsche übersetzt, was zu einem doppelten Verlust führt.

Die neuronale Übersetzung benötigt das nicht - nur ein Decoder ist erforderlich, damit es funktioniert. Dies war das erste Mal, dass eine direkte Übersetzung zwischen Sprachen ohne gemeinsames Wörterbuch möglich wurde.

Google Translate (seit 2016)

Im Jahr 2016 hat Google die neuronale Übersetzung für neun Sprachen aktiviert. Sie entwickelten ihr System namens Google Neural Machine Translation (GNMT). Es besteht aus 8 Encoder- und 8 Decoderschichten von RNNs sowie Aufmerksamkeitsverbindungen aus dem Decodernetzwerk.

Sie teilten nicht nur Sätze, sondern auch Wörter. So gingen sie mit einem der wichtigsten NMT-Probleme um - seltenen Worten. NMTs sind hilflos, wenn das Wort nicht in ihrem Lexikon enthalten ist. Sagen wir "Vas3k". Ich bezweifle, dass jemand dem neuronalen Netzwerk beigebracht hat, meinen Spitznamen zu übersetzen. In diesem Fall versucht GMNT, Wörter in Wortstücke zu zerlegen und deren Übersetzung wiederherzustellen. Clever.

Hinweis: Google Translate, das für die Website-Übersetzung im Browser verwendet wird, verwendet weiterhin den alten phrasenbasierten Algorithmus. Irgendwie hat Google es nicht aktualisiert, und die Unterschiede sind im Vergleich zur Online-Version deutlich spürbar.

Google verwendet in der Online-Version einen Crowdsourcing-Mechanismus. Die Nutzer können die Version auswählen, die sie für am korrektesten halten. Wenn es vielen Nutzern gefällt, übersetzt Google diesen Ausdruck immer so und markiert ihn mit einem speziellen Abzeichen. Dies funktioniert fantastisch für kurze alltägliche Sätze wie "Lass uns ins Kino gehen" oder "Ich warte auf dich". Google kann Konversationsenglisch besser als ich :(

Microsoft Bing funktioniert genau wie Google Translate. Aber Yandex ist anders.

Yandex Translate (seit 2017)

Yandex hat sein neuronales Übersetzungssystem im Jahr 2017 eingeführt. Sein Hauptmerkmal war, wie erklärt, die Hybridität. Yandex kombiniert neuronale und statistische Ansätze, um den Satz zu übersetzen, und wählt dann den besten mit seinem bevorzugten CatBoost-Algorithmus aus.

Die Sache ist, dass die neuronale Übersetzung beim Übersetzen kurzer Phrasen oft fehlschlägt, da sie den Kontext verwendet, um das richtige Wort auszuwählen. Es wäre schwierig, wenn das Wort in Trainingsdaten nur sehr wenige Male vorkommen würde. In solchen Fällen findet eine einfache statistische Übersetzung schnell und einfach das richtige Wort.

Yandex teilt die Details nicht. Es wehrt uns mit Marketing-Pressemitteilungen ab. IN ORDNUNG.

Es sieht so aus, als würde Google SMT für die Übersetzung von Wörtern und kurzen Phrasen verwenden. Sie erwähnen das in keinem Artikel, aber es ist ziemlich auffällig, wenn man den Unterschied zwischen der Übersetzung von kurzen und langen Ausdrücken betrachtet. Außerdem wird SMT zum Anzeigen der Wortstatistiken verwendet.

Der Abschluss und die Zukunft

Alle sind immer noch begeistert von der Idee von „Babel Fisch“ - sofortige Sprachübersetzung. Google hat mit seinen Pixel Buds Schritte in diese Richtung unternommen, aber tatsächlich ist es immer noch nicht das, wovon wir geträumt haben. Die sofortige Sprachübersetzung unterscheidet sich von der üblichen Übersetzung. Sie müssen wissen, wann Sie mit dem Übersetzen beginnen und wann Sie die Klappe halten und zuhören müssen. Ich habe noch keine geeigneten Lösungsansätze gesehen. Es sei denn, vielleicht Skype ...

Und hier noch ein leerer Bereich: Das gesamte Lernen beschränkt sich auf die Menge paralleler Textblöcke. Die tiefsten neuronalen Netze lernen noch bei parallelen Texten. Wir können das neuronale Netzwerk nicht unterrichten, ohne es mit einer Quelle zu versehen. Menschen können ihr Lexikon stattdessen durch das Lesen von Büchern oder Artikeln ergänzen, auch wenn sie diese nicht in ihre Muttersprache übersetzen.

Wenn Menschen es können, kann es theoretisch auch das neuronale Netzwerk. Ich fand nur einen Prototyp, der versuchte, das Netzwerk, das eine Sprache kennt, dazu anzuregen, die Texte in einer anderen Sprache zu lesen, um Erfahrungen zu sammeln. Ich würde es selbst versuchen, aber ich bin dumm. Okay das ist alles.

Diese Geschichte wurde ursprünglich in russischer Sprache geschrieben und dann von Vasily Zubarev auf Vas3k.com ins Englische übersetzt. Er ist mein Brieffreund und ich bin mir ziemlich sicher, dass sein Blog verbreitet werden sollte.

Nützliche Links

  • Philipp Koehn: Statistische maschinelle Übersetzung. Vollständigste Sammlung der Methoden, die ich gefunden habe.
  • Moses - beliebte Bibliothek zum Erstellen eigener statistischer Übersetzungen
  • OpenNMT - eine weitere Bibliothek, aber für die neuronalen Übersetzer
  • Der Artikel von einem meiner Lieblingsblogger, der RNN und LSTM erklärt
  • Ein Video "Wie man einen Sprachübersetzer macht", lustiger Typ, nette Erklärung. Immer noch nicht genug.
  • Textanleitung von TensorFlow über die Erstellung eines eigenen neuronalen Übersetzers für diejenigen, die mehr Beispiele wünschen und den Code ausprobieren möchten.

Andere Artikel von Vas3k.com

Wie Ethereum und Smart Contracts funktionieren

Verteilte Turingmaschine mit Blockchain-Schutz vas3k.com Blockchain Inside Out: So funktioniert Bitcoin

Ein für alle Mal in einfachen Worten vas3k.com

Eine letzte Sache…

Wenn Ihnen dieser Artikel gefallen hat, klicken Sie auf ? unten, und teilen Sie es mit anderen Menschen, damit sie es auch genießen können.