Maschinelles Lernen: Eine Einführung in die quadratischen Fehler- und Regressionslinien

Einführung

In diesem Artikel wird der mittlere quadratische Fehler der statistischen Methode behandelt , und ich werde die Beziehung dieser Methode zur Regressionslinie beschreiben .

Das Beispiel besteht aus Punkten auf der kartesischen Achse. Wir werden eine mathematische Funktion definieren, die uns die gerade Linie gibt, die am besten zwischen allen Punkten auf der kartesischen Achse verläuft.

Auf diese Weise lernen wir die Verbindung zwischen diesen beiden Methoden und wie das Ergebnis ihrer Verbindung zusammen aussieht.

Allgemeine Erklärung

Dies ist die Definition aus Wikipedia:

In der Statistik misst der mittlere quadratische Fehler (MSE) eines Schätzers (eines Verfahrens zum Schätzen einer nicht beobachteten Größe) den Durchschnitt der Fehlerquadrate - dh die durchschnittliche quadratische Differenz zwischen den geschätzten Werten und den geschätzten Werten. MSE ist eine Risikofunktion, die dem erwarteten Wert des quadratischen Fehlerverlusts entspricht. Die Tatsache, dass MSE fast immer streng positiv ist (und nicht Null), liegt an der Zufälligkeit oder daran, dass der Schätzer keine Informationen berücksichtigt, die eine genauere Schätzung ergeben könnten.

Die Struktur des Artikels

  • Machen Sie sich ein Bild von der Idee, der Grafikvisualisierung und der mittleren quadratischen Fehlergleichung.
  • Der mathematische Teil, der algebraische Manipulationen und eine Ableitung von Funktionen mit zwei Variablen zum Finden eines Minimums enthält. Dieser Abschnitt ist für diejenigen gedacht, die später verstehen möchten, wie wir die mathematischen Formeln erhalten. Sie können ihn überspringen, wenn Sie das nicht interessiert.
  • Eine Erklärung der mathematischen Formeln, die wir erhalten haben, und der Rolle jeder Variablen in der Formel.
  • Beispiele

Holen Sie sich ein Gefühl für die Idee

Nehmen wir an, wir haben sieben Punkte und unser Ziel ist es, eine Linie zu finden, die die quadratischen Abstände zu diesen verschiedenen Punkten minimiert .

Versuchen wir das zu verstehen.

Ich werde ein Beispiel nehmen und eine Linie zwischen den Punkten ziehen. Natürlich ist meine Zeichnung nicht die beste, aber sie dient nur zu Demonstrationszwecken.

Sie fragen sich vielleicht, was ist das für ein Diagramm?

  • Die violetten Punkte sind die Punkte in der Grafik. Jeder Punkt hat eine x-Koordinate und eine y-Koordinate.
  • Die blaue Linie ist unsere Vorhersagelinie. Dies ist eine Linie, die durch alle Punkte verläuft und am besten zu ihnen passt. Diese Linie enthält die vorhergesagten Punkte.
  • Die rote Linie zwischen jedem violetten Punkt und der Vorhersagelinie sind die Fehler. Jeder Fehler ist die Entfernung vom Punkt zu seinem vorhergesagten Punkt.

Sie sollten sich diese Gleichung aus Ihrer Schulzeit merken, y = Mx + B , wobei M die Steigung der Linie und B der y-Achsenabschnitt der Linie ist.

Wir wollen M (Steigung) und B (y-Achsenabschnitt) finden, die den quadratischen Fehler minimieren !

Definieren wir eine mathematische Gleichung, die uns den mittleren quadratischen Fehler für alle unsere Punkte gibt.

Lassen Sie uns analysieren, was diese Gleichung tatsächlich bedeutet.

  • In der Mathematik wird das Zeichen, das wie seltsames E aussieht, Summation (griechisches Sigma) genannt. Es ist die Summe einer Folge von Zahlen von i = 1 bis n. Stellen wir uns dies als eine Reihe von Punkten vor, in denen wir alle Punkte vom ersten (i = 1) bis zum letzten (i = n) durchgehen.
  • Für jeden Punkt nehmen wir die y-Koordinate des Punktes und die y'-Koordinate. Die y-Koordinate ist unser lila Punkt. Der y-Punkt befindet sich auf der Linie, die wir erstellt haben. Wir subtrahieren den y-Koordinatenwert vom y'-Koordinatenwert und berechnen das Quadrat des Ergebnisses.
  • Der dritte Teil besteht darin, die Summe aller (y-y ') ²-Werte zu nehmen und durch n zu dividieren, was den Mittelwert ergibt.

Unser Ziel ist es, diesen Mittelwert zu minimieren, um die beste Linie zu erhalten, die durch alle Punkte verläuft.

Vom Konzept zu mathematischen Gleichungen

Dieser Teil ist für Leute, die verstehen wollen, wie wir zu den mathematischen Gleichungen gekommen sind . Sie können mit dem nächsten Teil fortfahren, wenn Sie möchten.

Wie Sie wissen, lautet die Liniengleichung y = mx + b, wobei m die Steigung und b der y-Achsenabschnitt ist.

Nehmen wir jeden Punkt in der Grafik und führen unsere Berechnung (y-y ') ² durch.

Aber was ist y 'und wie berechnen wir es? Wir haben es nicht als Teil der Daten.

Wir wissen jedoch, dass wir zur Berechnung von y 'unsere Liniengleichung y = mx + b verwenden und das x in die Gleichung einfügen müssen.

Von hier erhalten wir die folgende Gleichung:

Schreiben wir diesen Ausdruck neu, um ihn zu vereinfachen.

Beginnen wir mit dem Öffnen aller Klammern in der Gleichung. Ich habe den Unterschied zwischen den Gleichungen eingefärbt, um das Verständnis zu erleichtern.

Wenden wir nun eine weitere Manipulation an. Wir werden jedes Teil nehmen und zusammenstellen. Wir werden alle y und (-2ymx) und etc nehmen und sie alle nebeneinander stellen.

An diesem Punkt fangen wir an, chaotisch zu sein, also nehmen wir den Mittelwert aller quadratischen Werte für y, xy, x, x².

Definieren wir für jedes ein neues Zeichen, das den Mittelwert aller quadratischen Werte darstellt.

Schauen wir uns ein Beispiel an, nehmen wir alle y-Werte und teilen sie durch n, da es der Mittelwert ist, und nennen wir es y (HeadLine).

Wenn wir beide Seiten der Gleichung mit n multiplizieren, erhalten wir:

Was uns zu folgender Gleichung führen wird:

Wenn wir uns ansehen, was wir haben, können wir sehen, dass wir eine 3D-Oberfläche haben. Es sieht aus wie ein Glas, das stark nach oben steigt.

Wir wollen M und B finden, die die Funktion minimieren. Wir werden eine partielle Ableitung in Bezug auf M und eine partielle Ableitung in Bezug auf B machen.

Da wir nach einem Mindestpunkt suchen, werden wir die partiellen Ableitungen nehmen und mit 0 vergleichen.

Nehmen wir die beiden erhaltenen Gleichungen, isolieren die Variable b von beiden und subtrahieren dann die obere Gleichung von der unteren Gleichung.

Subtrahieren wir die erste Gleichung von der zweiten Gleichung

Lassen Sie uns die Nenner aus der Gleichung entfernen.

Und los geht's, dies ist die Gleichung, um M zu finden. Nehmen wir dies und schreiben die B-Gleichung auf.

Gleichungen für Steigung und y-Achsenabschnitt

Lassen Sie uns die mathematischen Gleichungen bereitstellen, die uns helfen, die erforderliche Steigung und den erforderlichen y-Achsenabschnitt zu finden.

Sie denken sich also wahrscheinlich, was zum Teufel sind diese seltsamen Gleichungen?

Sie sind eigentlich einfach zu verstehen, also lassen Sie uns ein wenig über sie sprechen.

Nachdem wir unsere Gleichungen verstanden haben, ist es Zeit, alle Dinge zusammenzubringen und einige Beispiele zu zeigen.

Beispiele

Ein großes Dankeschön an die Khan Academy für die Beispiele.

Beispiel 1

Nehmen wir 3 Punkte (1,2), (2,1), (4,3).

Finden wir M und B für die Gleichung y = mx + b.

Nachdem wir die relevanten Teile für unsere M-Gleichung und B-Gleichung berechnet haben, fügen wir diese Werte in die Gleichungen ein und erhalten die Steigung und den y-Achsenabschnitt.

Nehmen wir diese Ergebnisse und setzen sie in die Liniengleichung y = mx + b.

Zeichnen wir nun die Linie und sehen, wie die Linie durch die Linien verläuft, so dass die quadratischen Abstände minimiert werden.

Beispiel 2

Nehmen wir 4 Punkte (-2, -3), (-1, -1), (1,2), (4,3).

Finden wir M und B für die Gleichung y = mx + b.

Lassen Sie uns diese Werte wie zuvor in unsere Gleichungen einfügen, um M und B zu finden.

Nehmen wir diese Ergebnisse und setzen sie in die Liniengleichung y = mx + b.

Zeichnen wir nun die Linie und sehen, wie die Linie durch die Linien verläuft, so dass die quadratischen Abstände minimiert werden.

Abschließend

Wie Sie sehen können, ist die ganze Idee einfach. Wir müssen nur die Hauptteile verstehen und wissen, wie wir mit ihnen arbeiten.

Sie können mit den Formeln arbeiten, um die Linie in einem anderen Diagramm zu finden, eine einfache Berechnung durchführen und die Ergebnisse für die Steigung und den y-Achsenabschnitt erhalten.

Das ist alles, einfach, oder? ?

Jeder Kommentar und jedes Feedback ist willkommen - wenn es nötig ist, werde ich den Artikel reparieren.

Kontaktieren Sie mich direkt bei LinkedIn - Klicken Sie hier.