Wie viele Daten braucht man, um ein Machine-Learning-Modell zu trainieren?

Eine feste Zahl gibt es nicht. Es hängt davon ab, wie viele Klassen unterschieden werden sollen, wie stark die Eingaben mit dem Ergebnis zusammenhängen und wie verrauscht die Datensätze sind. Am wichtigsten ist die Zahl der Beispiele in der seltensten Klasse: Ein Betrugsdatensatz mit Millionen Zeilen und einem Dutzend bestätigter Fälle gibt einem Modell fast nichts zu lernen. Dieser Scan setzt 20 Beispiele pro Klasse als Untergrenze an.

Was ist Cohens d und ab wann gilt ein Effekt als groß?

Cohens d ist die Differenz der Mittelwerte zweier Gruppen, geteilt durch ihre gepoolte Standardabweichung. Der Wert drückt den Abstand in Standardabweichungen aus und hängt nicht von Einheiten ab. Nach Konvention gilt 0,2 als kleiner, 0,5 als mittlerer und 0,8 als großer Effekt. Die Kennzahl beschreibt, wie weit zwei Gruppen bei einer Variable auseinanderliegen; sie sagt nicht, wie genau ein Klassifikator wäre.

Kann man Anomalien ohne gelabelte Daten erkennen?

Ja. Unüberwachte Verfahren suchen Datensätze, die vom Großteil abweichen, etwa Werte jenseits der Grenzen aus dem Interquartilsabstand, Punkte, die sich durch zufällige Teilungen schnell isolieren lassen, oder Objekte weit entfernt von jedem Cluster. Sie zeigen, was ungewöhnlich ist, nicht was schädlich ist. Die markierten Fälle muss noch jemand prüfen, und die bestätigten dienen dann als Labels für ein überwachtes Modell.

/ Kostenloses Werkzeug

Bevor Sie ein Modell trainieren, prüfen Sie, ob es überhaupt etwas zu lernen gibt

Schicken Sie eine Stichprobe Ihrer Ereignisse - Spieleraktionen, Transaktionen, Sitzungen - und wir messen an dieser Stichprobe allein, ob ein Modell etwas Brauchbares lernen könnte. Nichts wird trainiert und nichts gespeichert. Sie bekommen ein Urteil und einen signierten Beleg über genau die Stichprobe, die wir gelesen haben.

/ Was hier geprüft wird

Was Signal Scan an Ihrer Stichprobe misst und wie das Urteil zu lesen ist.

Ihr Browser liest das eingefügte JSON und sendet das Array an unseren Server, der bis zu 20.000 Ereignisse pro Scan annimmt. Der Code behält die Zeilen, die Objekte sind, und sucht dann numerische Felder (numerisch überall, wo sie vorkommen, und in mindestens einem Zehntel der Zeilen vorhanden) sowie eine Akteursspalte mit einem gängigen Namen wie user_id, player, account oder session. Er zählt die Ereignisse je Akteur und markiert Werte außerhalb der Tukey-Grenzen, also weiter als das 1,5-Fache des Interquartilsabstands von den Quartilen entfernt. Nennen Sie ein Label-Feld mit genau zwei Werten, berechnet er zusätzlich für jedes numerische Feld Cohens d zwischen den beiden Klassen.

Bei einem Label mit zwei Werten lautet das Urteil Mehr Daten nötig, wenn eine der Klassen weniger als 20 Beispiele hat, Vielversprechend, wenn beide Klassen groß genug sind, aber kein numerisches Feld einen Effekt von 0,5 erreicht, und Lernbar, wenn mindestens eines ihn erreicht. Diese Felder werden mit ihrem d-Wert aufgeführt. Ohne brauchbares Label ergeben weniger als 200 Ereignisse Mehr Daten nötig, jeder nach Menge auffällige Akteur ergibt Lernbar, und Felder, die lediglich variieren, ergeben Vielversprechend. Positive Klasse ist der Label-Wert, der in der Sortierung zuletzt steht; prüfen Sie also, ob die Positivrate die gemeinte Gruppe beschreibt.

Es wird kein Modell trainiert, daher gibt es keine Genauigkeitsangabe, und das Ergebnis beschreibt nur die gesendeten Zeilen. Jedes numerische Feld wird einzeln geprüft: Ein Muster, das erst in der Kombination mehrerer Felder sichtbar wird, taucht nicht auf, und Text- oder Kategoriefelder bleiben unberücksichtigt. Der Server bildet einen SHA-256-Hash der Stichprobe und schreibt die Ereignisse nicht in seine Datenbank. Wird ein signierter Beleg ausgestellt, enthält er die Zahl der Ereignisse, die ausgeführten Prüfungen, das Urteil, den Hash und den Namen der Stichprobe. Eine E-Mail-Adresse wird, falls angegeben, zusammen mit dem Urteil gespeichert. Nach Mehr Daten nötig senden Sie eine größere oder gelabelte Stichprobe.

Wie viele Daten braucht man, um ein Machine-Learning-Modell zu trainieren?: Eine feste Zahl gibt es nicht. Es hängt davon ab, wie viele Klassen unterschieden werden sollen, wie stark die Eingaben mit dem Ergebnis zusammenhängen und wie verrauscht die Datensätze sind. Am wichtigsten ist die Zahl der Beispiele in der seltensten Klasse: Ein Betrugsdatensatz mit Millionen Zeilen und einem Dutzend bestätigter Fälle gibt einem Modell fast nichts zu lernen. Dieser Scan setzt 20 Beispiele pro Klasse als Untergrenze an.
Was ist Cohens d und ab wann gilt ein Effekt als groß?: Cohens d ist die Differenz der Mittelwerte zweier Gruppen, geteilt durch ihre gepoolte Standardabweichung. Der Wert drückt den Abstand in Standardabweichungen aus und hängt nicht von Einheiten ab. Nach Konvention gilt 0,2 als kleiner, 0,5 als mittlerer und 0,8 als großer Effekt. Die Kennzahl beschreibt, wie weit zwei Gruppen bei einer Variable auseinanderliegen; sie sagt nicht, wie genau ein Klassifikator wäre.
Kann man Anomalien ohne gelabelte Daten erkennen?: Ja. Unüberwachte Verfahren suchen Datensätze, die vom Großteil abweichen, etwa Werte jenseits der Grenzen aus dem Interquartilsabstand, Punkte, die sich durch zufällige Teilungen schnell isolieren lassen, oder Objekte weit entfernt von jedem Cluster. Sie zeigen, was ungewöhnlich ist, nicht was schädlich ist. Die markierten Fälle muss noch jemand prüfen, und die bestätigten dienen dann als Labels für ein überwachtes Modell.

Weiter

Wenn eine Prüfung nicht die ganze Arbeit ist.

Lohnt es sich, darauf aufzubauen? Das kostenpflichtige Audit für ein eigenes Modell prüft den ganzen Datensatz und legt fest, was gebaut wird.

Audit für ein eigenes Modell ansehen Wie die Arbeit läuft