Performance: Praxistest-Einblicke

In diesem Artikel wird erklärt, wie du die Seite Praxistest-Einblicke aufrufst, die verschiedene Daten zur Interaktion der Nutzer:innen mit den Praxistests in deinen Kursen enthält.

• Die Praxistest-Einblicke stehen allen Dozent:innen zur Verfügung, die einen Praxistest veröffentlicht haben. Hier wird erklärt, wie du einen Praxistest erstellst.

Inhalt

• So rufst du die Seite „Praxistest-Einblicke“ auf
• Auf der Seite „Praxistest-Einblicke“ verfügbare Features 
• Teststatistiken – Gesamt 
• Performance-Funnel
• Versionshistorie
• Fragenanalyse
• Flexible Auswahl des Datumsbereichs
• Fehler „Uneinheitliche Daten“
• Qualität der Frage

So rufst du die Seite „Praxistest-Einblicke“ auf

Die Seite „Praxistest-Einblicke“ befindet sich unter den Performance-Features für Dozent:innen:

1. Rufe die Dozentenansicht auf (hier findest du eine Anleitung).

2. Klicke links auf Performance.

3. Klicke unter Nutzeraktivitäten auf Praxistest-Einblicke.

Auf der Seite „Praxistest-Einblicke“ verfügbare Features

Auf der Seite Praxistest-Einblicke findest du verschiedene Daten für jeden deiner Kurse, der mindestens einen Praxistest enthält. Klicke auf das oben befindliche Drop-down-Feld, um den gewünschten Kurs auszuwählen.

Wähle dann über die Datumsauswahl einen voreingestellten Zeitraum aus oder lege einen eigenen Datumsbereich fest.

Wenn Praxistests von dir im Udemy Business-Aboprogramm enthalten sind, dann beinhalten die Daten zu den Praxistest-Einblicken auch Daten zu den Udemy Business-Nutzer:innen. 

1. Wenn du nur die Performance-Daten für Udemy Business-Nutzer:innen sehen willst, klickst du oben auf der Seite auf den Tab Udemy Business. 

2. Klicke auf Praxistest bearbeiten, um deinen Praxistest anhand der vorliegenden Daten zu aktualisieren (hier findest du eine Anleitung).

Teststatistiken – Gesamt

Im Bereich Durchschnittliche Anzahl von Versuchen siehst du, wie oft die Nutzer:innen den Praxistest durchschnittlich wiederholen und auf welcher Nutzeranzahl dieser Wert basiert. Dieser Wert errechnet sich aus der Gesamtanzahl von Versuchen innerhalb des ausgewählten Zeitraums, geteilt durch die Gesamtanzahl der individuellen Nutzer:innen, die den Test absolviert haben.

Im Bereich Durchschnittlich aufgewendete Zeit siehst du, wie viele Nutzer:innen den Test bestanden haben und wie viel Zeit sie dafür durchschnittlich aufgewendet haben.

Hinweis: Die Daten werden in Echtzeit verarbeitet und angezeigt.

Performance-Funnel

Im Bereich Performance-Funnel siehst du die Anzahl und den Prozentsatz der Nutzer:innen, die den Praxistest begonnen, abgeschlossen und bestanden haben. 

Die im Performance-Funnel angezeigten Daten zeigen alle Versuche der Nutzer:innen für den ausgewählten Datumsbereich. 

Versionshistorie

Im Bereich Versionshistorie werden alle bisherigen Bearbeitungen angezeigt.

• Im Versionsprotokoll siehst du alle veröffentlichten Updates an deinen Praxistests, zusammen mit dem Datum, an dem die jeweilige Testversion für die Nutzer:innen verfügbar war.
• Klicke auf Datumsbereich filtern, um die Praxistest-Einblicke für den Datumsbereich anzuzeigen, in dem diese jeweilige Version für die Nutzer:innen verfügbar war oder noch ist.

Profi-Tipp: Genaue Angaben

Wenn du einen Praxistest aktualisierst, füge ausführliche Informationen hinzu, um besser nachzuvollziehen, wie die Nutzer:innen auf verschiedene Versionen des Tests reagiert haben. 

Wenn es um eine bestimmte Frage geht, dann gib an, wie die Frage lautet. Den Nutzer:innen werden die Fragen in zufälliger Reihenfolge angezeigt. Wenn du also nur schreibst „Updates bei Frage Nr. 5“, können die Nutzer:innen nicht nachvollziehen, um welche Frage es sich handelt.

Denke daran, dass deine Notizen auch für die Nutzer:innen sichtbar sind, daher gilt: Je genauer, desto besser!

Fragenanalyse

Im Bereich „Fragenanalyse“ kannst du dir weitere Infos zu jeder Frage ansehen, um herauszufinden, an welcher Stelle die Nutzer:innen nicht weiterkommen.

• Gib Schlüsselwörter im Suchfeld ein, um schnell die gewünschten Fragen zu finden.
• Über das Drop-down-Menü kannst du die Fragen nach der Erfolgsquote filtern.
• Sieh dir für jede Frage die durchschnittlich aufgewendete Zeit, die Anzahl der Nutzer:innen und die Erfolgsquote an. Wenn du auf Details anzeigen klickst, wird eine Aufschlüsselung der Antworten angezeigt, die die Nutzer:innen ausgewählt haben. 
• Klicke auf Frage bearbeiten, um direkt in den Editor zu wechseln und deinen Praxistest anhand der Erkenntnisse aus den gewonnenen Einblicken zu bearbeiten. 

Hinweis: Die in der Fragenanalyse angezeigten Daten geben an, wie die Nutzer:innen reagiert haben, als sie eine Frage zum ersten Mal gesehen haben. Bei Nutzer:innen, die Tests wiederholen, wird nur die ursprüngliche Antwort in die Daten aufgenommen.

Flexible Auswahl des Datumsbereichs

Dank der flexiblen Auswahl des Datumsbereichs kannst du die Einblicke für einen frei einstellbaren Zeitraum anzeigen. 

Fehler „Uneinheitliche Daten“

Wenn du die Einblicke für mehrere Versionen des Tests anzeigst, können diese kombinierten Daten irreführend sein, falls sich die Versionen stark voneinander unterscheiden. 

Wesentliche Änderungen an den Fragen, z. B. die Änderung von Antwortoptionen oder der richtigen Antworten, können bei der Fragenanalyse zu Diskrepanzen führen. In solchen Fällen wird die Meldung Uneinheitliche Daten angezeigt.

Wenn dir der Fehler Uneinheitliche Daten angezeigt wird, dann wähle bitte im Versionsprotokoll einen Datumsbereich aus, der nur einer Version des Praxistests entspricht. So kannst du für jede Version der Frage separat analysieren, wie sie funktioniert hat, und erhältst korrekte Daten.

Profi-Tipp: Hier sind einige Empfehlungen, die dir helfen, die Einblicke langfristig zu verbessern, wenn du wesentliche Änderungen an Fragen vornimmst:

• Lösche Fragen und erstelle sie neu.
• Vermeide es, an bestehenden Fragen wesentliche Änderungen vorzunehmen.
• Behalte die Position der richtigen Antwort bei. (Belasse also z. B. die richtige Antwort bei beiden Versionen auf Position 4.)

Wesentliche Änderungen sind beispielsweise:

• Die grundlegende Bedeutung der Frage ändern
• Die Anzahl der Antwortoptionen ändern
• Eine Antwortoption komplett austauschen

Qualität der Frage bei Multiple-Choice-Fragen

Wir berechnen für die neueste Version deines Praxistests eine Bewertung der Fragenqualität für Multiple-Choice-Fragen, die 50 oder mehr Nutzer:innen in Angriff genommen haben.  

Die Bewertung der Fragenqualität basiert auf zwei Schlüsselfaktoren der klassischen Testtheorie (CTT):

1. Diskriminierung: Diskriminierung bezieht sich darauf, wie viel Aufschluss eine einzelne Frage über die Leistung von Nutzer:innen im Praxistest gibt. Ein Element mit geringer Diskriminierung kann darauf hindeuten, dass eine Frage verwirrend oder mehrdeutig ist, mehrere richtige Antworten hat oder sogar ungenau ist.  
2. Schwierigkeit: Schwierigkeit bezieht sich auf den Anteil der Nutzer:innen, die die Frage korrekt beantworten (je höher diese Zahl, desto einfacher ist die Frage). Fragestellungen, die sehr einfach oder sehr schwer sind, können Probleme verursachen. 

Wenn du die neueste Version des Praxistests ansiehst, wird dir neben Multiple-Choice-Fragen eine von drei Bewertungen angezeigt:

✅ Gut

• Die Leistung der Frage entspricht den Erwartungen
• Daten weisen darauf hin, dass Nutzer:innen verstanden haben, was gefragt wird

⚠️ Aufmerksamkeit erforderlich

• Daten weisen auf Verbesserungspotenzial hin. 
• Entscheide mit deinem Expertenwissen, ob diese Bewertung richtig ist oder nicht.
• Überprüfe die Praxistest-Einblicke und entscheide, ob du Verbesserungen vornehmen möchtest

📊 Nicht genügend Daten

• Weniger als 50 Versuche durch Nutzer:innen
• Bewertung nach weiteren Antworten