Este artigo explica como navegar até a página Insights dos simulados, que inclui diversas métricas sobre como os alunos estão interagindo com seus simulados.
- Os Insights dos simulados estão disponíveis para instrutores que publicaram um simulado. Confira como criar um simulado.
Índice
- Como navegar até a página Insights dos simulados
- Recursos da página Insights dos simulados
- Estatísticas gerais dos testes
- Funil de desempenho
- Histórico de versão
- Análise de perguntas
- Seletor flexível de datas
- Erro de dados inconsistentes
- Qualidade da pergunta
Como navegar até a página Insights dos simulados
Você pode encontrar a página Insights dos simulados como parte dos recursos de Desempenho do instrutor:
1. Navegue até a visão do Instrutor (saiba como).
2. Selecione Desempenho no lado esquerdo.
3. Em Engajamento, clique em Insights dos simulados.
Recursos da página Insights dos simulados
Na página Insights dos simulados, você pode explorar diversas estatísticas de qualquer curso que tenha pelo menos um simulado. Selecione o menu suspenso na parte superior para selecionar um curso aplicável.
Depois, use o seletor de datas para escolher períodos predefinidos ou um período personalizado.
Se você tem simulados incluídos na assinatura de conteúdo da Udemy Business, as métricas para alunos da Udemy Business são incluídas nos dados dos Insights dos simulados.
1. Para ver dados de desempenho específicos dos alunos da Udemy Business, selecione a aba Udemy Business no topo da página.
2. Selecione o botão Editar simulado para atualizar seu simulado com base nos dados que está vendo (saiba como).
Estatísticas gerais dos testes
A seção Número médio de tentativas mostra o número médio de vezes que os alunos refizeram o simulado e o número de alunos em que essa métrica se baseia. Isso é calculado dividindo o número total de tentativas dentro do período pelo número total de usuários únicos que fizeram o teste.
A seção Tempo médio gasto mostra o tempo médio gasto pelos alunos que foram aprovados no teste e o número de alunos que foram aprovados.
Observação: os dados são processados e disponibilizados para visualização em tempo real.
Funil de desempenho
Na seção Funil de desempenho, você pode ver o número e a porcentagem de alunos que iniciaram, concluíram e foram aprovados no simulado.
Os dados exibidos no funil de desempenho mostram todos os dados de tentativas de alunos em um período selecionado.
Histórico de versão
A seção Histórico de versão ajuda a acompanhar suas edições.
- Consulte o log de versões para ver todas as atualizações que você publicou nos simulados, bem como as datas que cada versão do simulado foi disponibilizada aos alunos.
- Clique em "Filtrar por período" para conferir insights dos simulados no período que aquela versão específica estava ou está atualmente disponível aos alunos.
Dica: use bastante detalhes
Ao atualizar seu simulado, inclua anotações detalhadas para entender como os alunos respondem a diferentes versões do teste.
Se você fizer referência a uma determinada questão, ofereça detalhes sobre o que era abordado naquela pergunta. Seus alunos recebem as perguntas de forma aleatória. Então, se você disser apenas, "Atualizações na pergunta número 5", seus alunos não saberão do que se trata.
Lembre-se de que as palavras que você usa aqui também serão visíveis para alunos, então quanto mais detalhes, melhor!
Análise de perguntas
Na seção de análise de perguntas, você pode saber mais sobre cada pergunta para determinar onde os alunos têm dificuldade.
- Use a caixa de pesquisa para encontrar perguntas rapidamente, usando a busca por palavras-chave.
- Selecione o menu suspenso para filtrar por taxa de sucesso.
- Para cada pergunta, veja o tempo médio gasto, o número de alunos e a taxa de sucesso. Selecione Mostrar detalhes para ver um detalhamento das respostas que os alunos escolheram.
- Selecione Editar pergunta para acessar diretamente o editor e fazer atualizações no seu simulado com base nos insights.
Observação: os dados exibidos na análise de perguntas refletem como os alunos responderam na primeira vez que viram uma pergunta. No caso de alunos que refizeram o simulado, apenas a primeira resposta será incluída nos dados.
Seletor flexível de datas
Com o seletor flexível de datas, você pode ver insights de um período personalizado.
Erro de dados inconsistentes
Ao ver insights de várias versões do teste, os dados combinados podem ser divergentes se as versões forem consideravelmente diferentes.
Grandes alterações nas perguntas, como mudar as opções de respostas ou as respostas corretas, podem levar a inconsistências na análise das perguntas. Nesses casos, uma mensagem de dados inconsistentes será exibida.
Se você receber um erro de dados inconsistentes, use o log de versões para selecionar o período de uma única versão do simulado. Essa abordagem permite analisar o desempenho de cada versão da pergunta separadamente, apresentando dados precisos.
Dica: para melhorar os insights a longo prazo ao fazer grandes mudanças nas perguntas, confira algumas práticas recomendadas abaixo.
- Exclua e recrie as perguntas
- Evite editar as perguntas existentes significativamente
- Mantenha a posição da resposta correta (por exemplo, mantenha a resposta correta na posição 4 em ambas as versões)
Grandes mudanças podem incluir:
- Alterar o significado básico da pergunta
- Alterar o número de opções de resposta
- Substituir completamente uma opção de resposta
Qualidade da pergunta para questões de múltipla escolha
Para a versão mais recente do seu simulado, calculamos uma taxa de qualidade da pergunta para as questões de múltipla escolha que pelo menos 50 alunos já tenham respondido.
A taxa de qualidade da pergunta se baseia em dois fatores principais da teoria clássica dos testes (CTT, na sigla em inglês):
- Discriminação: a discriminação se refere à capacidade de uma única pergunta realmente nos ajudar a compreender bem o desempeno de um aluno no simulado. Um item de baixa discriminação pode sinalizar que uma pergunta está confusa, ambígua, possivelmente errada ou com mais de uma resposta correta.
- Dificuldade: a dificuldade se refere à proporção de alunos que conseguem acertar a resposta (quanto maior a quantidade, mais fácil será a pergunta). Perguntas muito fáceis ou muito difíceis podem sinalizar algum problema em sua elaboração.
Ao visualizar a versão mais recente do simulado, você verá uma das três classificações ao lado das questões de múltipla escolha:
✅ Bom
- A pergunta está apresentando o desempenho esperado
- Os dados indicam que os participantes compreenderam o que lhes foi perguntado
⚠️ Atenção
- Os dados indicam que há espaço para melhora.
- Utilize seu conhecimento especializado para validar se isso faz sentido ou não.
- Analise os insights dos simulados e decida se será mesmo relevante melhorar a pergunta.
📊 Dados insuficientes
- Menos de 50 alunos tentaram responder.
- Precisamos de mais pessoas respondendo à sua pergunta para podermos avaliá-la.