Doorgaan naar hoofdcontent
pdf?stylesheet=default
Blackboard Help

Itemanalyse op een toets uitvoeren

Itemanalyse biedt statistieken voor de algehele prestaties in toetsen en voor individuele toetsvragen. U kunt zo snel zien welke vragen mogelijk geen goed beeld geven van de prestaties van studenten. Gebruik deze informatie om vragen voortaan beter te formuleren of om het aantap punten voor pogingen aan te passen.

Rollen met beoordelingsbevoegdheden (zoals cursusleiders, beoordelaars en onderwijsassistenten) hebben toegang tot itemanalyse op drie locaties in de beoordelingsworkflow. U kunt de functie kiezen in het contextmenu voor een:

  • Toets in een inhoudsgebied.
  • Toets die wordt vermeld op de pagina Toetsen.
  • Grade Center-kolom.

U kunt itemanalyses uitvoeren voor gepubliceerde toetsen met verzonden pogingen, maar niet voor enquêtes. Eerder uitgevoerde itemanalyses zijn beschikbaar onder het kopje Beschikbare analyse. U kunt ook een gepubliceerde toets selecteren in de vervolgkeuzelijst en vervolgens op Uitvoeren klikken om een nieuw rapport te genereren. De koppeling van het nieuwe rapport wordt weergegeven onder de koptekst Beschikbare analyse of in de statusbevestiging boven aan de pagina.

De beste resultaten krijgt u door itemanalyses uit te voeren voor toetsen met enkelvoudige pogingen nadat alle pogingen zijn ingeleverd en alle handmatige vragen zijn beoordeeld. Interpreteer de gegevens van de itemanalyse zorgvuldig en houd rekening met het feit dat de statistieken worden beïnvloed door het aantal toetspogingen, het type studenten dat de toets maakt en toevalsfouten.

Itemanalyse op een toets uitvoeren

U kunt itemanalyses uitvoeren voor toetsen met één of meerdere pogingen, vragensets, willekeurige blokken, vraagtypen die automatisch worden beoordeeld en vragen die met de hand moeten worden beoordeeld. Voor toetsen met handmatig beoordeelde vragen waaraan nog geen scores zijn toegewezen, worden alleen voor de beoordeelde vragen statistieken gegenereerd. nadat u de vragen handmatig hebt beoordeeld, voert u de itemanalyse opnieuw uit. Er worden ook statistieken gegenereerd voor beoordeelde vragen en de statistieken van de toets worden bijgewerkt.

  1. Ga naar een van de volgende locaties om naar de itemanalyse te gaan:
    • Een toets in een inhoudsgebied.
    • Een toets die wordt vermeld op de pagina Toetsen.
    • Een Grade Center-kolom van een toets.
  2. Open het contextmenu van de toets.
  3. Selecteer Itemanalyse.
  4. Selecteer een toets in de vervolgkeuzelijst Toets selecteren. Alleen in gebruik genomen toetsen worden opgelijst.
  5. Klik op Uitvoeren.
  6. Bekijk de itemanalyse door te klikken op de koppeling van het nieuwe rapport onder de koptekst Beschikbare analyse of door te klikken op Analyse weergeven in de statusbevestiging boven aan de pagina.

Informatie over het toetsoverzicht op de pagina Itemanalyse

Het toetsoverzicht bevindt zich boven aan de pagina Itemanalyse en heeft betrekking op de toets als geheel.

  1. Klik op Toets bewerken om naar de pagina Toetsbord te gaan.
  2. Het toetsoverzicht biedt statistieken over de toets, waaronder:
    • Mogelijk aantal punten: het totale aantal punten dat studenten kunnen krijgen voor de toets.
    • Totaalaantal vragen: het totale aantal vragen in de toets.
    • Pogingen in uitvoering: het aantal studenten dat bezig is met de toets en deze nog niet heeft verzonden.
    • Voltooide pogingen: het aantal ingezonden toetsen.
    • Gemiddelde score: scores worden aangegeven met een * als sommige pogingen niet zijn beoordeeld en de gemiddelde score kan veranderen nadat aan alle pogingen een cijfer is toegekend. De score die hier wordt weergegeven, is de gemiddelde score van de toets in het Grade Center.
    • Gemiddelde tijd: de gemiddelde voltooiingstijd voor alle verzonden pogingen.
    • Discriminantie: hier ziet u het aantal vragen dat in de categorie Goed valt (groter dan 0,3), de categorie Eerlijk (tussen 0,1 en 0,3) en Redelijk (minder dan 0,1). Een discriminantwaarde wordt weergegeven als Kan niet berekenen wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag. Vragen met discriminantwaarden in de categorieën Goed en Redelijk zijn beter geschikt om onderscheid te maken tussen studenten met een hoger en lager kennisniveau. Vragen in de categorie Slecht moeten opnieuw worden bekeken en waarschijnlijk worden aangepast.
    • Moeilijkheidsgraad: hier ziet u het aantal vragen dat in de categorie Eenvoudig valt (groter dan 80%), de categorie Gemiddeld (tussen 30% en 80%) en Moeilijk (minder dan 30%). Moeilijkheid geeft het percentage studenten aan dat de vraag juist heeft beantwoord. Vragen in de categorie Eenvoudig of Moeilijk moeten opnieuw worden bekeken en waarschijnlijk worden aangepast. Ze worden aangeduid door een rode cirkel.

      tijdens een itemanalyse worden alleen beoordeelde pogingen gebruikt in de berekeningen van de statistieken. Als er nog pogingen worden uitgevoerd, worden deze genegeerd totdat ze zijn verzonden en u opnieuw een itemanalyse uitvoert.

Informatie over de tabel met vraagstatistieken op de pagina Itemanalyse

De tabel met vraagstatistieken bevat de statistieken van de uitgevoerde itemanalyse voor alle vragen in de toets. Vragen die moeten worden nagekeken, worden aangeduid met rode cirkels zodat u ze in één oogopslag kunt zien.

Over het algemeen hebben goede vragen de volgende statistieken:

  • een moeilijkheid uit de categorie Normaal (30% tot 80%).
  • Een goede of redelijke discriminantie (groter dan 0,1).

Vragen met rode cirkels moeten worden bekeken en mogelijk worden aangepast. Deze vragen zijn niet goed geformuleerd of onjuist beoordeeld. Over het algemeen hebben deze vragen de volgende statistieken:

  • een moeilijkheid uit de categorie Eenvoudig ( > 80%) of Moeilijk ( < 30%).
  • Een slechte ( < 0,1) discriminantwaarde.
  1. U kunt de tabel met vragen filteren op vraagtype, discriminantcategorie en moeilijkheidscategorie.
  2. Onderzoek een specifieke vraag door op de titel te klikken om de pagina Vraagdetails te openen.
  3. In de tabel worden statistieken weergegeven voor iedere vraag, zoals:
    • Discriminantie: geeft aan in welke mate een vraag het verschil aantoont tussen studenten die wel of geen kennis hebben van de materie. Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de toets als geheel goed hebben gemaakt. Waarden kunnen variëren tussen -1,0 tot +1,0. Vragen worden gemarkeerd voor controle als hun discriminantwaarde minder is dan 0,1 of negatief is. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.

      Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de beoordeling voor.

      De volgende variabelen zijn de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie, resp.:

    • Moeilijkheidsgraad: het percentage studenten dat de vraag juist heeft beantwoord. De moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%, waarbij een hoog percentage aangeeft dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig (groter dan 80%) of Moeilijk (minder dan 30%) worden gemarkeerd voor controle.

      Moeilijkheidsgraden die lichtjes hoger dan het gemiddelde zijn tussen geluk en perfecte scores kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Er dient opgemerkt te worden dat hoge moeilijkheidswaarden geen hogere discriminanten opleveren.

    • Beoordeelde pogingen: het aantal pogingen voor vragen dat is beoordeeld. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
    • Gemiddelde score: scores worden aangegeven met een * als sommige pogingen niet zijn beoordeeld en de gemiddelde score kan veranderen nadat aan alle pogingen een cijfer is toegekend. De score die hier wordt weergegeven, is de gemiddelde score van de toets in het Grade Center.
    • Standaardafwijking: een waarde die aangeeft hoe ver de scores afwijken van de gemiddelde score. Als de scores dicht bij elkaar liggen, en de meeste waarden niet veel afwijken van het gemiddelde, is de standaardafwijking klein. Als de gegevensset wijd is verspreid, met waarden ver van het gemiddelde, is de standaardafwijking groter.
    • Standaardfout: een schatting van de mate van variabiliteit in de score van een student als gevolg van toeval. Hoe kleiner de standaardfout, des te nauwkeuriger de statistieken die worden verkregen met de toetsvraag.

Vraagdetails bekijken van één vraag

U kunt een vraag onderzoeken die gemarkeerd is voor controle door de pagina Vraaginformatie te openen. Deze pagina bevat de studentenprestaties van de afzonderlijke toetsvraag die u hebt geselecteerd.

  1. Schuif omlaag op de pagina Itemanalyse naar de statistiekentabel van vragen.
  2. Selecteer een gekoppelde vraagtitel om de pagina Vraaginformatie weer te geven.
  1. Gebruik de pijlen om op volgorde door de vragen te bladeren of direct naar de eerste of laatste vraag te gaan.
  2. Klik op Toets bewerken om het toetsbord te openen.
  3. De overzichtstabel bevat statistieken voor de vraag, waaronder:
    • Discriminantie: geeft aan in welke mate een vraag het verschil aantoont tussen studenten die wel of geen kennis hebben van de materie. De discriminantscore wordt samen met de bijbehorende categorie vermeld: Slecht (minder dan 0,1), Redelijk (0,1 tot 0,3) en Goed (groter dan 0,3). Een vraag is een goede discriminant wanneer studenten die de vraag goed hebben beantwoord, de toets als geheel goed hebben gemaakt. Waarden kunnen variëren tussen -1,0 tot +1,0. Vragen worden gemarkeerd voor controle als hun discriminantwaarde minder is dan 0,1 of negatief is. Er kan geen discriminantwaarde worden berekenend wanneer de moeilijkheidsscore van de vraag 100% is of wanneer alle studenten dezelfde score krijgen voor een vraag.

      Discriminantwaarden worden berekend aan de hand van de Pearson-correlatiecoëfficiënt. X stelt de scores van iedere student op een vraag voor en Y stelt de scores van iedere student op de beoordeling voor.

      De volgende variabelen zijn de standaardscore, voorbeeldgemiddelde en voorbeeldstandaarddeviatie, resp.:

    • Moeilijkheidsgraad: het percentage studenten dat de vraag juist heeft beantwoord. Het moeilijkheidspercentage wordt samen met de bijbehorende categorie vermeld: Eenvoudig (groter dan 80%), Normaal (30 tot 80%) en Moeilijk (minder dan 30%). De moeilijkheidswaarden kunnen uiteenlopen van 0% tot 100%, waarbij een hoog percentage aangeeft dat het een eenvoudige vraag was. Vragen in de categorie Eenvoudig of Moeilijk zijn gemarkeerd voor controle.

      Moeilijkheidsgraden die lichtjes hoger dan het gemiddelde zijn tussen geluk en perfecte scores kunnen studenten die het getoetste materiaal kennen beter differentiëren van diegenen die dat niet kennen. Er dient opgemerkt te worden dat hoge moeilijkheidswaarden geen hogere discriminanten opleveren.

    • Beoordeelde pogingen: het aantal pogingen voor vragen dat is beoordeeld. Hoe hoger de waarde voor deze statistiek, des te nauwkeuriger de berekende statistieken.
    • Gemiddelde score: scores worden aangegeven met een * als sommige pogingen niet zijn beoordeeld en de gemiddelde score kan veranderen nadat aan alle pogingen een cijfer is toegekend. De score die hier wordt weergegeven, is de gemiddelde score van de toets in het Grade Center.
    • Std.-afw: een waarde die aangeeft hoe ver de scores afwijken van de gemiddelde score. Als de scores dicht bij elkaar liggen, en de meeste waarden niet veel afwijken van het gemiddelde, is de standaardafwijking klein. Als de gegevensset wijd is verspreid, met waarden ver van het gemiddelde, is de standaardafwijking groter.
    • Std.-fout: een schatting van de mate van variabiliteit in de score van een student als gevolg van toeval. Hoe kleiner de standaardfout, des te nauwkeuriger de statistieken die worden verkregen met de toetsvraag.
    • Overgeslagen: het aantal studenten dat deze vraag heeft overgeslagen.
  4. De tekst en antwoordmogelijkheden van de vraag worden weergegeven. Deze informatie verschilt naargelang het vraagtype:
Gegevens van itemanalyse per vraagtype
Type verstrekte informatie Soorten vragen

Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen

-EN-

verdeling van die antwoorden over de kwartielen.

Meerkeuzevragen

Meerdere antwoordmogelijkheden

Waar/onwaar

Of/of

Opinieschaal/Likert

Aantal studenten dat een bepaalde antwoordmogelijkheid heeft gekozen.

Combineren

Sorteren

Meervoudige invuloefening

Aantal studenten dat de vraag juist heeft beantwoord, fout heeft beantwoord of heeft overgeslagen.

Berekende formule

Berekende numerieke waarde

Invuloefening

Hotspot

Vragenpakket

'Alleen tekst'-vraag.

Open vraag

Bestandsantwoord

Kort antwoord

Verhaspelde zin (bevat ook de antwoorden waaruit studenten kunnen kiezen)

Antwoordverdeling

De verdeling van antwoorden over de kwartielen wordt vermeld voor de vraagtypen Meerkeuzevragen, Meerdere antwoordmogelijkheden, Waar/onwaar, Of/Of en Opinieschaal/Likert. De verdeling toont u welke studenten de juiste of foute antwoorden hebben gekozen.

  • Bovenste 25%: het aantal studenten met totaalscores in het eerste kwart van de klasse die de antwoordmogelijkheid heeft geselecteerd.
  • Tweede 25%: het aantal studenten met totaalscores in het tweede kwart van de klasse die de antwoordmogelijkheid heeft geselecteerd.
  • Derde 25%: het aantal studenten met totaalscores in het derde kwart van de klasse die de antwoordmogelijkheid heeft geselecteerd.
  • Onderste 25%: het aantal studenten met totaalscores in het onderste kwart van de klasse die de antwoordmogelijkheid heeft geselecteerd.

Legenda van symbolen

Naast de vragen worden symbolen weergegeven om u te waarschuwen voor zaken die mogelijk aandacht behoeven:

  • Doornemen aanbevolen: deze status wordt toegevoegd bij discriminantwaarden kleiner dan 0,1 of moeilijkheidswaarden groter dan 80% (vraag te gemakkelijk) of kleiner dan 30% (vraag te moeilijk). Bekijk de vraag en bepaal of deze moet worden aangepast.
  • Vragen zijn mogelijk gewijzigd na implementatie: geeft aan dat een onderdeel van de vraag is gewijzigd sinds de publicatie van de toets. Dit kan tot gevolg hebben dat de gegevens voor die vraag niet betrouwbaar zijn. Pogingen die zijn verzonden nadat de vraag werd gewijzigd, kunnen baat hebben bij de wijziging. Deze indicator helpt u in dat geval bij de interpretatie van deze gegevens.

    deze indicator wordt niet weergegeven voor herstelde cursussen.

  • Niet alle inzendingen zijn beoordeeld: deze status wordt weergegeven voor een toets met vragen die met de hand moeten worden beoordeeld, zoals open vragen. In een toets met een open vraag die door 50 studenten is beantwoord, wordt deze indicator weergegeven totdat de cursusleider alle 50 pogingen heeft beoordeeld. De tool Itemanalyse verwerkt pogingen die zijn beoordeeld op het moment dat u het rapport uitvoert.
  • (QS) en (RB): geeft aan of een vraag afkomstig is uit een vragenset (QS) of een willekeurig blok (RB). Als vragen in willekeurige volgorde worden aangeboden, is het mogelijk dat sommige vragen vaker worden beantwoord dan anderen.

Informatie over itemanalyse en meerdere pogingen, genegeerde vragen en bewerkte vragen

De tool itemanalyse verwerkt meerdere pogingen, genegeerde vragen, bewerkte vragen en andere veelvoorkomende scenario's op de volgende manieren:

  • Wanneer studenten een toets meerdere keren mogen maken, wordt de laatste verzonden poging gebruikt als input voor de itemanalyse. Een toets staat bijvoorbeeld drie pogingen toe en een student A heeft twee pogingen verzonden, en is bezig met een derde poging. De huidige poging van student A telt mee in het aantal Pogingen in uitvoering en geen enkele van de vorige pogingen van student A worden opgenomen in de itemanalyse. Zodra student A de derde poging verzendt, nemen latere analyses de derde poging van student A op.
  • Het vervangen van cijfers in Grade Center heeft geen invloed op de itemanalyse omdat de itemanalysetool statistische gegevens genereert voor vragen op basis van uitgevoerde pogingen van studenten.
  • Handmatig beoordeelde vragen of wijzigingen aan de vraagtekst, juiste antwoordkeuze, deelpunten of punten worden niet automatisch bijgewerkt in het itemanalyserapport. Voer de analyse opnieuw uit om te zien of de wijzigingen invloed hebben op de itemanalyse.

Voorbeelden

Met itemanalyse kunt u vragen verbeteren voor toekomstige beheerders van toetsen of misleidende of ambigue vragen in een huidige test rechtzetten. Enkele voorbeelden:

  • u onderzoekt een meerkeuzevraag die gemarkeerd werd voor controle op de pagina itemanalyse. Meer studenten in de bovenste 25% hebben antwoord B gekozen, ook al was A het juiste antwoord. U beseft dat het juiste antwoord verkeerd werd ingevoerd tijdens het maken van de vraag. U past de vraag van de toets aan en er wordt opnieuw automatisch beoordeeld.
  • In een meerkeuzevraag merkt u dat bijna evenveel studenten voor A, B en C hebben gekozen. Controle de antwoordkeuzes om te bepalen of zij te ambigu zijn, of de vraag te moeilijk was, of dat het materiaal niet in de cursus stond.
  • Een vraag wordt gemarkeerd voor controle omdat het in de categorie moeilijk valt. U controleert de vraag en bepaalt dat het een moeilijke vraag is, maar u houdt het in de toets omdat die nodig is om de doelen van uw cursus correct te testen.