Survey

Our survey was conducted among research assistants and students with advanced SQL experience.

The survey tool utilized for this purpose was LamaPoll.

The survey results are located in the results folder. This includes a file with the pure results as exported by LamaPoll (raw-results.csv), as well as a file containing all the transformations required to arrive at the results as we have published them in the paper (transformed-and-visualized-results.xlsx).

The original survey was saved as an HTML file in the snapshots folder.

Since the survey was conducted in German, we will translate each page of the survey into English in the following sections (translated using ChatGPT and manually verified for accuracy). Additionally, the results of each individual scenario (from page 3 onwards) will be presented in a more readable format:

Page 1

German (original)

English (translated)

Vergleich von SQL Bewertungs-Verfahren

In dieser Umfrage sollen 3 Bewertungs-Verfahren für SQL Übungsaufgaben bezüglich ihrer Fairness und Nachvollziehbarkeit verglichen werden.

Die Umfrage ist folgendermaßen strukturiert:

Zunächst werden auf der nächsten Seite die Bewertungs-Verfahren vorgestellt. Bitte nehmen Sie sich die Zeit, die Erklärungen sorgfältig zu lesen, um auf den darauf folgenden Seiten eine fundierte Bewertung der Fairness und Nachvollziehbarkeit der einzelnen Korrekturen vornehmen zu können.

Danach folgen 11 Szenarien, welche jeweils folgendermaßen aufgebaut sind:

Zu Beginn finden Sie jeweils die Aufgabenstellung, die ein Datenbankschema beinhaltet (es handelt sich dabei stets um dieselbe Datenbank), sowie eine Beschreibung der gesuchten Daten (es handelt sich oft mehrmals hintereinander um dieselbe Aufgabenstellung, gekennzeichnet durch eine Kennzahl).
Dazu gibt es jeweils die Musterlösung (ändert sich nur dann, wenn sich auch die Aufgabenstellung ändert),
Sowie eine tatsächliche Antwort von (anonymen) Studierenden, die die Aufgabe im Zuge ihrer Prüfungsvorbereitung bearbeitet haben (hier handelt es sich in jedem Szenario um eine andere, ebenfalls gekennzeichnet durch eine Kennzahl).
Und schließlich folgen für die drei Bewertungs-Verfahren jeweils die Interpretation der Musterlösung, die Korrektur der studentischen Antwort und die resultierende Bewertung.

Ihre Aufgabe ist es, diese Bewertungen jeweils bezüglich ihrer Fairness und Nachvollziehbarkeit zu vergleichen.

Beachten Sie, dass die Reihenfolge der Bewertungsverfahren stets zufällig ist, um die Umfrage unparteiisch zu halten.

Die Bearbeitung wird ca. 30 min dauern.

Wir bedanken uns bereits im Voraus herzlich für Ihre Teilnahme!

Datenschutzerklärung

Die gesammelten Daten werden anonym gespeichert. Es sind keine Rückschlüsse auf Ihre Person möglich. Die Daten dienen zu Forschungszwecken und können anonym im Rahmen einer wissenschaftlichen Publikation veröffentlicht werden.

x Ich bestätige hiermit, dass ich mit der Datenschutzerklärung einverstanden bin.

Einverständniserklärung

Indem Sie an der Umfrage teilnehmen bestätigen Sie, dass Sie mindestens 18 Jahre alt sind, an dieser Studie freiwillig teilnehmen und dass Sie diese Studie jederzeit abbrechen können, ohne dass Ihnen dadurch ein Nachteil entsteht.

x Ich bestätige hiermit, dass ich mit der Einverständniserklärung einverstanden bin.

Comparison of SQL Grading Methods

In this survey, we aim to compare 3 grading methods for SQL exercises in terms of their fairness and comprehensibility.

The survey is structured as follows:

Initially, on the next page, the grading methods will be introduced. Please take the time to read the explanations carefully to be able to make an informed assessment of the fairness and comprehensibility of each correction on the subsequent pages.

This is followed by 11 scenarios, each structured as follows:

Firstly, you will find the task description, which includes a database schema (always the same database), and a description of the data sought (often the same task description repeated, indicated by an ID).
Then, there is the reference solution (which changes only if the task description changes),
Along with an actual response from (anonymous) students who have worked on the task as part of their exam preparation (each scenario features a different response, indicated by a second ID).
Finally, there are interpretations of the reference solution, corrections of the student response, and the resulting grading for each of the three grading methods.

Your task is to compare these gradings in terms of their fairness and comprehensibility.

Note that the order of the grading methods is always random to maintain impartiality in the survey.

The survey will take approximately 30 minutes to complete.

We thank you in advance for your participation!

Privacy Policy

The collected data will be stored anonymously. It is not possible to deduce your personal information from this data. The data is used for research purposes and may be published anonymously in a scientific publication.

x I hereby confirm that I agree with the Privacy Policy.

Consent Form

By participating in the survey, you confirm that you are at least 18 years old, that you are participating in this study voluntarily, and that you can withdraw from this study at any time without incurring any disadvantage.

x I hereby confirm that I agree with the Consent Form.

Page 2

In the survey tool, the order of the three descriptions is randomized to avoid bias due to their odering.

German (original)

English (translated)

Die drei Bewertungs-Verfahren

Ergebnisbasierte Bewertung

Um eine studentische Antwort zu bewerten, werden sowohl die Musterlösung, als auch die studentische Antwort auf einer Testdatenbank ausgeführt und anschließend die Ergebnisrelationen bezüglich folgender Werte verglichen. Für jede Aufgabenstellung werden jedem dieser Werte einzelne maximale Punkte zugewiesen; die Bewertung berechnet sich schlicht als Summe der Teilpunktzahlen:

Anzahl der Tupel:
Wenn die studentische Antwort dieselbe Anzahl an Tupeln liefert wie die Musterlösung, werden maximale Punkte vergeben, andernfalls 0.
Namen der Attribute:
Die Attributnamen in der Ergebnisrelation der studentischen Antwort werden mit denen der Musterlösung über die Jaccard-Distanz verglichen (Punkte = Maximale Punkte * (1 - Jaccard Distanz)). Die Reihenfolge und Groß-/Kleinschreibweise der Attributnamen ist dabei irrelevant.
Funktionale Abhängigkeiten:
Die funktionalen Abhängigkeiten in der Ergebnisrelation der studentischen Antwort werden mit denen in der Musterlösung verglichen, ebenfalls über die Jaccard-Distanz (Punkte = Maximale Punkte * (1 - Jaccard Distanz)). Die Reihenfolge und Bezeichnung der Attribute ist auch hier irrelevant.

Manuelle Bewertung

Um eine studentische Antwort zu bewerten, wird diese händisch auf Unterschiede zur Musterlösung untersucht.

Hierfür wird zunächst ein Bewertungsschema für die Musterlösung festgelegt. Dieses orientiert sich generell an den natürlichen Blöcken, aus denen die Anfrage aufgebaut ist.

Eine studentische Antwort wird bewertet, indem jedes Kriterium des Bewertungsschemas einzeln darauf geprüft wird, ob die studentische Antwort mit diesem übereinstimmt. Dabei werden für Ungenauigkeiten nicht unbedingt volle Punkte abgezogen/nicht gegeben, sondern je nach Schwere des Fehlers unter Umständen auch nur halbe oder gar keine.

Distanzbasierte Bewertung

Um eine studentische Antwort zu bewerten, werden ihre semantischen Unterschiede zur Musterlösung untersucht. Diese Unterschiede werden durch Transformationen verkörpert, welche jeweils spezifische Änderungen an einer SQL-Anfrage durchführen und sie dadurch in eine andere verwandeln. Durch das Verketten von Transformationen kann so jede SQL-Anfrage in jede andere umgewandelt werden. Alle Transformationen haben individuelle Kosten, die die Größe des semantischen Unterschieds beziffern, welcher durch sie verkörpert wird. (Äquivalenzumformungen haben dementsprechend Kosten von 0.) Die semantische Distanz zwischen zwei gegebenen SQL-Anfragen ist definiert als die geringstmögliche Summe an Kosten für eine Verkettung von Transformationen, welche die eine Anfrage in die andere verwandelt.

Je größer die semantische Distanz zwischen studentischer Antwort und Musterlöung, desto weniger Punkte bekommt die studentische Antwort. Dafür wird vorher die Schwierigkeit der Musterlösung beziffert. Von dieser Schwierigkeit wird die semantische Distanz abgezogen (und nach unten auf 0 begrenzt), was einen Wert zwischen 0 und Distanz liefert. Dieser Wert wird schließlich auf den Bereich zwischen 0 und Maximale Punkte der Aufgabe skaliert.

Es ergibt sich folgende Formel:

Punkte = (Schwierigkeit - Distanz) / Schwierigkeit * Maximale Punkte

The three grading methods

Result-Based Grading

To evaluate a student response, both the reference solution and the student response are executed on a test database, and then the result relations are compared in terms of the following values. For each task, individual maximum points are assigned to each of these values; the grading is simply calculated as the sum of the partial point scores:

Number of tuples:
If the student response yields the same number of tuples as the reference solution, maximum points are awarded, otherwise 0.
Names of attributes:
The attribute names in the result relation of the student response are compared with those of the reference solution using the Jaccard distance (Points = Maximum points * (1 - Jaccard Distance)). The order and case (upper/lower) of the attribute names are irrelevant.
Functional dependencies:
The functional dependencies in the result relation of the student response are compared with those in the reference solution, also using the Jaccard distance (Points = Maximum points * (1 - Jaccard Distance)). The order and naming of the attributes are also irrelevant here.

Manual Grading

To evaluate a student response, it is manually examined for differences from the reference solution.

For this purpose, a grading scheme is first established for the reference solution. This generally follows the natural blocks that make up the query.

A student response is evaluated by individually checking each criterion of the grading scheme to see if the student's response matches it. In the case of inaccuracies, full points are not necessarily deducted/not awarded; depending on the severity of the error, only half points or none at all may be deducted.

Distance-Based Grading

To evaluate a student response, its semantic differences from the reference solution are examined. These differences are represented by transformations that make specific changes to an SQL query, thereby converting it into another form. By chaining transformations, any SQL query can be transformed into any other. Each transformation has individual costs, which quantify the size of the semantic difference embodied by it. (Equivalence transformations, accordingly, have costs of 0.) The semantic distance between two given SQL queries is defined as the smallest possible sum of costs for a chain of transformations that converts one query into the other.

The greater the semantic distance between the student response and the reference solution, the fewer points the student response receives. To determine this, the difficulty of the reference solution is first quantified. The semantic distance is subtracted from this difficulty (and limited to a minimum of 0), resulting in a value between 0 and the difficulty. This value is then scaled to the range between 0 and the maximum points for the task.

The following formula is derived:

Points = (Difficulty - Distance) / Difficulty * Maximum Points

Page 3

German (original) English (translated)

Szenario 1-1

Aufgabenstellung 1

Diese Datenbank ist an den Musterstudienplan im Informatik Bachelorstudiengang angelehnt. Sie ist auf dem Stand von Wintersemester 2019/20 und besteht aus vier Relationen:

themengebiet ( _id_, bezeichnung )
modul ( _id_, bezeichnung, gop, themengebiet [themengebiet] )
semester ( _nummer_ )
modul_semester ( _modul [modul], semester [semester]_, ects )

Geben Sie für jedes Modul die Bezeichnung des Moduls, das dazugehörige Semester und ECTS aus.

Die Maximale Punktzahl beträgt 3.

Musterlösung

SELECT m.bezeichnung, ms.semester, ms.ects
FROM modul m
JOIN modul_semester ms ON m.id = ms.modul;

Studentische Antwort 1

SELECT modul, semester, ects
FROM modul_semester;

Manuelle Bewertung: 1,5 / 3

Musterlösung:

Studentische Antwort:

Bewertung:

Punkte = 1,5

Distanzbasierte Bewertung: 1,5 / 3

Musterlösung:

Difficulty: 14

Studentische Antwort:

Total Distance: 7

SELECT modul, semester, ects FROM modul_semester;

>>> Cost 1: Change (incorrect) column-reference column in a select-element expression.

SELECT bezeichnung, semester, ects FROM modul_semester;

>>> Cost 2: Add (missing) element in from-clause.

SELECT bezeichnung, semester, ects FROM modul, modul_semester;

>>> Cost 1: Set complex join-type on a from-element (change cross join to a complex join).

SELECT bezeichnung, semester, ects FROM modul INNER JOIN modul_semester;

>>> Cost 1: Add (missing) binary-expression to a from-element join-condition.

SELECT bezeichnung, semester, ects FROM modul INNER JOIN modul_semester ON ( = );

>>> Cost 1: Add (missing) column-reference to a from-element join-condition.

SELECT bezeichnung, semester, ects FROM modul INNER JOIN modul_semester ON (id = );

>>> Cost 1: Add (missing) column-reference to a from-element join-condition. SELECT bezeichnung, semester, ects FROM modul INNER JOIN modul_semester ON (id = modul);

Bewertung:

Punkte = (14 - 7) / 14 * 3 = 1,5

Ergebnisbasierte Bewertung: 2,7 / 3

Musterlösung:

Bepunktungsmetrik	Erwarteter Wert	Maximale Punkte
Anzahl der Tupel	26	1
Namen der Attribute	["bezeichnung", "semester", "ects"]	1
Funktionale Abhängigkeiten	["{\"determinateAtt.\": [\"bezeichnung\", \"semester\"], \"dependentAtt.\": [\"ects\"]}"]	1

Studentische Antwort:

Bepunktungsmetrik	Erwarteter Wert	Punkte
Anzahl der Tupel	26	1
Namen der Attribute	["modul", "semester", "ects"]	0.667
Funktionale Abhängigkeiten	["{\"determinateAtt.\": [\"modul\", \"semester\"], \"dependentAtt.\": \"ects\"]}"]	1

Bewertung:

Punkte = 1 + 0.66666666666667 + 1 = 2,7

Fairness:

Geben Sie an, wie fair Sie die jeweilige Bewertung finden

Achtung: Die Bewertungen hier befinden sich möglicherweise in einer andereren Reihenfolge als weiter oben auf der Seite! Hinweis: Es ist möglich, mehrere Bewertungen gleich einzustufen.

	Fair	Mittel	Unfair
Ergebnisbasierte Bewertung	o	o	o
Distanzbasierte Bewertung	o	o	o
Manuelle Bewertung	o	o	o

Nachvollziehbarkeit:

Geben Sie an, wie nachvollziehbar Sie die jeweilige Bewertung finden

Achtung: Die Bewertungen hier befinden sich möglicherweise in einer andereren Reihenfolge als weiter oben auf der Seite! Hinweis: Es ist möglich, mehrere Bewertungen gleich einzustufen.

	Gut nachvoll- ziehbar	Mittel	Schlecht nachvoll- ziehbar
Ergebnisbasierte Bewertung	o	o	o
Distanzbasierte Bewertung	o	o	o
Manuelle Bewertung	o	o	o

Scenario 1-1

Task 1

This database is modeled after the standard curriculum of the Bachelor's program in Computer Science. It reflects the status as of the winter semester 2019/20 and comprises four relations:

themengebiet ( _id_, bezeichnung )
modul ( _id_, bezeichnung, gop, themengebiet [themengebiet] )
semester ( _nummer_ )
modul_semester ( _modul [modul], semester [semester]_, ects )

Provide the name of each module, the corresponding semester, and ECTS credits.

The maximum score is 3.

Reference Solution

SELECT m.bezeichnung, ms.semester, ms.ects
FROM modul m
JOIN modul_semester ms ON m.id = ms.modul;

Student Response 1

SELECT modul, semester, ects
FROM modul_semester;

Manual Grading: 1,5 / 3

Reference Solution:

Student Reponse:

Grading:

Points = 1.5

Distance-Based Grading: 1,5 / 3