8.31.1. 개방형 응답 평가¶

8.31.1.1. 개방형 응답 평가 소개¶

개방형 응답 평가에서 교수자는 정답이 정해져 있지 않은 문제를 낼 수도 한다. 학습자가 이러한 문제에 답변을 제출하면 학습자와 동료 학습자는 강좌 운영팀이 작성한 채점 기준표(rubric)를 해당 답변과 비교하며 채점할 수 있다. 학습자는 텍스트 형식의 답변을 제출하는 것이 통상적이나 해당 텍스트에 이미지나 PDF 파일을 첨부하여 업로드해 제출할 수도 있다.

개방형 응답 평가는 상호 평가와 자기 평가, 운영팀 평가로 구성된다. 상호 평가에서 학습자는 강좌 운영팀이 생성한 채점 기준표를 바탕으로 다른 학습자의 답변을 평가한다. 자기 평가에서도 채점 기준표를 바탕으로 평가하되, 자신의 답변을 평가한다. 운영팀 평가는 채점 기준표에 따라 강좌 운영자가 평가하게 된다.

개방형 응답 평가에서는 일반적으로 학습자가 자신의 답변만을 볼 수 있으며, 다른 학습자의 답변을 평가하는 경우 해당 학습자의 답변까지만 볼 수 있다. 교수자가 전체 학습자가 제출한 답변 가운데 최고점을 받은 답변을 다른 학습자들이 볼 수 있도록 설정할 수도 있다. 이에 관해 우수 답변 에서 보다 구체적인 정보를 확인할 수 있다.

단계별 교수 방법 등 개방형 응답 평가 생성에 관한 보다 자세한 정보가 필요할 경우 다음을 살펴보길 바란다.

• 개방형 응답 평가 활용하기
• 개방형 응답 평가의 요소
• 개방형 응답 평가 점수 계산하기
• 개방형 응답 평가를 위한 과제 생성하기
• 개방형 응답 평가 과제 채점 지표 만들기

학습자 통계와 답변에 대한 자세한 사항은 개방형 응답 평가 과제 채점 지표 만들기 을 참고하면 된다.

개방형 응답 평가와 관련된 자세한 사항은 Completing Essay Assignments 를 참고하면 된다.

8.31.1.2. 개방형 응답 평가 활용하기¶

개방형 응답 평가는 강력한 학습 도구이지만 특정 상황에서 더욱 효과적이다. 일반적으로 개방형 응답 평가는 에세이와 토의가 포함된 서술형 혹은 프로젝트 기반 과제에 더 적합하다. 예를 들어 개방형 응답 평가는 텍스트, 이미지 등에 대해 주관적 평가를 내리는 인문학 과제에 더 적합하다. 그러나 정확히 옳고 그른 답이 존재하는 화학 과제에는 적합하지 않다.

K-MOOC은 강좌에 개방형 응답 평가를 활용할 때 다음과 같은 방법을 권장한다.

• 명확한 채점 기준표가 있어야 한다. 상호 평가 채점을 명확하게 하기 위해 채점 기준표는 매우 중요하다.

• 개방형 응답 평가가 최종 성적의 작은 부분만을 차지하거나 채점이 되지 않도록 한다.

• 개방형 응답 평가를 채점한다면 낮은 비율을 배정한다. 따라서 학습자가 과제에 대한 점수는 받되 상호 평가 결과가 낮아도 영향이 없도록 한다.

• 점수에 반영되는 첫 개방형 응답 평가 과제 전에 연습용 개방형 응답 평가 과제를 낸다. 이를 통해 학습자가 상호 평가 채점에 대해 충분히 이해할 수 있도록 돕는다.

• 채점이 되지 않는 개방형 응답 평가를 통해 학습자 교류를 유도하고 성적에 영향 없이 피드백을 받을 수 있도록 한다.

• 강좌에 너무 많은 개방형 응답 평가를 추가하지 않는다. 상호 채점 평가는 학습자에게 부담이 되며 상호 채점 평가를 여러 번 하는 것은 학습자의 강좌 수료 비율을 떨어뜨린다.

• 제한된 학습자들이 푸는 과제에만 운영팀 평가를 적용한다. 예를 들어 학습 집단을 사용하는 강좌에선 하나 이상의 집단에 속해있는 사용자에 대해서만 운영팀 평가를 적용하는 것이다.

• 상호 평가 시에 채점해야할 수 숫자를 채점 받야할 수 숫자보다 높게 하여 모든 답변이 상호 평가 채점될 수 있도록 한다. K-MOOC은 채점해야할 수을 4, 채점받아야할 수를 3으로 놓는 것을 권장한다.

• 개방형 응답 평가 과제에서 제출 이후 상호 평가 채점 시간을 충분히 제공하기 위해 제출 기한과 채점 기한의 차이를 1주일 이상 둔다. 만약 제출 기한과 채점 기한이 너무 붙어있으면 상호 평가 채점 시간이 충분하지 않을 수 있다.

• 게시판 글에 개방형 응답 평가 상호 평가 채점 기준을 올린다.

• 필요 시 게시판 관리자가 상호 평가 채점과 관련된 질문을 받고 문제를 해결할 수 있도록 기한을 늘리는 것을 고려한다.

  만약 게시판에서 개방형 응답 평가에 대해 문제가 생긴다면 강좌 운영팀은 성적 변경하기 를 수행해 학습자가 다시 과제를 제출하도록 할 수 있으며 학습자 평가 성적 수정하기, 상호 평가에서 학습자 답변 삭제하기 등을 수행할 수 있다. 만약 상호 평가 채점과 관련된 문제가 지속 발생한다면 강좌 운영팀은 최종 성적 반영 비율을 낮추거나 학습자의 가장 낮은 과제 성적을 제외할 수도 있다

8.31.1.3. 개방형 응답 평가의 요소¶

개방형 응답 평가 과제에는 다음과 같은 요소를 포함된다.

• 1개 이상의 프롬프트, 또는 질문.
• 채점 기준표. 하나의 기준표로 모든 과제를 채점한다.
• 1가지 이상의 평가 단계 과제에는 학습자 평가 연습 단계, 상호 평가 단계, 자기 평가 단계가 포함될 수 있다.

개방형 응답 평가를 생성하기 위한 단계별 교수 방법에 관해서 더 자세한 정보는 개방형 응답 평가를 위한 과제 생성하기 에 있다.

8.31.1.3.1. 프롬프트¶

프롬프트 는 페이지 상단에 위치하며 그 바로 밑에는 학습자가 답변을 입력하는 영역이 있다. 학습자가 텍스트 형식의 답변을 입력하도록 되어 있지만, 텍스트 답변과 이미지를 동시에 업로드 하도록 설정할 수도 있다.

주석

학습자가 이미지를 업로드하는 경우 해당 이미지 파일은 반드시 .jpg나 .png 포맷이어야 하며 또한 반드시 5 MB 미만이어야 한다.

프롬프트를 작성할 때, 학습자가 답변을 제출한 후의 절차 및 개략적인 답변의 단어 또는 문장 수 등, 학습자에게 도움이 되는 정보를 함께 제시할 수 있다.

주석

1개 답변문은 10,000 단어를 초과할 수 없다.

이에 대해 더 자세한 정보는 2단계: 프롬프트 추가 에 있다.

8.31.1.3.1.1. 학습자에게 다른 파일 업로드 추천하기¶

개방형 응답 평가에서 학습자는 이미지, pdf 파일 혹은 기타 형식의 파일을 답변으로 올릴 수 있다. 다른 학습자는 답변과 첨부된 파일을 같이 평가한다. 텍스트 답변과 함께 파일을 업로드 할 수 있게 함으로서 학습자에게 도구를 사용할 기회를 주고 강좌와 관련된 숙련도를 높일 수 있다.

학습자에게 텍스트 답변과 함께 다른 파일을 업로드 하도록 하기 전에 다음과 같은 사항을 명심하여야 한다.

• 상호 평가 채점 단계에서 학습자는 다른 학습자가 업로드한 파일을 다운로드 받는다. 바이러스 등의 문제를 방지하기 위해 사용할 수 없는 파일 확장자가 있다. 금지된 파일 확장자 에서 목록을 확인할 수 있다.
• 강좌 운영팀은 동시에 한 명의 학습자가 업로드한 파일만 다룰 수 있다. 업로드한 파일 콘텐츠는 교수자 대시보드에서 확인할 수 있는 답안 제출 보고나 강좌 자료 패키지에 포함되지 않는다.
• 학습자에게 의무적으로 파일을 업로드하게 할 수 없다.
• 모든 답변은 무조건 텍스트가 있어야 하며 업로드한 파일 만으로 답변을 제출할 수 없다.
• 학습자는 각 답변마다 하나의 파일을 제출할 수 있다.
• 파일 용량은 5MB보다 작아야 한다.
• 이미지 파일 형식은 .jpg, .gif나 .png 형식이어야 한다.

자세한 사항은 이미지 응답 제출 설정 (선택 사항) 을 참고하면 된다.

8.31.1.3.1.2. 금지된 파일 확장자¶

다음으로는 학습자가 테스트서버나 kmooc.kr에서 개방형 응답 평가 답변으로 업로드 할 수 없는 확장자 목록이다. 학습자가 답변의 일부로 파일을 업로드할 때 다음 확장자는 사용할 수 없다. 이 목록의 확장자는 K-MOOC 개발 운영팀이 관리하고 있으며 변동 사항이 있을 수 있다.

A through I	.action, .apk, .app, .application, .bat, .bin, .cmd, .com, .command, .cpl, .csh, .dmg, .exe, .gadget, .hta, .inf, .ins, .inx, .ipa, .isu
J through P	.jar, .job, .jse, .lnk., msc, .msh, .msh1, .msh2, .mshxml, .msh1xml, .msh2xml, .msi, .msp, .mst, .osx, .out, .paf, .pif, .prg, psc1, .psc2, .ps1, .ps1xml, .ps2, .ps2xml
Q through Z	.reg, .rgs, .run, .scf, .scr, .sct, .shb, .shs, .u3p, .vb, .vbe, .vbs, .vbscript, .workflow .ws, .wsc, .wsf, .wsh

8.31.1.3.2. 채점 기준표¶

과제에는 채점 기준표 가 반드시 포함되어야 한다. 상호 평가 및 자기 평가 모두에 동일한 채점 기준표를 사용하며 이러한 채점 기준표는 학습자가 채점을 시작할 때 표시된다. 학습자는 동료의 답변과 이 채점 기준표를 비교한다.

채점 기준표는 평가 항목 과 평가 등급 으로 구성된다.

• 각 평가 항목은 제목 , 프롬프트 , 그리고 1개 이상의 선택 조건 으로 구성된다.

  • 제목(name)은 해당 평가 항목을 짧게 요약한 것을 말한다. 평가 항목 제목은 한 단어로 구성하는 구성하는 것이 일반적이다. 평가 시스템은 이들 평가 항목 제목을 식별자로 사용한다. 따라서 반드시 평가 항목별로 고유한 제목을 붙여야 한다. 학습자가 상호 평가를 수행하는 중 확인하는 채점 기준표에는 평가 항목 제목이 표시되지 않다. 그러나 학습자 최종 점수가 표시되는 페이지에는 평가 항목 제목이 표시된다.

    

  • 프롬프트 는 이들 평가 항목에 대한 설명이다.

  • 평가 등급 은 해당 답변이 이들 평가 항목에 얼마나 잘 부합하는지를 나타낸다.

• 각 평가 등급은 제목 , 설명 , 소수점 값으로 구성된다.

  

하나의 과제에 서로 다른 다수의 평가 항목이 있는 경우 각 평가 항목의 평가 등급 가짓수는 서로 다를 수 있다. 가령, 위의 그림에서 첫 번째 평가 항목에는 세 가지 평가 등급, 두 번째 평가 항목에는 네 가지 평가 등급이 있다.

주석

평가 등급이 없는 평가 항목을 포함할 수 있다. 그러나 이 경우에도 학습자가 피드백을 입력할 수 있는 필드가 있어야 한다. 보다 구체적인 정보는 각 평가 항목에서 의견 필드만 제공하기 에서 확인한다.

개별 학습자의 과제 정보에 접근하여 평가 등급 및 평가 항목 모두를 볼 수 있다. 보다 구체적인 안내는 개방형 응답 평가 과제 채점 지표 만들기 에 있다.

채점 기준표를 작성할 때 각 평가 등급에 몇 포인트를 부여할지 결정하고 각 평가 등급에 대한 설명은 가능한 한 구체적으로 한다. 평가 항목 1개와 다수의 평가 등급을 구성한 경우를 아래에 예시한다.

평가 항목

제목: Origins

프롬프트: 이 답변은 100년 전쟁의 원인을 설명하고 있는가? (최대 5점)

선택 사항

포인트	제목	설명
0	전혀 그렇지 않음	이 답변은 백년 전쟁의 원인을 논의하지 않았음.
1	왕위 계승권 다툼	이 답변은 잉글랜드와 프랑스 간의 왕위 계승권 다툼을 암시하고 있으나 잉글랜드의 에드워드 3세와 프랑스의 필립 6세를 언급하지 않았음.
3	에드워드와 필립	이 답변은 에드워드 3세와 필립 6세 간의 왕위 계승권 다툼을 다뤘으나 살릭 법의 역할을 논의하지 않았음.
5	살릭 법	이 답변은 살릭 법이 에드워드 3세와 필립 6세의 왕위 계승권 다툼에 어떤 식으로 관여하여 백년 전쟁을 촉발했는지 설명했음.

주석

상포 평가 채점을 위해 확실하고 구체적으로 채점 기준표를 만드는 것이 중요하다. 많은 초보 학습자는 정확한 채점 기준을 세우지 못한다. 또한, K-MOOC은 채점 기준표를 간결하게 만드는 것을 권장한다.

3단계. 채점기준표 추가하기 에서 이와 관련한 보다 구체적인 정보를 확인할 수 있다.

8.31.1.3.3. 평가 단계¶

과제에서 평가 단계 를 지정할 수 있다. 이 때, 다음과 같은 평가 단계를 포함하도록 과제를 구성할 수 있다.

• 평가 연습 단계
• Peer Assessment Step
• 자기 평가 단계
• 운영팀 평가 단계

주석

학습자 평가 연습 단계를 포함한다면 반드시 상호 평가 단계도 포함해야 한다. 평가 연습 단계는 반드시 상호 평가 및 자기 평가 단계 이전에 시행되어야 한다. 상호 평가와 자기 평가를 모두 포함한다면 K-MOOC은 상호 평가를 자기 평가 이전에 시행하는 것을 권장한다. 운영팀 평가를 포함한다면 이는 마지막 순서에 오는 것이 좋다.

과제를 검토할 때 평가의 유형과 순서를 확인할 수 있다. 아래는 학습자가 답변을 제출한 이후의 상황에 대한 예시이다. 학습자는 평가 연습 단계를 먼저 수행한 후, 다른 학습자의 답변에 대한 상호 평가, 자기 평가 단계를 차례로 수행하게 된다.

8.31.1.3.3.1. 평가 연습 단계¶

평가 연습 단계는 학습자가 평가 방법을 익히는 데 도움이 되게 할 수 있다. 1개의 평가 연습 평가에는 강좌 운영팀이 작성한 예제 1개 이상과 강좌 운영팀이 이 예제에 부여한 점수를 함께 제시할 수 있다. 이를 통해, 학습자는 강좌 운영팀이 점수를 매긴 방식에 맞춰 점수를 받을 수 있도록 노력할 것이다.

주석

평가 연습 단계를 포함하는 경우 상호 평가 단계도 반드시 추가해야 한다. 평가 연습 단계는 반드시 상호 평가 단계 및 자기 평가 단계에 선행해야 한다.

I평가 연습 단계에서 “답변 평가 방법 학습” 단계는 학습자가 답변을 제출한 직후에 표시된다. 학습자는 강좌 운영팀이 만든 예시 중 한 가지와 이에 해당하는 채점 기준표를 확인한다. 이 때, 강좌 운영팀이 부여한 점수는 표시되지 않는다. 학습자는 자신이 평가할 문제의 수 또한 확인할 수 있다.

학습자는 각 과제의 평가 항목에 대한 평가 등급을 선택하고 교수자의 평가와 비교하기 를 클릭한다. 학습자의 선택이 교수자의 선택과 모두 일치하는 경우 다음 예시가 자동으로 열린다.

학습자의 선택 중 교수자의 선택과 상이한 것이 존재하는 경우 해당 답변이 학습자에게 다시 제시된다. 이 때, 해당 답변 위에 다음과 같은 메시지가 표시된다.

Learning to Assess Responses
Your assessment differs from the instructor's assessment of this response. Review the
response and consider why the instructor may have assessed it differently. Then, try
the assessment again.

평가 항목 각각에 대해, 학습자 선택과 강좌 운영팀 선택의 일치 여부에 따라 다음 두 가지 메시지 가운데 하나가 학습자에게 제시된다.

Selected Options Differ
The option you selected is not the option that the instructor selected.

Selected Options Agree
The option you selected is the option that the instructor selected.

아래의 예시에서 학습자는 옳은 평가 등급 하나와 옳지 않은 평가 등급 하나를 각각 선택하고 있다.

학습자는 모든 평가 항목에 대한 자신의 채점 결과와 강좌 운영팀의 채점 결과가 동일해질 때까지 채점을 계속한다.

평가 연습 단계 에서 보다 자세한 정보를 확인한다.

8.31.1.3.3.2. Peer Assessment Step¶

상호 평가 단계에서 학습자는 다른 학습자의 답변을 검토하고, 해당 답변에 기반하여 제시된 채점 기준표의 각 평가 항목에 대해 평가 등급을 선택한다.

만약 상호 평가와 자기 평가를 모두 포함한다면 K-MOOC은 상호 평가를 우선적으로 시행하도록 권장한다.

상호 평가가 어떻게 학습자의 과제 성적에 영향을 주는지에 관해 개방형 응답 평가 점수 계산하기 에 자세한 정보가 나와있다.

8.31.1.3.3.2.1. Number of Responses and Assessments¶

상호 평가 단계를 포함할 경우 각 학습자가 평가할 답변의 개수( 채점해야할 수 ) 와 각 답변에 대한 상호 평가의 개수( 채점받아야할 수 ) 를 지정해야 한다.

주석

일부 학습자는 답변만을 제출하고 상호 평가를 수행하지 않을 수 있다. 따라서 일부 답변은 필수로 지정된 수만큼 평가를 받지 못할 수도 있다. 모든 답변이 원래 지정된 수만큼 평가받을 확률을 높이려면 학습자가 평가해야 하는 답변의 개수를 각 답변이 반드시 받아야 하는 평가의 개수보다 높도록 설정해야만 한다. 예를 들어, 각 답변이 3개의 평가를 받도록 지정한 경우 각 학습자가 5개의 답변을 평가하도록 설정할 수 있다.

모든 답변에 대한 평가가 완료되었으나 일부 학습자가 상호 평가를 필수 개수대로 수행하지 않은 경우 해당 학습자는 다른 학습자가 이미 평가한 답변을 평가할 수 있다. 이러한 답변을 제출한 학습자에게는 자신의 점수를 채점할 때 상호 평가가 추가 제시된다. 그러나 추가 상호 평가는 자신의 답변이 받은 점수에 가산되지 않는다.

8.31.1.3.3.2.2. 피드백 선택 조건¶

전체 채점 기준표 아래에 하나의 학습자 의견 작성 필드가 제공되는 것이 기본 설정으로 돼 있다. 1개 혹은 여러 개의 평가 항목에 대해 이러한 학습자 의견 작성 필드를 추가할 수 있다. 의견 필드에 입력할 수 있는 문자는 최대 300자이다.

의견 필드는 해당 평가 항목의 평가 등급 아래에 표시된다. 다음 사례의 경우 두 평가 항목 모두에 하나의 의견 필드가 있다. 답변에 대한 종합 의견을 입력할 수 있는 필드도 하나 있다.

보다 구체적인 안내는 3단계. 채점기준표 추가하기 및 각 평가 항목에서 의견 필드만 제공하기 에 있다.

8.31.1.3.3.2.3. 추가 답변 평가¶

학습자는 지정된 개수를 초과하여 답변을 평가할 수 있다. 학습자가 상호 평가 단계를 마치면 해당 단계가 닫히고 상호 평가 라는 제목이 표시된다.

학습자가 상호 평가 계속하기 를 클릭하면 해당 단계가 전개된다.

8.31.1.3.3.3. 자기 평가 단계¶

자기 평가 단계에서는 학습자 자신의 답변 뒤에 채점 기준표가 제시된다. 상호 평가와 마찬가지로 학습자는 채점 기준표와 자신의 답변을 비교하며 각 평가 항목에 대해 평가 등급을 선택한다.

상호 평가와 자기 평가를 모두 포함하는 경우 자기 평가를 상호 평가 뒤에 배치할 것을 권한다.

8.31.1.3.3.4. 운영팀 평가 단계¶

운영팀 평가 단계에서 강좌 운영자는 학습자 답변에 대한 평가를 한다. 강좌 운영자는 평가에 첨언할 수 있으며 문제의 채점 기준표에 따라 평가를 하고 자기 평가 및 상호 평가 단계와 동일하게 진행된다.

주석

만약 과제에 운영팀 평가 단계가 포함된다면 학습자는 이 단계가 끝날 때까지 최종 성적을 받지 못한다. 운영팀 평가 단계에서 부여하는 점수는 운영팀 평가 단계 이후 시행되는 상호 평가를 포함한 기타 모든 평가 단계의 성적을 뒤집는다.

개방형 응답 평가 과제에서 운영팀 평가 단계를 추가하는 것은 학습자 수가 적을 때 더욱 유용하다. 예를 들어 여러 집단이 있는 강좌에서 상호 평가 및 운영팀 평가가 모두 있는 개방형 응답 평가 과제를 만들어 특정 집단에게만 사용할 수 있다. 그리고 남아있는 다른 집단에게는 오직 상호 평가 과제만을 사용하게 할 수 있다. 강좌에서 다양한 집단을 활용하는 방법은 학습집단별 강좌 내용 만들기 를 참고하면 된다.

운영팀 평가 단계의 채점과 관련된 사항은 개방형 응답 평가 과제 운영팀 평가하기 를 참고하면 된다.

8.31.1.4. 개방형 응답 평가 점수 계산하기¶

운영팀 평가를 포함한 개방형 응답 평가에서 운영팀 평가는 한번 이상 있을 수 있으며 마지막 운영팀 평가가 과제의 최종 점수가 된다. 학습자는 모든 평가 점수를 조회할 수 있지만 상호 및 자기 평가 점수는 반영되지 않는다.

운영팀 평가가 없지만 상호 및 자기 평가가 있는 개방형 응답 평가의 경우 상호 평가만이 과제의 최종 성적에 반영된다. 자기 평가는 반영되지 않는다. 자기 평가와 상호 평가를 각각 가중치를 주는 방법은 없다.

운영팀 평가만을 포함하는 개방형 응답 평가의 경우 운영팀 평가가 곧 최종 성적이 된다.

다음은 상호 및 자기 평가 점수 계산에 관한 설명이다.

8.31.1.5. 우수 답변¶

학습자가 과제로 제출한 답변 가운데 최상위 점수를 획득한 답변을 우수 답변 으로 지정해 점수와 함께 공개할 수 있다. 우수 답변 은 학습자가 해당 과제의 모든 단계를 종료한 후 학습자 점수 정보 아래에 공개된다.

우수 답변 으로 최소 1개부터 최대 100개의 답변을 공개할 수 있다. 해당 목록에서 각 답변의 높이는 최대 300픽셀이다. (답변이 이보다 더 길 경우, 학습자는 페이지를 스크롤하여 전체 답변을 확인할 수 있다.) 게시하는 답변의 개수를 20개 이하로 지정하여 해당 페이지가 지나치게 길어지지 않도록 할 것을 권한다.

이에 관한 보다 자세한 안내는 7단계: 우수 응답 공개 에 있다.