8.31.2. 개방형 응답 평가를 위한 과제 생성하기

다음과 같은 단계를 거쳐 개방형 응답 평가를 생성할 수 있다.

또한 개방형 응답 평가의 다른 측면에 대한 주제 역시 다룬다.

8.31.2.1. 1단계: 구성요소 생성

개방형 응답 평가의 구성요소를 생성하는 절차는 다음과 같다.

주석

각 강좌 학습활동 당 하나 이상의 개방형 응답 평가를 포함해선 안 된다. 학습활동 내 다수의 개방형 응답 평가 과제는 오류로 이어지기 때문이다.

  1. Studio에서 개방형 응답 평가를 생성하고자 하는 학습활동을 연다.

  2. 신규 구성요소 추가 에서 문제 를 선택한다.

  3. 고급 탭, 상호 평가 를 차례로 클릭한다.

  4. 문제 구성요소가 화면에 표시된다. 편집 을 클릭한다.

    이 구성요소 편집기를 사용해 프롬프트와 지표를 추가하고 개방형 응답 평가 구성요소의 기타 설정을 다룬다.

  5. 편집을 끝낼 때마다 저장 을 클릭한다. 학습활동을 공개할 때까지 계속 문제를 편집할 수 있다.

주석

개방형 응답 평가 과제를 공개하고 나면 더 이상 채점 기준표 틀이나 항목별 값을 수정할 수 없다. 만약 오탈자를 수정한다면 과제를 시작하지 않은 학습자만이 수정사항을 본다. 그러나 개방형 응답 평가 과제 공개 후 제출 기한이나 개방형 응답 평가 과제의 가중치를 변경할 수 있다.

8.31.2.2. 2단계: 프롬프트 추가

프롬프트를 입력하는 절차는 다음과 같다.

주석

프롬프트에 텍스트나 이미지를 추가하려면 프롬프트에 서식 또는 이미지 추가하기 를 참고하면 된다.

  1. 개방형 응답 평가 구성요소 편집기에서 프롬프트 탭을 클릭한다.
  2. 작성한 질문지 텍스트를 텍스트 필드에 입력한다. 기존 텍스트가 존재하는 경우, 필요하다면 해당 텍스트를 지우고 질문지 텍스트를 입력한다.
  3. 문제에 다른 프롬프트를 추가하려면 문제추가 를 선택한다.

8.31.2.2.1. 프롬프트에 서식 또는 이미지 추가하기

현재로서는 상호 평가 구성요소에 텍스트 서식 또는 이미지를 삽입할 수 없다. 프롬프트 텍스트에 서식 또는 이미지를 삽입하고자 하는 경우 해당 텍스트를 포함하는 HTML 구성요소를 동료 평가 구성요소 위에 추가하고 프롬프트 탭의 텍스트 필드를 공란으로 남겨둔다. 동료 평가 관련 교수법은 나의 응답 필드에 계속 표시된다.

A peer assessment that has an image in an HTML component.

8.31.2.2.2. 이미지 응답 제출 설정 (선택 사항)

개방형 응답 평가를 위해 이 기능을 설정하기 전에 제한사항 및 활용법에 대해 숙지해야 한다. 자세한 사항은 학습자에게 다른 파일 업로드 추천하기 를 참고하면 된다.

다음 절차에 따라 학습자가 자신의 응답에 이미지를 첨부하여 제출하도록 설정할 수 있다.

  1. 구성요소 편집기에서 설정 탭을 클릭한다.

  2. 파일 업로드 허용하기 를 다음 옵션 중 하나에 대해 설정한다.

    • Image File
    • PDF or Image File
    • Custom File Types
  3. 사용자 지정 파일 을 선택하면 파일 형식 필드가 나타난다. 학습자에게 제출 시키고 싶은 파일 확장자를 ,로 구분하여 입력한다.

    주석

    바이러스 등의 문제를 방지하기 위해 사용할 수 없는 파일 확장자가 있다. 자세한 사항은 학습자에게 다른 파일 업로드 추천하기 를 참고하면 된다.

  4. 프롬프트의 텍스트가 업로드 가능한 파일 형식을 보여주는 것을 확인한다.

8.31.2.3. 3단계. 채점기준표 추가하기

이 단계에서 채점 기준표를 삽입하여 과제 내 답변을 평가하는 지침을 알려준다. 문제 프롬프트의 수와 관계없이 각 문제에 대해 하나의 채점 기준표를 추가한다.

아래의 각 단계에서 기존 텍스트를 삭제하고 텍스트를 입력한다.

주석

모든 개방형 평가에는 채점 기준표 아래에 피드백 필드가 있다. 따라서 학습자는 동료의 전체 응답에 대한 피드백을 기입할 수 있다. 또한 평가 항목 각각에 대한 피드백을 제출하도록 학습자에게 요청하거나 이를 의무화할 수 있다. 아래의 단계6에서 해당 방법을 확인한다. 피드백 선택 조건 에서 보다 구체적인 정보를 확인할 수 있다.

다음 절차에 따라 채점 기준표를 넣을 수 있다.

  1. 개방형 평가 구성 요소 편집기에서 채점 기준표 탭을 클릭한다.
  2. 첫 번째 평가 항목 에서 첫 번째 평가 항목에 해당하는 제목과 프롬프트 텍스트를 입력한다.
  3. 첫 번째 평가 기준 에서 첫 번째 평가 등급에 해당하는 제목, 설명, 포인트값을 입력한다.
  4. 다음 평가 등급에 해당하는 제목, 설명, 소수점 값을 입력한다.
  5. 각 평가 등급에서 앞 단계를 반복한다. 보다 많은 평가 등급을 추가해야 할 경우 평가 등급 추가 를 클릭한다.
  6. 본 평가 항목에 대한 피드백 옆의 드롭다운 목록에서 값 하나를 선택한다.
    • 해당 1개 평가 항목에 대한 학습자 피드백 제출이 필요하지 않을 경우 없음 을 선택한다.
    • 학습자 피드백 제출을 의무화하고자 하는 경우 필수 를 선택한다.
    • 학습자 피드백 제출을 설정하되 의무화하지는 않을 경우 선택 을 선택한다.
  7. 단계2-6의 지시에 따라 잔여 평가 항목을 추가한다. 더 많은 평가 항목을 추가하고자 하는 경우 평가 항목 목록 끝의 평가 항목 추가 를 클릭한다.
  8. 학습자가 동료 응답에 대한 종합 피드백을 기입, 제출하는 데 필요한 지시 사항을 입력한다. 피드백 지시 사항 필드의 기존 텍스트를 그대로 두거나 텍스트로 갈음할 수 있다.

주석

개방형 응답 평가 과제를 공개하고 나면 더 이상 채점 기준표 틀이나 항목별 값을 수정할 수 없다. 만약 오탈자를 수정한다면 과제를 시작하지 않은 학습자만이 수정사항을 본다. 그러나 개방형 응답 평가 과제 공개 후 제출 기한이나 개방형 응답 평가 과제의 가중치를 변경할 수 있다.

8.31.2.3.1. 각 평가 항목에서 의견 필드만 제공하기

평가 항목에 의견 필드를 추가하면 해당 의견 필드가 해당 평가 항목에 대한 선택 조건 아래에 표시된다. 평가 등급 없이 의견 필드만 제공할 수 있다.

다음 이미지에서 첫 번째 평가 항목에 의견 필드는 있으나 평가 등급은 없는 것을 확인할 수 있다. 두 번째 평가 항목에는 평가 등급이 있으나 의견 필드가 없다.

Examples of criteria with and without a comment field.

평가 등급 없이 의견 필드만 제공하는 방법은 다음과 같다.

  1. 해당 평가 항목에서 제거 를 클릭하여 모든 평가 등급을 제거, 즉 삭제한다.
  2. 본 평가 항목에 대한 피드백 옆 드롭다운 목록에서 필수 를 선택한다.

8.31.2.4. 4단계: 과제명 및 응답일 지정

답변에 대한 시작 및 기한을 정하기 전에 다음과 같은 개방형 응답 평가 과제의 특징을 고려해야 한다.

  • 다른 문제 형식과 달리 개방형 응답 평가 과제는 소주제 제출 기한에 영향을 받지 않는다. 각 개방형 응답 평가 과제의 기한은 과제 설정에서 정한다.
  • 강좌에 설정한 추가 제출 기간 설정하기 는 개방형응답평가 과제에 적용되지 않는다.
  • 개방형 응답 평가 과제에서 제출 이후 상호 평가 채점 시간을 충분히 제공하기 위해 제출 기한과 채점 기한의 차이를 1주일 이상 둔다. 만약 제출 기한과 채점 기한이 너무 붙어있으면 상호 평가 채점을 위한 시간이 충분하지 않을 수 있다. 자세한 사항은 개방형 응답 평가 활용하기 를 참고하면 된다.
  • 설정하는 시간과 학습자가 보는 시간은 모두 UTC를 기준으로 한다. 만약 특정 시간대를 원한다면 Time and Date Time Zone Converter 를 사용해야 한다.

과제명과 학습자 응답 전부에 대한 시작일 및 제출 기한은 다음 절차로 지정한다.

  1. 구성요소 편집기에서 설정 탭을 클릭한다.
  2. 메뉴 이름 옆에 원하는 과제명 을 기입한다.
  3. 답변 시작일 및 답변 시작 시간 옆에 원하는 학습자 응답 제출 시작일 및 시작 시간을 입력한다.
  4. 답변 마감일답변 마감 시간 옆에 학습자의 응답이 모두 제출 완료돼야 하는 날짜와 시간을 입력한다.

8.31.2.5. 5단계. 과제 단계 선택하기

개방형 응답 평가 과제는 평가 연습, 상호 평가, 자기 평가 단계를 포함할 수 있다.

구성요소 편집기가 제공하는 단계는 대부분 강좌에서 사용할 수 있다. 상호, 자기 및 운영팀 평가 순서를 바꿀 수 있지만 K-MOOC은 바꾸지 않는 것을 권장한다.

주석

평가 연습 단계를 포함할 경우 상호 평가 단계를 반드시 포함해야 한다. 평가 연습 단계는 동료 평가 단계 및 자기 평가 단계에 반드시 선행해야 한다.

만약 상호 및 자기 평가가 모두 포함된다면 K-MOOC은 상호 평가를 먼저 실행하는 것을 권장한다.

만약 운영팀 평가가 포함된다면 마지막에 해야 한다.

과제에 단계를 추가하는 방법은 다음과 같다.

  1. 구성요소 편집기에서 설정 탭을 클릭한다.

  2. 이미지 응답 허용과 LaTeX 답변 허용 이 보일 때까지 스크롤바를 내린다.

  3. 다음 제목을 찾는다.

    • 단계: 학습자 안내
    • 단계: 상호 평가
    • 단계: 자기 평가
    • 단계: 운영팀 평가

    과제에 포함하고자 하는 단계의 체크박스를 선택한다.

  4. (선택) 단계의 순서를 변경하려면 해당 단계를 드래그하여 원하는 순서(장소)로 이동한다.

8.31.2.6. 6단계: 단계 설정 지정

포함하고자 하는 단계를 선택한 후 단계의 설정을 구성한다.

주석

어떤 단계를 변경하더라도 해당 단계의 체크박스 내부 표시를 없애면 그 단계는 더 이상 해당 과제의 일부가 되지 않으며 변경사항 역시 저장되지 않는다.

8.31.2.6.1. 평가 연습 단계

평가 연습 단계에서는 1가지 이상의 응답에 대해 채점 기준표의 각 평가 항목에 따라 평가한다.

주석

이를 위해 반드시 채점 기준표 탭에 있는 채점 기준표가 빠짐없이 입력되어 있어야 한다. 평가 항목 가운데 하나 혹은 평가 항목의 평가 등급 가운데 어떤 것이라도 추후 변경하는 경우, 평가 연습 단계 역시 반드시 수정되어야 한다.

평가 연습 단계의 응답을 추가하고 채점하는 절차는 다음과 같다.

  1. 단계 : 평가 연습 단계 에서 첫 번째 채점한 응답 을 찾는다.
  2. 응답 필드에서 텍스트를 입력한다.
  3. 응답 점수 에서 각 평가 항목에 대해 원하는 평가 등급을 선택한다.

이에 관한 보다 구체적인 안내는 평가 연습 단계 에 있다.

8.31.2.6.2. 상호 평가 단계

상호 평가 단계에서는 각 학습자가 반드시 채점해야 하는 응답의 개수, 각 응답을 반드시 채점해야 하는 학습자의 수, 시작일 및 마감일을 지정해야 한다. 이때 모든 필드를 필수적으로 입력해야 한다.

상호 평가 설정을 지정하는 절차는 다음과 같다.

  1. 단계 : 상호 평가 제목을 찾는다.
  2. 반드시 채점해야 할 응답 옆에 각 학습자가 반드시 채점해야 할 응답의 개수를 입력한다.
  3. 채점자 옆에 각 응답을 반드시 채점해야 할 학습자의 수를 입력한다.
  4. 시작일 및 시작 시간 옆에 학습자가 상호 평가를 시작할 수 있는 날짜와 시간을 기입한다.
  5. 마감일 및 마감 시간 옆에 상호 평가가 반드시 모두 종료돼야 하는 날짜와 시간을 입력한다.

주석

설정하는 시간과 학습자가 보는 시간은 모두 UTC를 기준으로 한다. 만약 특정 시간대를 원한다면 Time and Date Time Zone Converter 를 사용해야 한다.

상호 평가에 관한 자세한 사항은 Peer Assessment Step 를 참고하면 된다.

8.31.2.6.3. 자기 평가 단계

다음 절차에 따라 자기 평가 단계의 시작 및 종료 시점을 지정한다.

  1. 단계: 자기 평가 제목을 찾는다.
  2. 시작일 및 시작 시간 옆에 학습자가 동료 반응 평가를 시작할 수 있는 날짜와 시간을 입력한다. 모든 시간은 국제 표준시로 한다.
  3. 마감일 및 마감 시간 옆에 동료 평가가 반드시 모두 종료돼야 하는 날짜와 시간을 입력한다. 모든 시간은 국제 표준시로 한다.

주석

설정하는 시간과 학습자가 보는 시간은 모두 UTC를 기준으로 한다. 만약 특정 시간대를 원한다면 Time and Date Time Zone Converter 를 사용해야 한다.

자기 평가에 대한 자세한 사항은 자기 평가 단계 를 참고하면 된다.

8.31.2.6.4. 운영팀 평가 단계

운영팀 평가 단계는 추가적인 설정 사항이 없다.

운영팀 평가에 대한 자세한 사항은 운영팀 평가 단계 를 참고하면 된다.

8.31.2.7. 7단계: 우수 응답 공개

학습자가 해당 과제에 대한 최상위 점수를 볼 수 있게 하려면 다음 절차에 따라 설정 탭에서 그 개수를 지정해야 한다.

  1. 구성 요소 편집기에서 설정 탭을 클릭한다.
  2. 우수 응답 필드에서, 학습자 최종 점수 아래의 우수 응답 에 공개하고자 하는 응답의 개수를 지정한다. 공개를 원하지 않을 경우 0을 입력한다. 최대 100개까지 공개 가능하다.

주석

각 응답의 높이는 최대 300픽셀이다. 따라서 게시물의 수를 20이하로 설정하여 해당 페이지가 지나치게 길어지지 않게 할 것을 권한다.

보다 구체적인 안내는 우수 답변 에 있다.

8.31.2.8. 8단계: 과제 베타 테스트

강좌에 과제를 개설하고 향후의 주제 및 소주제 날짜를 정한 후 베타 사용자에게 요청하여 응답을 제출하고 서로의 응답을 평가하게 함으로써 해당 과제를 베타 테스트한다. 베타 테스터는 프롬프트 및 채점 기준표가 이해하기 쉬운지 및 과제와 관련한 문제가 있는지를 보고할 수 있다.

베타 테스트에 대한 자세한 안내는 강좌 베타 테스트하기 에 있다.