8.31.3. 개방형 응답 평가 과제 관리¶
개방형 응답 평가를 공개한 후 학습자가 답변을 제출하고 평가가 시작되면 강좌 운영자로서 몇 가지 조치를 취할 수 있다.
추가적으로 개방형 응답 평가에 대한 다음 주제들을 숙지한다.
- 개방형 응답 평가
- 개방형 응답 평가 생성에 대한 설명: 개방형 응답 평가 생성하기
- 공개된 개방형 응답 평가의 학습자 답변 및 통계 조회: 개방형 응답 평가 과제 채점 지표 만들기
8.31.3.1. 특정 학습자의 답변 및 평가 조회하기¶
개방형 응답 평가 과제에서 학습자 성과에 대한 다음과 같은 정보를 조회할 수 있다.
- 학습자가 업로드한 파일을 포함한 응답 텍스트.
- 전체적인 응답과 개별 항목에 대한 피드백을 포함한 학습자 응답에 대한 상호 평가.
- 전체적인 응답과 개별 항목에 대한 피드백을 포함한 학습자가 다른 학습자의 응답에 대해 올린 상호 평가.
- 학습자의 자기 평가.
- 학습자 과제 성적.
특정 학습자에 대해 정보를 조회하는 방법과 학습자 응답을 상호 평가와 동시에 보는 예제에 대한 자세한 정보는 특정 학습자 정보 조회하기 를 참고하면 된다.
학습자가 다른 학습자로부터 충분한 평가를 받았고 다른 학습자에 대해 충분히 평가했다는 것을 확인하기 위해 채점자와 반드시 채점해야 할 응답을 확인한다. 자세한 사항은 6단계: 단계 설정 지정 를 참고하면 된다.
8.31.3.1.1. 특정 학습자 정보 조회하기¶
특정 학습자의 과제에 대한 정보를 조회하기 전에 학습자의 사용자 이름이나 이메일 주소가 필요하다. 자세한 사항은 학습자 데이터 다운로드하거나 열람하기 를 참고하면 된다.
강좌에서 개방형 응답 평가 과제에 접속한다.
문제의 최하단으로 스크롤해서 개별 학습자 관리 를 선택한다.
학습자의 사용자 이름이나 이메일 주소를 입력하고 제출 을 클릭한다.
개별 학습자 관리 다이얼로그는 과제의 각 평가 단계의 섹션과 학습자 응답에 대해 취할 수 있는 기타 조치에 대한 정보를 담는다. 과제에 포함된 평가 단계 (자기, 상호, 운영팀)만이 보인다.
만약 학습자가 응답과 함께 파일을 업로드했다면 제출 파일 조회하기 를 통해 해당 파일을 조회하거나 다운로드 받을 수 있다.
섹션 제목을 클릭해 섹션을 본다.
8.31.3.2. 개방형 응답 평가 과제 운영팀 평가하기¶
개방형 응답 평가 과제에 운영팀 평가가 포함되어 있으면 강좌 운영자는 과제 하단의 채점 가능 응답 버튼을 볼 수 있고 학습자는 과제에서 운영팀 평가 를 볼 수 있다.
주석
운영팀 평가 단계에서 부여하는 점수는 운영팀 평가 단계 이후 시행되는 상호 평가를 포함한 기타 모든 평가 단계의 성적을 뒤집는다.
과제에 운영팀 평가를 하기 위해.
강좌에서 개방형 응답 평가 과제에 접속한다.
문제 하단으로 스크롤해 채점 가능 응답 을 선택한다.
열리는 다이얼로그에서 확인 되었거나 할 수 있는 응답들을 볼 수 있다. 확인된 응답은 현재 강좌 운영자에게 채점되고 있는 응답이다.
채점할 수 있는 응답을 열기 위해 운영팀 평가 를 선택한다.
문제의 채점 기준표에 따라 평가한다.
평가 제출 을 클릭해 평가를 제출하고 다이얼로그를 닫는다. 또는 평가 제출하고 채점 계속하기 를 클릭해 평가를 제출하고 곧바로 다른 응답을 채점한다.
운영팀 평가 단계에서 부여하는 점수는 운영팀 평가 단계 이후 시행되는 상호 평가를 포함한 기타 모든 평가 단계의 성적을 뒤집는다.
8.31.3.3. 학습자 평가 성적 수정하기¶
모든 개방형 응답 평가에 대해 운영팀 평가의 포함 유무와 관계없이 학습자 성적을 수정해야 할 때가 있다. 운영팀 평가 단계가 없을 때 학습자의 성적 수정 권한은 특히 유용하다. 예를 들어 만약 학습자 답안이 상호 평가 단계에서 잘못 채점되었거나 평가자 수가 부족할 경우 직접 성적을 수정할 수 있게 되는 것이다.
강좌 운영팀은 학습자 최종 성적을 개별 학습자 평가를 통해 수정할 수 있다. 이 평가의 수정은 학습자의 기타 성적을 모두 무시하고 최종 성적에 반영된다.
주석
제출 기한과 관계 없이 한 답변에 대해 수정 평가를 여러 번 할 수 있다. 학습자 최종 성적은 가장 최근의 운영팀 수정 평가를 반영하게 된다.
수정 평가된 학습자는 운영팀 평가 라는 단계를 조회할 수 있으며 채점 기준표나 기타 참고사항을 열람할 수 있다.
8.31.3.3.1. 수정 평가하기¶
수정 평가를 위해.
강좌의 개방형 응답 평가 과제에 들어간다.
문제 하단으로 내려가 개별 학습자 관리하기를 선택한다.
학습자 사용자 이름이나 이메일을 선택하고 제출 을 클릭한다.
개별 학습자 관리 다이얼로그에서 평가 단계별로 답변에 대한 작업을 수행할 수 있다.
수정 평가 성적 제출 을 선택한다.
문제 채점 기준표를 사용해 학습자 답변 평가를 시작한다.
평가가 끝나면 평가 제출 을 선택한다.
학습자에게 부여한 수정 평가 성적은 곧 과제의 최종 성적이 된다. 수정 평가가 있다면 상호 평가는 최종 성적에 영향을 주지 않게 된다.
수정 평가된 학습자는 운영팀 평가 라는 단계를 조회할 수 있으며 채점 기준표나 기타 참고사항을 열람할 수 있다.
주석
제출 기한과 관계 없이 한 답변에 대해 수정 평가를 여러 번 할 수 있다. 학습자 최종 성적은 가장 최근의 운영팀 수정 평가를 반영하게 된다.
8.31.3.4. 상호 평가에서 학습자 답변 삭제하기¶
상호 평가 단계가 있는 과제에서 학습자는 상호 평가 중 적절하지 못한 평가에 대해 응답을 남길 수도 있다. 이런 상황에서 해당 응답을 삭제할 수 있다. 이렇게 부적절한 응답을 삭제함으로써 더 이상 다른 학습자들이 보지 않게 하는 것이다.
주석
학습자 답변 삭제는 되돌이킬 수 없다.
부적절한 답변을 삭제할 경우 해당 답변은 즉시 상호 평가 제출 답변 목록에서 빠진다. 이미 다른 학습자에게 보내졌을 경우 학습자 화면에서도 삭제된다. 그러나 만약 해당 답변을 어떤 학습자가 이미 평가했을 경우 평가한 답변에 포함이 된다.
주석
상호 평가에서 부적절한 답변을 삭제한 후 해당 학습자가 다른 답변을 제출할 수 있는지 결정할 수 있다. 만약 해당 학습자가 다른 답변을 제출하지 못하게 하고 싶다면 아무것도 하지 않으면 된다. 해당 학습자는 전체 제출 답변에 대해 0점을 획득하게 된다. 학습자에게 다른 답변을 제출하게 하려면 문제의 학습자 상태를 삭제해야 한다. 자세한 사항은 학습자 상태 삭제 를 참고하면 된다.
상호 평가에서 답변을 삭제하기 위해.
개방형 응답 평가 과제에서 특정 답변 찾기 을 참고하여 부적절한 답변을 제출한 학습자를 찾는다.
강좌에서 개방형 응답 평가 과제에 들어가 삭제할 답변을 확인한다.
문제 하단으로 내려가 개별 학습자 관리하기 를 선택한다.
학습자 사용자 이름이나 이메일을 입력하고 제출 을 클릭한다.
개별 학습자 관리 다이얼로그에서 평가 단계별로 답변에 대한 작업을 수행할 수 있다.
상호 평가에서 답변 제거(Remove Submission From Peer Grading) 를 선택한다.
코멘트에 삭제 사유를 입력한다. 이 사유는 학습자가 개방형 응답 평가 문제에서 본인 답변을 확인했을 때 보여지게 된다.
답변 삭제(Remove submission) 를 선택한다.
상호 평가에서 부적절한 답변은 삭제된다. 삭제된 답변은 우수 답변 목록에서도 제거된다.
개별 학습자 관리 에 들어가 해당 학습자 정보를 다시 조회하면 입력한 사유와 함께 답변이 삭제된 날짜와 시간을 볼 수 있다.
강좌에서 학습자가 과제를 조회할 때 “취소”된 상태의 과제를 볼 수 있다. 학습자 답변 아래에 답변 텍스트 대신에 취소된 날짜와 시간 및 사유를 볼 수 있다.
8.31.3.5. 개방형 응답 평가 과제에서 특정 답변 찾기¶
만약 신고가 들어와 개방형 응답 평가 답변 중 상호 평가에서 삭제하고 싶은 답변이 있다면 다음과 같이 삭제하면 된다.
신고한 학습자에게 경위를 묻고 부적절한 답변 텍스트의 일부를 보내달라고 요청한다.
K-MOOC 파트너 매니저(관리자)에게 개방형 응답 평가 답변 자료를 요청한다.
자료는 엑셀이나 .csv 형식으로 받게 된다.
자료가 학습자에게 받은 부적절한 답변 텍스트와 일치하는지 확인한다.
일치하는 부분이 있다면 해당 부분을 작성한 사용자 이름을 확인한다.
사용자 이름을 적어 놓고 상호 평가에서 학습자 답변 삭제하기 를 참고해 삭제한다.