10.3.2. 콘텐츠 실험을 위한 강좌 설정하기

이 장은 강좌에서 콘텐츠 실험을 사용하기 위한 방법에 대해 다룬다.

10.3.2.1. 콘텐츠 실험을 활성화하기

강좌에서 콘텐츠 실험을 활성화하기 위해, split_test 를 고급설정에서 고급 모듈 목록 에 추가한다.

주석

split_test 는 콘텐츠 실험의 내부 K-MOOC 플랫폼 이름이다.

  1. 환경 메뉴에서 고급환경 을 선택한다.

  2. 고급환경 에서, 고급 모듈 목록 을 찾는다.

  3. 고급 모듈 목록 칸에, "split_test" 를 추가한다. 큰따옴표가 포함되었는지 확인한다.

    여러 개의 값이 있다면, 쉼표로 분리한다. (,).

    예를 들어, 고급 모듈 목록 칸에 입력되는 텍스트는 다음과 같을 것이다:

    [
      "lti_consumer",
      "word_cloud",
      "split_test"
    ]
    
  4. 페이지 하단에 다시 저장 을 클릭한다

10.3.2.2. 그룹 설정 개관

콘텐츠 실험을 만들기 전에 강좌에서 최소한 1개의 그룹을 설정해야 한다 .

그룹 설정은 실험에 참여하는 그룹의 수를 정한다. 콘텐츠 실험을 만들 때, 활용하기 위한 그룹 설정을 선택한다.

예를 들어, 강좌에서 다른 시기에 다른 2개의 실험을 원한다고 하자. 콘텐츠 실험에서, 학습자는 동영상을 보거나 읽기 과제를 한다. 어떤 그룹이 자료를 더 잘 학습하였는지 확인하기 위해 문제를 추가할 수 있다. 콘텐츠 실험에서, 2개의 실험 그룹에 학생들을 배정하기 위해 그룹 설정한다.

다른 콘텐츠 실험에서, 문제의 4개의 다른 유형을 이용하여 동일 질문을 보여 줄 수 있다. 이 콘텐츠 실험에서, 학습자들을 4개의 실험 그룹에 배정하도록 그룹을 설정한다.

10.3.2.2.1. 실험 그룹에 학습자 배정하기

K-MOOC 플랫폼은 그룹 설정에서 학습자를 각 실험 그룹에 배정한다.

실험 그룹 배정의 특징은 다음과 같다:

  • 다이나믹하다(역동적이다)

    K-MOOC 플랫폼은 학습자를 하나의 실험 그룹에 우선 배정하면, 학습자는 그룹 설정에 따른 콘텐츠 실험에 참여하게 된다.

  • 무작위이다.

    학습자가 할당되는 실험그룹은 조정할 수 없다.

  • 고르게 분포된다.

    K-MOOC 플랫폼은 실험 그룹들의 크기를 계속 점검하고, 새로운 학습자를 그룹에 고르게 배정한다. 예를 들어, 2개의 실험 그룹이 설정에 되어 있다면, 각 그룹은 강좌에 등록한 50%의 학습자를 포함하게 된다; 4개의 실험 그룹이 있다면, 각 그룹은 학습자의 25%씩 배정된다.

  • 영구적이다.

    동일한 그룹 설정에 적용되는 콘텐츠 실험의 수와 관계 없이 학습자는 배정된 실험 그룹에 남아 있게 된다.

10.3.2.3. Studio에서 실험 그룹 설정하기

주석

그룹을 설정하기 전에 콘텐츠 실험을 활성화 해야 한다.

그룹 설정을 하기 위해, 설정 메뉴에서, 그룹 설정 을 선택한다. 그룹 설정 페이지가 열린다.

이 페이지에서 그룹 설정을 생성하고, 편집하고, 삭제를 할 수 있다. 또한 그룹 설정을 사용하는 실험들을 볼 수 있다.

10.3.2.3.1. 실험 그룹 설정 생성하기

항상 그룹 설정을 생성할 수 있다.

  1. 그룹 설정 페이지에서, 실험 그룹 을 선택하고, 새 실험 그룹 을 클릭한다. 다음 페이지가 나타난다:

    An image of the Create a New Group Configuration page in Studio.
  2. 그룹 설정 이름을 입력한다. 의미 있는 명칭을 이용 하는 것은 콘텐츠 실험을 만들 때 그룹 설정을 선택하기 때문이다. 학습자는 이 그룹 설정 이름을 알지 못한다.

  3. 선택적으로, 새로운 그룹 설정에 대한 설명을 입력한다.

  4. 기본적으로, 새로운 설정은 2개의 그룹이 포함되어 있다. 그룹을 수정하거나 필요에 따라 추가 혹은 삭제할 수 있다. 그룹 설정은 최소 1개의 그룹은 있어야 한다.

    • 그룹 명을 필요한 만큼 수정한다. Studio의 학습 활동 페이지에서 그룹 명을 볼 수 있다. 그러나, 학습자는 그룹명을 볼 수 없다.
    • 설정에 또다른 그룹을 추가하기 위해 다른 그룹 추가 를 클릭한다.
    • 기존의 그룹의 오른쪽에 X 를 클릭하여 설정으로부터 제거할 수 있다. 그룹 설정에는 최소 1개의 그룹이 있어야 한다.
  5. 생성 을 클릭하여 새 그룹 설정을 저장한다.

그러면 그룹 설정은 페이지에 나타난다. 설정에 포함된 그룹의 수를 볼 수 있고, 설정이 강좌에서 사용되는지 여부를 볼 수 있다:

The Group Configurations page with one group configuration listed.

10.3.2.3.2. 그룹 설정 편집하기

중요

그룹 설정의 명칭은 언제든지 변경할 수 있다. 그러나 운영중인 강좌에 현재 이용되는 그룹 설정의 성격을 변경하기 전에 그룹 설정 수정을 위한 가이드라인 을 살펴본다.

  1. 그룹 설정 페이지에서, 그룹 설정으로 가서 편집 을 클릭한다.

    An image of the Group Configurations page with Edit button highlighted.

    The following page opens:

    An image of the Edit a Group Configuration page.
  2. 필요하다면 명칭과 설명을 수정한다.

  3. 필요하다면 설정에서 그룹을 수정한다. 실험 그룹 설정 생성하기 에 자세하게 안내되어 있다.

  4. 저장 을 클릭하여 변경사항을 저장한다.

10.3.2.3.3. 그룹 설정 삭제하기

주석

콘텐츠 실험에서 현재 사용되지 않는 그룹 설정을 삭제할 수 있다. 콘텐츠 실험에서 사용되고 있는 그룹 설정은 삭제할 수 없다.

  1. 그룹 설정 페이지에서, 그룹 설정으로 이동하고 삭제 아이콘을 클릭한다.

    An image of the Edit a Group Configuration page.
  2. 삭제를 확인하기 위해 메세지가 나타날 때, 삭제 를 클릭한다.

10.3.2.3.4. 그룹 설정을 이용하는 실험 보기

각 그룹 설정을 사용하는 실험을 볼 수 있다.

그룹 설정 페이지에서, 자세한 사항을 보기 위해 그룹명을 클릭한다. 그룹설정을 사용한 실험의 링크를 보게 된다:

An image of a group configuration with the experiments using the configuration circled.

실험이 포함된 학습활동 페이지로 이동하기 위해 링크를 클릭한다.

10.3.2.3.5. 실험에서 그룹 설정 보기

콘텐츠 실험 작업에서, 두가지 방법으로 실험에 사용되는 그룹 설정에 대해 볼 수 있다:

  • 콘텐츠 실험을 포함하는 학습활동에서, 콘텐츠 실험 블럭에서, 그룹 설정명을 클릭한다.

    An image of the content experiment in the unit page with the group configuration link circled
  • 콘텐츠 실험페이지의 상단에, 그룹 설명명을 클릭한다.

    An image of the content experiment page with the group configuration link circled.

이제 그룹 설정이 나타난다:

An image of the Group Configuration page with the experiments using it circled.

콘텐츠 실험이 포함된 학습활동으로 돌아가기 위해 그룹 설정에 있는 링크를 이용할 수 있다.

10.3.2.4. 그룹 설정 수정을 위한 가이드라인

강좌가 시작한 후 그룹 설정을 수정해야 한다면 다음 가이드라인을 본다. 이 가이드라인은 Studio 혹은 OLX에서 강좌에 적용한다.

10.3.2.4.1. 그룹 설정 수정하기

강좌가 시작한 후, 금지 사항은 다음과 같다 :

  • 그룹 설정 삭제.
  • 그룹설정의 id 값 변경.

10.3.2.4.2. 실험 그룹 수정하기

강좌가 시작한 후, 실험그룹의 id 의 값을 변경하지 말아야 한다.

실험 그룹명은 언제든지 수정할 수 있다.

10.3.2.4.3. 그룹 설정에서 실험 그룹 삭제하기

콘텐츠 실험이 실행되는 강좌가 운영을 시작한 후, 특정 실험 그룹에서 학습자들은 콘텐츠 혹은 강좌 내에서 어려움을 겪을 수 있다. 이 경우, 그룹 설정에서 실험 그룹을 삭제할 수 있다. 그러면 실험 그룹을 위해 넣은 콘텐츠는 학습자에게 더이상 보이지 않는다.

삭제된 실험그룹의 학습자는 그룹 설정에서 다른 실험 그룹 중 하나에 재배정한다. 제거된 실험 그룹 콘텐츠에서 학습자들이 완료한 문제는 성적에 포함되지 않는다. 학습자들은 문제를 다시 풀어야 하고 재배당된 실험 그룹 콘텐츠의 문제 풀이를 모두 완료 해야 한다. 실험 그룹 삭제는 강좌의 이벤트 데이터에 영향을 준다. 강좌 결과를 평가하는 연구자들은 삭제한 실험 그룹과 제거한 날짜를 알고 있어야 한다.

10.3.2.5. OLX 강좌의 그룹 설정을 설정하기

OLX 강좌의 policies 디렉토리에서 policy.json 파일에서 그룹 설정을 정의한다.

그룹 설정을 하기 위해, user_partitions 의 정책키 값을 수정한다.

주석

user_partitions 은 그룹 설정을 위한 내부의 K-MOOC 플랫폼명이다.

user_partitions 값은 그룹 설정의 JSON 컬랙션며, 각 학습자의 실험그룹을 정의한다.

주석

의미 있는 그룹 설정명을 이용한다. 콘텐츠 실험을 추가할 때 그룹 설정명의 목록에서 선택한다.

추가 정보를 위한 다음 예시를 살펴 본다.

10.3.2.5.1. 예: 1개의 그룹 설정

다음 코드는 2개의 학습자 세그먼트로 그룹 설정을 정의하는 JSON 오브젝트 예를 보여준다.

"user_partitions": [{"id": 0,
                   "name": "Name of the group configuration",
                   "description": "Description of the group configuration.",
                   "version": 1,
                   "groups": [{"id": 0,
                               "name": "Group 1",
                               "version": 1},
                              {"id": 1,
                               "name": "Group 2",
                               "version": 1}]
                            }
                   ]

위의 예에서:

  • “id”:0 은 그룹 설정을 의미한다. XML 강좌들에서, 이 값은 <split_test> element에서 user_partition 속성에서 참조된다.
  • groups 배열은 무작위로 배정된 학습자의 실험그룹을 의미한다. XML 강좌들에서, 각 그룹의 id 값은 <split_test> 엘리먼트에서 group_id_to_child 속성에 참조된다.

10.3.2.5.2. 예: 복수개의 그룹 설정

다음 코드는 2개의 그룹 설정을 정의한 JSON 오브젝트 예를 보여준다. 첫번째 그룹 설정은 2개의 실험 그룹으로 학습자를 나누고, 두번째는 학생들을 3개의 실험 그룹으로 나눈다.

"user_partitions": [{"id": 0,
                     "name": "Name of Group Configuration 1",
                     "description": "Description of Group Configuration 1.",
                     "version": 1,
                     "groups": [{"id": 0,
                                 "name": "Group 1",
                                 "version": 1},
                                {"id": 1,
                                 "name": "Group 2",
                                 "version": 1}]}
                    {"id": 1,
                     "name": "Name of Group Configuration 2",
                     "description": "Description of Group Configuration 2.",
                     "version": 1,
                     "groups": [{"id": 0,
                                 "name": "Group 1",
                                 "version": 1},
                                {"id": 1,
                                 "name": "Group 2",
                                 "version": 1}
                                 {"id": 2,
                                 "name": "Group 3",
                                 "version": 1}
                                 ]}
                   ]

주석

이 예가 보여주는 것 처럼 각 그룹 설정은 독립적이다. 그룹 IDs 와 명칭은 그룹 설정 내에서 유일한 것이라야 하지만 강좌의 모든 그룹 설정에서 유일한 것은 아니다.