3.1.1. 일반화학 과목의 특성 기술

일반화학 교과목은 1학년 학생을 대상으로 하는 BSM (Basic Science and Mathmatics) 교과목이다. 한 학기 16주, 한 주당 3시간 강의로 이루어져 있으며 3학점이 배정된 교양 필수의 학수구분을 갖는다. 내용 구성은 주로 물질세계의 핵심적인 개념에 대한 이해와 적용하는 과정을 다룬다. 중요하게 다루어질 주제들은 원자의 구조와 그 성질, 화학 양론, 물질의 상태(기체, 액체, 고체), 산⋅염기와 산화⋅환원 반응 등의 수용액에서의 반응, 고전적 및 양자역학적 화학 결합, 화학 반응에서의 열역학적 변화 등이다. <표 1>은 이러한 내용 구성의 일부 예시에 해당한다.

<표 1>

교과목 구성 예시

3.1.2. ALEKS 특성

ALEKS는 1994년 미국 UC Irvine 대학의 인지과학(cognitive science) 전공 교수들에 의해서 개발되었고 2013년 출판회사 맥그로힐(McGrawHill)에 인수되었다. 현재 미국 K-12 교육에서는 홈스쿨링 지원 플랫폼으로서, 고등교육에서는 대학에서의 수학, 화학 과목을 수강하기 전 준비 코스로 활용되고 있다.

ALEKS는 학생들에게 25 - 30개의 문제로 구성된 사전 테스트를 진행하고 그 결과를 통해 학생이 학습하고 있는 과목에 대해 무엇을 알고 무엇을 모르는지 파악하여 학생의 현재 상태에 최적화된 학습 경로를 제공한다. 학생들이 배울 준비가 된 학습 콘텐츠를 제공함으로써 학생들의 자신감을 높이고 중도에 포기하지 않고 정해진 학습 목표를 달성하도록 지원하는 것이 ALEKS의 가장 큰 특징이다.

ALESK는 다른 적응형 학습 시스템과는 차별화되게 문제 기반으로 진행되며, 학습자의 수준을 파악하여 맞춤형 학습 경로를 제공하고 이에 대한 다양한 데이터를 제공하기 때문에 적응형 학습에서 필요한 데이터와 데이터들의 활용방안을 모색할 수 있다. [그림 1]과 [그림 2]는 ALEKS에서 제공하는 학습 관련 데이터의 일부이다.

[그림 1]

교수자용 대시보드 캡쳐 화면

[그림 2]

개별 학생의 주요 개념 학습 성취 현황

3.2.1. 내용 체계 분석

먼저 시스템에서 다루는 주제 구성에 대한 내용 분석을 진행하였다. ALEKS에서 제공하는 기초화학 분야 교과목 중 화학을 수강하기 전 기초 수학능력을 확보할 수 있는 교과목(Preparation for Chemistry), 한 학기로 진행하는 화학 교과로서의 교과목(Introduction College Chemistry), 두 학기로 나누어 기초화학을 배우는 교과목으로서의 화학1 (General Chemistry 1), 화학 2(General Chemistry 2)의 네 개의 교과목들을 실제적 교과목 운영을 고려하여 아래와 같은 방식으로 내용 체계 분석을 진행하였다.

분석 과정은 [그림 3]과 같이 먼저 각 교과목 별 토픽 리스트를 작성하였고, 각 토픽 별 문제 샘플을 토대로 풀이집을 만들고, 두 과정에서 필요한 용어들을 추출하여 용어집을 만들었다.

[그림 3]

ALEKS 내용 분석 진행 방식

토픽은 주제 - 소주제 - 토픽 순으로 배열하였고, 이에 대한 요약 기술을 [그림 4]에서와 같이 진행하였다. 앞서 분석 대상 교과목에서 다루는 기본 주에 외에 실제 교과 운영을 위해 필요한 주제나 해당 학기에서 다루고자 하는 교과과정에서 부족한 주제가 있는 경우 ALEKS에서 제공하고 있는 화학 관련 다른 교과목의 구성으로부터 추가하여 해당 학습 내용 구성에 활용하였다.

[그림 4]

토픽 기술 일부

시스템에서는 각 토픽에 관련한 문제가 제공되는데, 문제의 형태는 주관식이며, 평균적으로 중 또는 하의 난이도이다. 각 토픽 별로 유사한 형태의 문제들을 대표할 수 있는 학습 완료로 인식될 때까지 반복적으로 다루어지고 있어 유사한 형태의 문제들을 대표할 수 있는 표본 문제에 대한 문제 구성을 소개 및 설명한 풀이집을 [그림 5]와 같이 제작하였다.

[그림 5]

토픽에 관한 문제 구성과 풀이

주제 분석, 문제 분석 과정에서 학생들이 ALEKS 활용과정에 필요한 용어들을, [그림 6]과 같이 영어-한글- 관련 토픽으로 정리하였고, 대한 화학회에서 제작한 술어집(일반화학, 물리화학, 유기화학)을 토대로 검토하였다.

[그림 6]

용어집 예시

3.3.1. 맞춤형 문제 풀이 학습 시스템으로서 활용

① 과제와 평가로서의 문제 풀이 학습 시스템 운영

2020학년도 2학기에는 간호계열 간호학과 1학년 학생 39명을 대상으로 진행하였다. 한 학기 16 주차로 진행되는 수업 구성에서 총 13개의 대주제를 평균 1주당 1주제 학습 방식으로 운영하였다. 앞 서의 시스템 내용 분석 결과와 수강 학생을 고려하여, [그림 7]에서와 같이 검토한 교과목 운영 모델 중 일반화학 교과목에서 활용할 기본 교과목을 선정하고, 선정한 교과목에서 다루는 주제 외에 교수자가 수업에서 설정한 학습 목표 관련한 주제들은 추가 문제 항목에서 선별하여 전체 내용 체계를 구성하였다.

[그림 7]

교과목 운영 모델 제안

인공지능 기반 적응형 학습 시스템의 기본 활용은 개인별 맞춤 과제였으며, 중간고사와 기말고사와 같은 평가에도 일부 사용하였다. 교수자 관점에서는 학습 진도에 맞추어 생성된 문제 은행을 활용하여 퀴즈, 정기 평가, 과제 등 다양한 수업 지원 도구로 활용할 수 있는 평가의 편이성 측면에서의 활용이었다. 또한, 비대면 환경의 경우 진행되는 온라인 원격 시험에서의 개별화된 문제 제공으로 인하여, 평가 중 부정행위와 관련한 공정성 측면에서의 효과를 기대할 수 있다.

과제로의 사용을 위하여 가장 먼저 학습에 참여하는 학생들에게 오리엔테이션을 진행한 후 학기 전체에 다루는 내용에 대한 사전 진단 평가에 참여하도록 하였으며, 이를 통하여 한 학기 전체 다루게 되는 주제의 주요 개념들에 대한 학생들의 사전지식수준이 점검된다. 인공지능 기반 적응형 학습 시스템에서는 그 결과를 토대로, 각 주제에 해당하는 문제들을 학생에게 개별적으로 제공하고, 관련 주제에 대해 학생의 문제 풀이 과정에서 아는 것으로 인식되기까지 관련한 유사 유형의 문제를 각각의 학습 속도에 맞추어 맞춤형 문제 학습을 진행한다.

사용한 시스템에서의 AI는 학생이 아는 것과 모르는 것에 대한 진단 및 검토를 ‘학습인정’단계와 ‘학습 완료’ 두 단계로 구분하나, 학생들의 중간 설문 분석 결과, ‘학습 완료’ 단계까지 진행해야 하는 학습량으로 인한 피로도가 매우 높았다. 이러한 학생들의 학습에서 문제점을 반영하여 과제 난이도를 ‘학습 완료’ 전 단계인 ‘학습인정’ 단계로 조절하였다. 과제에 관한 성적 반영 여부는, 한 학기 종료 시점에서 ‘학습인정’ 비율을 80%, 50%를 기준으로 상⋅중⋅하로 나누었다.

인공지능 기반 적응형 학습 시스템 활용의 영향 및 학습적 효과를 확인하기 위하여 중간고사는 해당 시스템을 사용하지 않는 같은 학기 화학 교과목 수강반들과 동일한 유형의 문제와 지필고사형식으로 진행하였다. 기말고사의 경우 해당 시스템을 활용하여 개인별 문제로 진행하였다.

② 운영 결과 분석

인공지능 기반 적응형 학습 시스템 활용으로 인한 학습 성과적 측면을 분석하기 위하여 인공지능 기반 적응형 학습 시스템을 적용한 교과목의 성적과 동일 학과 학생이 수강한 동일 과목의 이전 3~4년간 성적을 비교하였다. 비교 결과 매 학기 5% 내외로 존재하던 10점 미만의 학생들이 인공지능 기반 적응형 학습 시스템을 적용한 교과목에서는 나타나지 않았다. 또한 인공지능 기반 적응형 학습 시스템을 활용하여 진행된 기말고사의 경우에는 적응형 시스템 활용 시간이 긴 학생들의 성적이 상위권을 차지하는 경향을 보였다.

수업에 대한 학생들의 반응은 강의 평가 결과와 시스템 관련 만족도 설문을 통해 분석하였다. 학교에서 학기 종료 후 전체적으로 진행되는 강의 평가 결과는 <표 2>와 같다. 강의 평가 설문은 수업 준비, 수업 진행 및 내용, 과제 및 평가 영역에서 17개 문항으로 구성되어 있다. 먼저 수업 만족도는 5.0 만점 중 4.25로 나타났다. 평가 영역에 따라 세분화하여 분석한 결과 수업 준비는 4.45점, 수업 진행 및 내용은 4.26점, 과제 및 평가는 3.90점으로 나타났다.

<표 2>

2020년도 2학기 강의 평가 결과

시스템 관련 만족도는 39명의 수강학생들을 대상으로 별도의 설문조사를 진행하였다. 설문조사 결과 <표 3>과 같이 전체 만족도는 5.0점 만점 중 3.21점으로 나타났다. 전반적인 학습 도움과 이해도 부분에서 5.0점 만점에 3.2점 정도의 답변을 하였다. 교과에 대한 흥미와 학습 진도 유지 부분에서는 비교적 낮은 평균을 보였다. 학습지원 관련 항목에서는 비교적 긍정적 답변을 하였다. 특히, ALEKS 운영에 관한 조교의 시스템 관련 및 문제 풀이 관련 항목이 가장 높은 평점을 보였다.

<표 3>

2020년 2학기 시스템 관련 만족도 조사 결과(N=39)

학습지원 관련 항목에서의 상대적인 높은 점수는 새로운 시스템의 첫 운영을 효과적으로 진행하기 위하여 전체 학기의 1/4 시점과 1/2 시점에서 설문을 통해 학생들의 시스템 참여 관련 필요들을 파악하고 조치하였던 점에 기인한 것으로 해석된다. 특히, 학기 운영의 1/2 분기 시점에 진행된 수업 관련 요구 사항 파악의 반영으로 학습 소요 시간의 부담을 줄이기 위해, [그림 8]에서와 같이, 표본 문제에 대한 해설 영상을 만들어 교내 LMS를 통해 제공하였다. 또한, 문제 학습에서 진행하는 주제에 관한 질의응답을 위해 조교를 지원하여, 학생들의 문제 학습을 돕도록 하는 연습반을 개설하여 문제 시스템의 운영 일정과 연계하여 진행한 것과 관련 있는 것으로 보인다. 이러한 설문 결과들을 통해 문제 시스템이 학생들의 학습 성취에 기여한 것으로 보이나, 향후 맞춤형 시스템 활용의 학습성과 요인에 관한 상관관계에 검증을 위한 후속 연구가 필요한 것으로 보인다.

[그림 8]

ALEKS 학습 지원 자료 중 일부

전체적으로 비교적 긍정적인 수업 만족도에 비해, 시스템 자체에 대한 만족도는 상대적으로 높지 않았다. 학생들의 만족도 점수는 비교적 낮은 것으로 파악할 수 있는데 이러한 이유는 앞서 제시한 강의 평가 항목 중 과제 및 평가 점수가 다른 항목에 비해 상대적으로 낮은 것과 관련하여 유추할 수 있다. 즉, 학생들은 인공지능 기반 적응형 학습 시스템에서 진행되는 학습활동을 새롭게 부가되는 학습과제이자 평가로 인식하고 있어 학습의 유용성보다는 학습 부담에 초점을 두고 있다고 해석할 수 있다. 또, 이러한 결과가 나타난 원인은 맞춤형 학습 진행과 관련하여 학생들이 겪는 어려움을 묻는 설문조사 결과를 통해서도 유추할 수 있다. 설문조사 결과 학생들이 겪는 어려움은 영어로 된 시스템(45%), 예측할 수 없는 학습 시간 (35%), 마스터를 요구하는 토픽 학습(20%) 순으로 나타났다.

ALEKS는 모든 콘텐츠가 영어로 구성되어 있다, 학습자 입장에서 특히, 영어를 모국어로 사용하지 않는 학생들의 경우, 문제 학습 과정에서 문제를 푸는 단계뿐만 아니라, 문제와 함께 제공되는 풀이 및 해설을 통한 개념 학습과 같이 AI 기반 적응형 학습 시스템을 활용한 학습의 장점으로 작용할 수 있는 부분이 또 다른 과제로 느껴질 수 있다. 실제로 두 학기의 운영 모두에서 학생들은 학기 초반부터 영어로 된 시스템에서의 학습 진행의 어려움을 토로하였다. 관련하여 사전 제작한 용어집과 보편적으로 학생들이 많이 사용한 번역기를 사용을 권장하기도 하였으나, 이 또한 학생들의 외국어(해당 과목에서는 영어)관련 개별 학생 수준의 차이가 있었다. 또한, 개별 학습 단계가 아닌 기말고사와 같은 학습 성취도 평가의 단계에서는 적용 교과목의 학습성취 외에 영어와 같은 외국어 능력과 같은 언어 능력과 관련한 부분이 함께 평가의 요소가 되는 것이 민감한 문제로 받아들여져, 실제 운영 중 이를 보완하기 위해 학점 부여에 비교적 큰 영향을 미치는 정기고사의 경우 영어로 제공된 문항을 한글로 재출제 한 지필 고사로 대체하기도 하였다. 이와 같은 언어적 측면은 학습 과정에서 학생들이 느끼는 어려움 외에도 인공지능의 학습 진단과 추론 과정에서 학생들의 학습 성향과 학습 역량 인지에서 오차 요인으로 작용할 수 있으며, 이러한 진단을 토대로 한 추론 과정에서 정확한 정보를 제공하지 못할 수 있다. 그러기에 언어에 관련한 부분은 시스템과 학습자의 상호작용을 높여 시스템의 효과적 구현을 위해서도 보완이 필요한 측면으로 보인다.

3.3.2. 적응형 수업으로서의 시스템 활용

선행 학기의 운영 방식은 맞춤형 문제 풀이 학습으로 학생들의 학습은 주로 해당 주제 강의 이후에 집중되어 있었다. 이는 개념 학습 강화에 기여하나, 개념의 확립과 구조화, 확장뿐 아니라 개념 자체를 이해 부분에 있어서 강의에서 교수자의 관점과 해석을 통해 공유되는 상호작용은 부족하였다. 따라서 2021년 1학기에는 이를 보완하고 더불어, 학생 스스로 문제 학습의 과정을 수업 현장에서 교수자의 관점으로 해석한 강의에 적용하여 연계하거나, 단순한 개념 학습을 확장한 다양한 활용의 측면이 강화된 수업을 위해 인공지능 기반 적응형 학습 시스템을 활용하는 방안을 중심으로 교과목을 운영하였다.

① 수업 연계를 위한 인공지능 기반 적응형 학습 시스템 운영

2021학년도 1학기에는 공학계열 학과의 1학년 학생 46명을 대상으로 수업을 진행하였다. AI 기반 적응형 수업 방식으로 진행하였으며, [그림 9]는 한 학기 16 주차로 진행되는 수업 구성에서 1주당 2차시로 진행되는 장별 진행 방식을 모식도로 보여준다.

[그림 9]

AI 기반 시스템의 수업 활용 모식도

수업은 인공지능 기반 적응형 학습 시스템을 활용한 장별 진단 평가와 형성평가를 통한 전반적인 이해도 점검을 기반으로 하는 수업 진행과 학생 개인별 맞춤 과제 두 가지 방식으로 진행하였다. 인공지능 기반 적응형 수업의 수업 설계 과정에서 가장 주목한 부분은 인공지능이 적응형 학습 과정에서 산출해주는 학생 진단 자료를 수업에서 얼마나 효과적으로 사용하느냐였다. 이는 이미 많은 데이터 기반 학습법에서 언급하는 산출된 데이터 활용이 교수 과정 전체에서 미치는 중요성과 같은 맥락이다.

수업 진행 과정은 다음과 같다. 먼저 학생들은 강의 전에 주제별로 15분 내외의 교수자가 참여하여 제작한 장별 기본 개념 영상들을 통해서 사전학습을 한다. 이러한 사전학습을 통한 이해 수준을 인공지능 기반 적응형 학습 시스템에서 진단 평가를 통해 확인하고, 인공지능은 이 결과를 다시 학생 개인별 맞춤 과제의 학습 경로에 반영한다. 교수자는 이 진단 평가 자료가 보여주는 학생들의 평균 학습 수준을 반영하여 수업에 활용하였다. 기본 개념 학습을 위해 관련한 영상 활용은 인공지능 기반 적응형 학습 시스템 자체에서 제공하기도 하나, 교수자 참여 제작 영상 활용의 경우 교수자의 관점을 적용하는 수업 구성면에서 도움이 되었다.

1주당 2차시로 진행을 기본으로 하는 수업 진행 방식에서, 1차시에 해당하는 첫 수업에서는 인공지능기반 적응형 학습 시스템에서 제공하는 내용 체계의 주요 개념들을 확인하고, 학생들이 학습한 기본 주요 개념들간의 체계와 인과 관계들을 통해 확장 시켜 각 주제들을 거시적 관점에서 보도록 하였다. 수업 진행과 연계한 진단 평가의 경우 수업 전 학습활동에 대한 진단 보고서를 수업 일 전날 작성한다. 주로 오답률이 높은 문제, 그리고 소요 시간이 길었던 주제와 관련된 문제들을 편집하여 수업에서의 도입 주제로서, 그리고 중점적으로 다루게 되는 주제로 삼아 강의의 중심에 둔다. 2차시 수업에서는 학생들의 개인별 맞춤 과제 진행 상황에 관한 정보를 주간보고서의 형태로 산출하여 학생들의 AI 문제 학습 독려에 활용한다. 또한 해당 장의 후반부 수업이기에 코스웨어에서 제공하는 주제를 활용하여 교수자의 내용 구성과 연계하여 요약 강의를 진행하였다. 또한, 2차시 수업 시간 종료 15분 전에 형성평가를 진행한 후 수업을 마무리하였다. 앞 서의 진단 평가는 물론 형성평가 결과는 AI에서 제공하는 개인별 과제에 반영되고, 최종 학점에서는 출석점수로만 반영하였다. 학생들의 성적은 높지 않으나, 토픽별 이해도 경향성 파악은 가능한 정도로 산출되었다. 추후 운영 시 강도 높은 수업 구성을 위해서는 형성평가의 경우 평균 기준으로 한 추가 과제 및 적절한 범위에서의 성적 반영을 고려하는 등의 보완이 필요한 것으로 보였다.

맞춤별 과제 학습의 경우 해당 학기 전체를 통해 자유롭게 접속할 수 있도록 하여 학생들의 자기 주도적 학습을 강화하였다. 개인별 맞춤 과제의 경우는 인공지능 기반 적응형 학습 시스템의 기본 주제 구성을 한 학기 전체에 모든 주제에 접근가능하도록 운영하였다. 수업 전후에 진행되는 진단 퀴즈와 형성평가 결과가 학생의 맞춤 학습 과정에 반영되어 개별적 문제 학습을 진행하도록 하였고, 학생들은 관련 문제 학습을 한 학기 동안 자율적으로 참여 및 진행할 수 있도록 운영하였다. 과제로서의 성적 반영은 직전 학기와 같은 방식으로 진행하였다. <표 4＞는 학습 진행 관련하여 주간보고서 형식으로 정리한 자료의 일부 예시이다. 주간보고서는 시스템이 학생들의 학습 진행 과정과 관련하여 교수자와 개별 학습자에게 보여주는 다양한 정보들을 교수자 필요에 맞추어 간단한 방식으로 정리하여 학생들의 주차 별 진행 상황을 비교하는 자료로 활용하였다. 이를 통해 사전 진단학습과는 별개로 이후 학기 중 수업에서 다루어질 주제에 관한 주제들에 관한 추가 학습 과정 정도 및 대략적인 이해도를 점검할 수 있었다.

<표 4>

주간보고서 양식

비율은 해당 주제의 학습 완료 비율을 100% 기준으로 산출한 값을 의미하며, 주별로 학습 완료에 대한 비율을 추적하는 형태로 데이터를 도출하였다. 주제 개수와 완료 비율이 다른 것은 해당 개념들 완료하기 위해 선정한 주제 및 문제의 개수가 다르기 때문이다. 학생들은 기본적으로는 자신의 문제 학습 속도를 조절할 수 있기때문에, 맞춤형 학습 진행이 활발히 이루어지는 학생들 중심으로 아직 학기 중에 다루지 않은 장들에 대해서도 학생 스스로 문제 학습을 진행하기도 하였다.

② 운영 결과 분석

학습성과를 비교하기 위하여 다른 동일 교과목의 전체 분반 성적을 비교하였다. 일반화학 과목은 일반적으로 많은 1학년 학생들이 수강하는 과목으로 학생 수가 많아 분반 수업이 이루어지는 교과목이다. 중간, 기말 정기고사 점수의 최상위권 학생을 포함한 상위 10% 학생들은 과제 점수와 출석에서 모두 10점 만점을 받았다. 이는 최상위권 학생들은 모두 시스템에서 진행되는 사전 진단 참여 및 과제에 적극적으로 참여하였음을 의미한다. 반대의 경우로, 정기고사 최하위 학생들의 경우 과제 참여 및 완료에서 낮은 점수를 받았다. 개별 학습 진행도와 정기고사 결과와 같은 학습 성취에 상관관계가 있는 것으로 예상되나 유의미한 상관관계 확인을 위한 후속 연구가 필요한 것으로 보인다.

수업에 대한 학생들의 만족도는 이전 학기와 동일하게 강의 평가 결과와 시스템 관련 만족도 설문을 통해 분석하였다. 강의 평가 설문은 수업 준비, 수업 진행 및 내용, 과제 및 평가 영역에서 17개 문항으로 구성되어 있다. 먼저 수업 만족도는 5.0 만점 중 4.61점으로 나타났다. 평가 영역에 따라 세분화하여 분석한 결과 수업 준비는 4.65점, 수업 진행 및 내용은 4.67점, 과제 및 평가는 4.37, 기타는 4.59 점으로 나타났다.

<표 5>에서 보는 바와 같이 과제 및 평가 부분의 만족도 점수에 큰 증가가 있었고, 강의 만족도에도 전체에 대한 평점 상승이 있었다. 예상한 바와 같이 맞춤형 과제 방식으로 AI 기반 적응형 학습 시스템을 활용(2020년 2학기)했을 때보다 수업과 연계하여 활용(2021년 1학기)한 것이 과제 및 평가 항목을 포함한 강의 전체 만족도에 고르게 긍정적인 영향을 미친 것으로 보인다.

<표 5>

2021년도 1학기 강의 평가 결과

수업 만족도 설문조사 결과는 <표 6>에서 보는 바와 같이 시스템 자체의 만족도 부분에서도 대체적으로 소폭의 상승(3.21→ 3.43)이 있었으며, 무엇보다 학습 흥미도 부분에서 개별 문제 학습으로만 운영한 지난 학기에 비해 (2.40 → 3.05 )비교적 높은 상승(2.40 → 3.05)이 있었다. 이는 맞춤형 과제의 수업 연계가 학습 흥미와 학습 진도 부분에 긍정적인 영향을 미친 것으로 보인다. 조교의 학습지원 관련 부분이 (4.15 → 3.73)으로 감소한 것은 지난 학기와 비교할 때 인공지능 기반 적응형 학습 시스템을 수업과 연계하기 위하여 조교 활동이 주로 시스템 제공 데이터 산출과 시스템 관리 측면으로 업무가 집중되어 학생들 입장에서는 직접적으로 느껴지는 피드백이 줄어든 것으로 해석된다.

<표 6>

2021년 1학기 시스템 관련 만족도 조사 결과(N=46)