국가 경쟁력 강화를 위한 기술 발전은 교육 현장 변화에도 영향을 미치고 있고, 이는 대학교육에도 지속적으로 변화하게 하고 있다. 2000년대 이후 정부의 대학 재정지원 사업을 거쳐 대학혁신지원 사업을 통해 고등교육 혁신의 중요성을 강조하였다. 학령인구 감소로 인한 고등교육 생태계 불균형의 악순환을 타개하기 위해서는 미래 인재양성을 위한 대학 교육의 질적 혁신과 학생 지원을 강화해야 한다는 것이다. 기존의 교육부 주요 재정지원 사업을 대학의 자율성 확대를 위해 3개 유형(국립대학, 일반재정, 특수목적), 4개 사업(국립대학육성, 대학혁신지원, 산학협력, 연구)으로 재구조화하여 개편하였다. 특히, 대학 교육역량 강화를 위해 5개 사업(ACE+, CK, PRIME, CORE, WE-UP)으로 지원했던 것을 대학혁신지원 사업으로 통합하여 재정을 확충하였고, 대학의 기본역량 제고를 지원하였다(교육부, 2022).

대학혁신지원 사업의 주요 내용은 자율성과 공공성⋅책무성의 조화로 대학의 혁신 성과 극대화, 대학의 자발적 질적 혁신 지원 및 적정 규모화 촉진, 산업⋅사회 구조 변화에 대한 능동적 대응이다. 대학별 자율혁신 주요 내용은 교육 혁신, 연구⋅산학협력⋅평생교육 전략, 대학 간 공유⋅협력, 공공성⋅투명성 및 사회적 가치, 총괄 관리체계 구축 등으로 구분된다. 이중에서 학생이 대학교육을 통해 미래 사회에 필요한 핵심역량을 개발하고 미래 인재로 거듭날 수 있도록 교육의 질을 제고하도록 하는 교육 혁신은 가장 기본이 되는 항목이다. 대학교육에서의 교육 혁신은 교양교육과 전공교육을 통해 핵심역량과 전공능력을 제고할 수 있다. 교양교육에서의 핵심역량은 대학 특성에 따라 자율적으로 설정할 수 있는데, 고등교육에서 학생들에게 갖추어야 하는 보편적 역량이라고 할 수 있다. 보편적으로 갖추어야 하는 역량에는 논리적사고, 창의적사고, 비판적사고, 종합적 사고력, 의사소통능력, 협동능력, 문제해결력 등으로 구분한다. 전공교육에서는 각 계열별 또는 단과대학, 학과의 전공에서 요구하는 직무 및 역할을 수행하는데 필요한 지식, 기술, 태도를 포함하여 융합적⋅종합적 능력 등으로 구분한다. 이제는 대학혁신지원 사업으로 통합되면서 교양교육 및 전공교육의 핵심역량을 명시적으로 제시하며 정성적 평가를 하지는 않지만, 각 대학별 자율혁신 중에서 교육 혁신 영역에서의 교양교육 및 전공교육의 핵심역량 설정 및 연계의 골자는 유지되고 있다(교육부, 2022).

SW⋅AI 기초교육은 2015년 교육과정 개정을 시작으로 2022년도 SW⋅AI 교육에 대한 수업시수 확대 및 초⋅중⋅고등학교까지의 연계 교육과정 등으로 개정되면서 발전하고 있다. 2015년 개정 교육과정의 초등 SW교육에서는 알고리즘 및 프로그래밍 체험을 학습하고, 중등 SW교육에서는 컴퓨팅사고력을 함양하여 일상생활에서의 문제해결을 위한 알고리즘 및 프로그래밍 기초교육으로 연계하였다. 고등 SW교육에서는 컴퓨팅사고력을 적용하여 다양한 학문에 문제해결을 위한 알고리즘 설계 및 프로그래밍 심화로 연계 학습하였다. 초등 SW교육의 핵심역량은 실천적 문제해결력, 기술적 문제해결력, 기술시스템 설계능력, 기술 활용 능력이었다. 특히 SW를 활용하여 컴퓨팅으로 실제적인 문제해결력을 기를 수 있도록 요구하였다. 이는 중등 SW교육 핵심역량인 컴퓨팅사고력, 정보문화 소양, 협력적 문제해결력으로 연계되었다. 2022년 교육과정 개정에서는 미래 불확실성에 대비할 수 있도록 지속 가능한 미래를 위해 디지털 역량을 강화하는 방향으로 제시하였다. 눈에 띄는 변화로는 SW⋅AI 교과 시수 확대이다. 기존에 비교하여 2배 이상 늘어나게 된다. 초⋅중등 SW교육은 현 SW교육을 바탕으로 AI⋅빅데이터 등 디지털 혁신 기술 이해 및 활용 방향으로 확대된다. 특히, 중등 SW교육에서는 컴퓨팅사고 과정 이해 및 실생활 중심 AI 윤리 등의 내용이 포함되었다. 고등학교 SW교육은 정보 교과를 신설하고 진로 선택 과정에 인공지능 기초, 데이터 과학, 소프트웨어와 생활 등의 과목이 추가된다. 그뿐만 아니라 초⋅중등 국어에 매체 영역 신설, 고등 국어 선택 과목으로 문학과 영상, 매체 의사소통 등이 개설된다. 초⋅중등 수학 교과는 교과 영역을 통합하여 학교급 간 연계를 강화하고, 고등 수학에서는 수학적 모델링, 놀이 및 게임 학습과 평가 모형을 구체화하여 디지털 기반 학습을 통한 공학 도구 활용을 강화한다. 즉, 새로운 지식을 배우고 암기하는 교육 방식이 아닌 타 교과와 연계하여 하나의 주제를 깊이 있게 탐구하고, 디지털 기반의 문제해결력 향상에 목적을 두고 있다(전자신문, 2023).

대학 교육의 질과 성과 관리를 위해 대학 핵심역량이 기준으로 활용되고 있기 때문에 각 대학교에서는 역량 기반으로 교육과정을 설계하여 운영하고 있다. 이러한 역량 기반의 교육과정의 성공적인 운영을 위해서는 평가 기준을 포함하여 질 관리 체계를 구축해야 한다. 그러나 핵심역량 평가도구는 학습목표 달성 및 강의평가 등으로 측정하는 경우가 많은데, 보다 객관적인 평가도구의 필요성이 제기되고 있다(홍희경, 2021: 187-203).

학습 수행에 대한 평가를 효과성이나 생산성으로 측정하는 전통적인 평가 방법은 평가자의 주관에 의해 평가가 이루어진다는 비판을 받아 왔다. 이러한 오류와 한계를 극복하고자 행동기술척도, 혼합표준척도, 행동관찰척도 등의 행동 지향적 평가 방법들이 제안되고 있다. 실제 학습에 참여한 행동을 경험으로 역량을 진단할 수 있는 행동기술 평정척도는 학습자가 내⋅외현적으로 나타나는 행동 특성을 구체적인 기준 및 수준별로 제시하여 실제 수행 능력을 최대한 측정할 수 있다는 장점이 있다. 또한 평가할 때 대학 핵심역량의 구체적인 내용을 명확히 전달하여 교육과정 및 수업 설계와의 연계가 쉽고 간단하다(최경애, 권정언, 권성연, 김주석, 민현구, 최연화, 2022).

A대학교에서 행동기술 평정척도(BARS)를 이용하여 교양 교과목의 핵심역량 성과 평가도구를 개발하였다. SW⋅AI 기초교육의 대표 핵심역량에는 고차적 사고와 정보 기술 활용 역량이 있는데, 고차적 사고의 하위요소는 논리적사고, 창의적사고로 이루어져 있고, 정보 기술 활용 역량의 하위요소는 체계적 자료 접근, 정보 분석 처리, 창의적 생산 및 공유로 이루어져 있다. SW⋅AI 기초교육의 핵심역량을 수준에 따라 학습, 적용, 성과단계의 3단계로 구분하여 행동지표를 개발하였다(최경애, 권정언, 권성연, 김주석, 민현구, 최연화, 2022).

A대학교는 2021년도부터 정보 및 기술 활용 역량 교육과정 개편에 따라 SW⋅AI 필수교양 교과목이 신설되어 전교생에게 교육을 진행하고 있다. 이후 SW⋅AI 관련 선택교양 교과목을 다양하게 개설하여 학생들에게 SW⋅AI 관련 학습의 폭을 넓힐 수 있도록 지원하고 있다. 특히 문제해결력 함양을 위한 알고리즘 교과를 통해 SW⋅AI 기초교양에서의 핵심역량 성과 평가도구를 개발함으로써 핵심역량인 고차적 사고와 정보 및 기술 활용 역량을 강화하고자 하였다(최경애, 박은진, 오현규, 장은실, 한우섭, 최연화, 2023). A대학교의 SW⋅AI 핵심역량은 <표 1>과 같다.

핵심역량 성과 평가도구를 개발하여 적용한 교과목은 ”문제해결을 위한 알고리즘”으로 개요 및 수업 목표는 <표 2>와 같고, 주차별 학습 내용은 <표 3>과 같다.

문제해결을 위한 알고리즘 교과목은 일상생활의 문제를 알고리즘 기법을 활용하여 프로그래밍으로 해결함으로써 4차 산업혁명 시대에 필요한 문제해결 능력을 함양하고자 하였다. 수업 진행은 일반적인 강의 수업을 진행한 뒤, 문제해결력 강화를 위해 실습 및 도전 문제를 제시하여 이를 해결하는 방식으로 운영하였다. 실습 및 도전 문제는 각각 최소 3개에서 6개 정도 제시하였고, 비전공자는 실습 문제 중심으로, 전공자는 도전 문제 중심으로 해결하도록 하였다. 실습 및 도전 문제는 제출 마감일이 지나면 패들렛에 공유하여 학생들에게 다양한 해결 방법을 제공함으로써 지속적으로 역량을 강화할 수 있도록 지원하였다. 특히, 학습의 효율을 높일 수 있는 방안으로 매주 수업내용을 녹화하여 제공하였고, 메타버스 플랫폼(게더타운)과 에듀테크(패들렛)를 활용하여 모든 학습 콘텐츠를 언제든지 수월하게 접근할 수 있도록 제공하였다. 아울러, 미래사회 인재에게 요구하는 협업 능력 함양을 위해 기말고사 대신 팀프로젝트로 진행하였다. 각 팀원은 다양한 전공의 학생들을 골고루 편성하였고, 팀프로젝트 활동은 각 팀별로 패들렛을 활용하여 관리할 수 있도록 하였다. 문제를 바라보는 다양한 관점을 협의를 통해 해결 안을 도출하고, 각 팀원들 간의 역할을 분배하여 해결하면서 문제해결 및 협업 능력을 제고하였다.

핵심역량 성과 평가도구 개발은 크게 수업 목표의 명확화, 핵심 과제 개발, 성과 평가 준거 개발, 핵심역량 성과 평가도구 개발 및 적용, 평가 결과 분석의 5개의 단계로 진행하였다. 개발의 전체적인 과정을 나타내면 [그림 1]과 같다.

수업 목표의 명확화 단계에서는 핵심역량과의 연계 속에서 수업의 목표를 구체화하고 명확화 하는 작업이 이루어졌다. 문제를 알고리즘으로 절차화하고 프로그래밍하여 해결한다는 궁극적 목표 아래 알고리즘 이해, 프로그래밍에 알고리즘 활용, 문제해결 등의 작은 목표로 구체화 하였다.

핵심 수행 과제 개발 단계에서는 알고리즘 이해, 프로그래밍에 알고리즘 활용, 문제해결이라는 수업 목표에 기반을 두어 이를 가장 효과적으로 달성할 수 있도록 매주 실습과제에서 실습 문제와 도전 문제를 제시하였고, 전공에 따라 수행하도록 하였다. 기말 팀프로젝트 과제에서는 문제 선정 및 정의, 협업 능력의 목표를 추가하여 수행하도록 하였다.

<표 4>와 <표 5>는 수행 과제에 대한 평가 준거 개발을 위한 수업 목표와의 연계성과 핵심 수행 과제의 구성을 정리한 내용이다.

핵심역량 성과 평가도구를 적용하기 위한 수행 과제는 크게 매주 실습과제, 중간시험, 기말 팀프로젝트로 과제로 구분하였다. 수행 과제별 특징 및 채점 기준 세부사항은 <표 6>과 같다.

매주 수행하는 실습과제는 기본 실습문제와 도전문제로 구성되어 있는데, 학기 초에는 전공 구분 없이 동일한 조건으로 수행하도록 운영하였다. 그러나 전공에 따라 수행 능력 편차가 크게 발생하여 보편적 SW⋅AI 기초교육을 위한 교양교과목 특성을 감안하여 3주차부터 전공자 3~4학년과 비전공자 또는 1~2학년을 구분하여 수행 범위를 다르게 지정하였다. 중간시험 이후에는 매주 실습과제 수행 문항수가 많다는 학생들의 요구가 발생하여 10주차부터 전공 여부에 따른 수행 범위 구분은 유지하면서 문항수를 3개로 완화하였다. 전공에 따른 매주 실습과제 수행 조건은 <표 7>과 같다.

성과 평가 준거 개발 단계에서는 매주 실습과제 수행 조건을 고려하여 ‘알고리즘’, ‘프로그래밍’이라는 평가 준거를 적용하였고, 목표로 하는 논리적사고, 체계적 자료 접근, 정보 분석 처리 역량을 중심으로 학습자의 역량을 평가하였다. 기말 팀프로젝트 과제는 ‘문제 선정 및 정의’, ‘창의적 문제해결’, ‘협업 능력’이라는 평가 준거를 추가 적용하였고, 목표로 하는 창의적사고, 창의적 생산 및 공유 역량을 추가하여 학습자의 역량을 평가하였다.

이를 위해 성과 평가도구는 크게 문제해결을 위한 논리적사고 중심의 설계(D)와 이를 프로그래밍으로 구현(P)하는 두 단계로 구분하여 구성하였다. 설계 단계의 평가 준거에는 문제 선정 및 정의(PSD), 알고리즘(AG)의 구성요소로 이루어져 있고, 구현 단계의 평가 준거에는 프로그래밍(PG), 창의적 문제해결(CPS), 협업 능력(CA)의 구성요소로 이루어져 있다. 각 단계의 평가 준거 및 해당 역량의 세부사항은 <표 8>과 같다.

각 성과 평가 준거에 대하여 확인할 수 있는 학습자들의 행동지표를 수준별로 기술하여 핵심역량 성과 평가도구를 완성하였다.

이를 위해 A대학교에서 개발한 교양 교과목의 핵심역량 성과 평가도구의 행동지표를 문제해결을 위한 알고리즘 교과목에 적용하여 행동지표를 개발하기 위해 먼저 고려해야할 사항을 도출하였다. 이를 정리하면 <표 9>와 같다.

도출한 행동지표 개발을 위한 고려사항에 따라 문제해결을 위한 알고리즘 교과목 성과 평가도구의 행동지표를 개발하였다. 각 단계별 평가 준거의 행동지표 결과는 C(보통), G(잘함), E(매우 잘함)로 구분하여 평가하였다. 이를 정리하면 <표 10>과 같다.

매주 실습과제와 중간시험은 설계(D)의 알고리즘, 구현(P)의 프로그래밍(PG) 구성요소만으로 평가하였고, 기말 팀프로젝트 과제는 모든 구성요소를 평가하였다.

핵심역량 성과 평가도구를 수업 전과 후에 활용하여 성취 수준에 대한 이해를 돕고 학업 성취를 올릴 수 있도록 지원하였으며, 결과 처리에 활용하고자 하였다.

이를 위해 수업 전반부에는 ”문제해결을 위한 알고리즘” 교과목의 학습 목표, 성취해야 할 역량 및 역량 수준 이해를 위한 자료로 활용하였다. 학습자들이 본 교과목을 통해 달성해야 하는 학습 목표를 이해하도록 지도하게 되는데, 그 과정에서 성취해야 할 역량 및 역량 수준을 검토하고 역량 함양을 위한 핵심 과제가 어떻게 진행되는지 설명하였다. 특히, 성과 평가도구가 어떻게 개발되었으며, 어떤 방식으로 적용되는지 설명하여 학습자들로 하여금 본 교과목에서 어떤 평가 과정이 본인들에게 적용되는지 정확하게 이해할 수 있도록 하였다.

수업 중반부에는 학습자들의 학습 수준 점검뿐만 아니라 핵심 과제 수행을 위한 가이드 및 평가를 대비한 참고자료로 활용하였다. 학습자들이 본 교과목을 통해 학습하고자 하는 내용과 성취 역량의 수준이 얼마나 목표했던 바에 가까워졌는지 파악할 수 있도록 성과 평가도구를 수시로 설명하였다. 특히, 성과 평가도구를 기준으로 하여 학생들이 수행하고자 하는 매주 실습과제의 우수 사례를 설명함으로써, 핵심 과제 수행을 위한 가이드 또는 평가를 대비한 참고자료로 학생들이 활용할 수 있도록 하였다.

수업 후반부에서는 학습자들의 역량 성장에 대한 성찰을 위한 학습 도구 및 핵심 과제 결과물에 대한 평가 자료로 활용한다. 학습자들이 본 교과목을 통해 얼마나 성장했는지, 어떤 역량이 얼마나 함양되었는지를 판단하고 성찰할 수 있는 학습 도구가 되도록 성과 평가도구를 활용하였다. 특히, 성과 평가도구에 기반하여 학생들의 핵심 과제물을 종합적으로 평가함으로써, 평가 결과에 대한 학습자들의 수용성을 높이고자 하였다.

본 설문은 2022학년도 2학기에 문제해결을 위한 알고리즘 수강생을 대상으로 학기 초와 학기말에 진행하였다. <표 11>은 성과 평가도구 행동지표와 관련된 문항과 역량 성장에 대한 문항으로 5점 척도형(매우 그렇지 않다 ~ 매우 그렇다)의 폐쇄형 문항으로 구성하였다.

학기 초와 학기 말에 설문조사를 진행하여 역량 변화의 수준을 파악하였다. 설문에 응답한 학생의 전공별 분포는 전공자 71.4%(10명), 비전공자 28.6%(4명), 성별 분포는 여성 21.4%(3명), 남성 78.6%(11명), 학년별 분포는 1학년 35.7%(5명), 2학년 21.4%(3명), 3학년 7.2%(1명), 4학년 35.7%(5명)의 비율로 나타났다.

설문 응답 결과의 특성을 추론하기 위해 가장 많이 활용되는 방법에는 모수 통계 검정과 비모수 통계 검정이 있는데, 본 연구의 설문 응답 결과는 수강인원이 적어 정규성을 충족하지 않았다. 이에 비모수 대응표본 검정인 윌콕슨 부호 순위 검정(Wilcoxon Signed Rank Test)을 시행하였다. 윌콕슨 부호 순위 검정을 통해 학기 초와 학기 말 설문 응답 차이값을 구하여 검정한 결과 설문 문항1, 문항2, 문항4, 문항8에서 유의미한 결과가 나타났다. 윌콕슨 부호 순위 검정 통계량은 <표 12>와 같다.

유의미한 결과가 나타난 설문 문항1, 문항2, 문항4, 문항8에 대한 응답 결과를 방사형 차트로 나타내어 학기 초와 학기 말의 역량 변화를 확인하였다.

흔히 다루어진 문제해결 사례에서 개선이 필요한 컴퓨팅 관련 문제를 선정할 수 있는지에 대한 설문 문항1에 학기 초에는 ‘그렇지 않다’가 매우 높게 나타났으나, 학기 말에는 ‘보통’ 이상으로 나타난 것으로 볼 때 간단한 문제를 선정할 수 있는 역량이 향상된 것으로 판단할 수 있다. 응답 결과는 [그림 2]와 같다.

해결할 가치가 있는 새로운 컴퓨팅 관련 문제를 탐색 및 정의할 수 있는지에 대한 설문 문항2에 학기 초에는 ‘그렇지 않다’가 높게 나타났으나, 학기 말에는 ‘그렇다’가 매우 높게 나타난 것으로 볼 때 새로운 문제를 탐색 및 정의할 수 있는 역량이 향상된 것으로 판단할 수 있다. 응답 결과는 [그림 3]과 같다.

문제해결에 알고리즘 기법을 활용할 수 있는지에 대한 설문 문항4에 학기 초에는 ‘보통’ 이상으로 나타났으나, 학기 말에는 ‘매우 그렇다’가 높게 나타난 것으로 볼 때 알고리즘 기법 활용 역량이 향상된 것으로 판단할 수 있다. 응답 결과는 [그림 4]와 같다.

문제해결에 새로운 아이디어를 적용하여 효율성을 향상시킬 수 있는지에 대한 설문 문항8에 학기 초에는 ‘보통’이 매우 높게 나타났으나, 학기 말에는 ‘그렇다’가 높게 나타난 것으로 볼 때 문제해결에 새로운 아이디어를 적용하여 효율성을 향상시키는 역량이 향상된 것으로 판단할 수 있다. 응답 결과는 [그림 5]와 같다.

성과 평가도구 행동지표와 관련한 문항 외에 역량이 성장했다고 생각하는지에 대하여 학기말에 추가 설문을 진행하였다.

본 교과목을 통해 프로그래밍으로 문제를 해결하는 것에 대하여 비교적 성장한 것이 있는지에 대한 문항에 ‘그렇다’가 매우 높게 나타난 것으로 볼 때 학습자 스스로는 프로그래밍 문제해결을 통해 역량이 향상한 것으로 판단하였다. 응답 결과는 [그림 6]과 같다.

본 교과목 기말 팀프로젝트를 통해 비교적 성장한 것이 있는지에 대한 문항에 ‘매우 그렇다’가 매우 높게 나타난 것으로 볼 때 학습자 스스로는 기말 팀프로젝트를 통해 역량이 향상한 것으로 판단하였다. 응답 결과는 [그림 7]과 같다.

학기 말에 설문한 역량 성장 여부에 대하여 ‘보통’ 이하로 응답한 경우 이유에 대한 의견을 확인하였다.

프로그래밍 문제해결 역량에 성장한 것이 없다고 생각하는 이유에 대해서는 ”알고리즘에 대해 이해는 했지만 그에 대한 활용을 개인적으로 더 수행할 시간과 노력이 필요할 것 같다. 전공에 투자하는 시간을 줄여 알고리즘과 팀플 하면서 배운 내용을 더 알게 되면 만족할 수 있을 것 같다”, “자주적인 능력이 부족하여 수행이 어려웠다”라는 의견이 있었다.

기말 팀프로젝트에서 성장한 것이 없다고 생각하는 이유에 대해서는 ”성장을 하긴 했는데 조금인 것 같고 기말 프로젝트에서 스트레스를 많이 받아서”, “알고리즘을 공부하는 동안에 어려운 부분, 막히는 부분에서 바로 포기해 버리는 제 스스로의 문제점이 컸던 것 같습니다. 그래도 이번 기말 프로젝트를 하면서 스스로 찾아보고 배우던 습관들이 다시 돌아오는 느낌이어서 좋게 생각하고 배울 점이 많았던 것 같습니다. 특히 개발하면서 선배님이 이야기 해주셨는데 스스로 코딩 능력을 키우는 것에 대해서 많은 조언을 해주시는 게 좋았습니다.”라는 의견이 있었다.

매주 실습과제에서 제시하는 성과 평가도구를 통해 학구열이 있는 학생들에게는 학업 성취에도 긍정적으로 영향을 미친 것으로 보인다. 특히 기말 팀프로젝트 과제에서의 성과 평가도구 적용은 학생 성취뿐만 아니라 본 교과목 학습 목표 도달을 위한 척도에도 매우 효율적인 지표가 되었다.

SW⋅AI 교육 특성상 다양한 문제를 지속적으로 실습해야만 SW⋅AI 기초역량을 강화할 수 있다. 때문에 매주 실습과제에서는 다양한 실습문제와 도전문제를 제시하여 학습자 수준에 따라 선택적으로 실습을 수행할 수 있도록 지원하였다. 그러나 매주 실습과제의 양이 절대적으로 많다 보니 성과 평가도구를 적용하여 점수를 차별화하여 부여하는 것에는 어려움이 있었다.

이에 SW⋅AI 기초역량 강화를 위한 목적에서의 매주 실습과제 평가 준거는 좀 다르게 개발할 필요가 있다는 것을 확인하였다.