대학생 필자의 글쓰기에서 챗GPT 답변의 활용 유형 및 양상 연구
Types and Patterns of Utilizing ChatGPT Responses in College Student Writing
Article information
Abstract
이 연구는 대학생 필자가 글을 쓸 때 챗GPT에게 질문하여 받은 답변을 어떠한 방식으로 활용하는지 고찰하여 그 특성을 밝히고자 했다. 이를 위해, 먼저 필자가 글쓰기 과정에서 챗GPT와 나누는 전반적인 문답의 양상을 점검하고, 이후 필자의 글에 챗GPT의 답변이 활용되는 방식을 유형화한 뒤 유형별 양상을 고찰했다.
먼저, 전반적인 문답의 양상은 필자가 논증적 글 1편을 작성하는 상황에서 ⑴ 챗GPT와 나누는 총 문답수 및 답변 유형에 따른 문답수, ⑵ 챗GPT 답변에 대한 필자의 만족도, ⑶ 챗GPT로부터 받은 답변의 실제 원고 반영률을 확인했다. 다음으로, 챗GPT 답변의 활용 유형 및 양상은 ⑴ 챗GPT 답변의 활용 유형 5가지(그대로 사용하기, 요약 및 재진술하기, 틀 세우기, 종합하기, 도약하기) 및 유형별 활용 빈도수, ⑵ 5가지 활용 유형별 긍정적⋅부정적 수행 양상을 사례 필자 분석을 통해 구체적으로 제시했다.
이 연구의 결과는, 필자의 문식성 및 비판적 사고력, 저자성과 윤리의식의 수준에 따라 챗GPT와의 문답이 필자의 쓰기 능력을 배가하거나 저하하는 ‘양날의 검’으로 기능한다는 사실을 실증적으로 보여준다. 이 연구는 앞으로의 대학 글쓰기 교육이 전통적인 교육 목표를 더욱 중점적으로, 그러나 챗GPT를 활용한 새로운 방식으로 추구해야 한다는 입장에서 이를 위한 몇 가지 전제 사항을 제안했다.
Trans Abstract
This study aims to examine how college student writers utilize responses from ChatGPT when writing, and to elucidate the characteristics of this usage. To achieve this, the study first examines the overall pattern of interactions between the writers and ChatGPT during the writing process. Subsequently, it categorizes the ways in which ChatGPT’s responses are incorporated into the writers’ work and investigates the patterns for each category.
Firstly, the overall interaction patterns were analyzed by looking at 1) the total number of interactions and the number of responses based on type while writing one argumentative essay, 2) the writer’s satisfaction with the responses from ChatGPT, and 3) the rate at which the responses from ChatGPT were actually reflected in the final draft. Secondly, the types and patterns of utilizing ChatGPT responses were categorized into five types: using Direct use, Summarizing and Restating, Framing, Synthesizing, and Leaping. The study then detailed the frequency of use for each type and the positive and negative aspects of each type through case analysis of the writers.
The results of this study empirically demonstrate that interactions with ChatGPT can function as a “double-edged sword” that either enhances or diminishes the writing ability of the student, depending on the student’s literacy level, critical thinking skills, authorial identity, and ethical awareness. The study suggests several prerequisites for future college writing education to focus more intensively on traditional educational goals, but pursued in new ways THE utilization of ChatGPT.
1. 서론
2022년 11월 30일 미국의 Open AI사가 개발한 대화형 인공지능 챗봇 챗GPT가 처음 대중에게 공개된 이후 채 2년이 되지 않은 지금, 대학생들의 챗GPT 이용은 일상적인 것이 되었다. 2023년 3월에 진행된 한 설문조사에서는 챗GPT를 과제 수행 시 활용한다고 답한 대학생이 4명 중 1명에 불과했으나(신수빈, 2023), 2024년 1학기에 실시된 설문조사에서는 참여 대학생의 96.19%가 챗GPT를 학습 및 과제 수행을 위해 매주 사용한다고 답했다(왕비 외, 2024). 그리고 이러한 상황에 대한 대응으로서, 대학교육 또한 빠르게 변화해왔다. 2023년 상반기까지만 해도 일부 대학에서 챗GPT 활용 가이드라인을 제정했다든지 특정 강좌의 교육에 챗GPT가 도입되었다든지 하는 소식이 주목을 받았으나, 이제는 대학의 각종 정규 교과의 교육 내용에 챗GPT 관련 사항이 포함되거나 ‘챗GPT 프롬프트 경진대회’와 같은 비교과 프로그램을 운영하는 일이 흔한 풍경이 되고 있다.
그러나 대학교육에서 챗GPT의 도입은 그 신속한 일상화와는 별도로 해결해야 할 문제들 또한 수반하고 있다. 먼저, 대학교육에서 챗GPT의 도입은 생성AI 도구의 다소 급작스러운 대중화라는 시대적 흐름, 그리고 대중화에 따른 학생들의 학습 및 과제 수행에서의 활발한 사용에 대한 대응으로 시작된 것이기에, 정작 이를 도입해야 할 교육적 당위성에 대한 논의는 아직 충분히 완결되지 않았다. 또한, 대학교육의 과정 및 내용에 챗GPT 관련 사항이 포함되고 있다는 것이 곧 해당 교육이 충분히 내실 있게 이루어지고 있음을 의미하는 것도 아니다. 특히, 개별 수업의 차원에서 챗GPT 교육은 교수자가 그에 대해 충분히 숙지한 상태에서 자발적으로 수행하기보다는 대학 당국의 요구에 의해 포함한 경우가 많아, 형식적으로만 이루어지는 경우도 빈번하다.
대학 글쓰기 교육에서의 챗GPT 교육 또한 상황이 크게 다르지 않다. 글쓰기 교수자들이 챗GPT 도입의 필요성을 인식하고 이에 합의해서 관련 교육을 시행하기보다는, 대학 당국이나 교양대학의 요구에 의해 하향식으로 강의계획서에 챗GPT 관련 항목을 포함한 경우가 많다. 그러다 보니, 실제 교실 현장에서 이루어지는 것도 챗GPT 사용 윤리에 대한 일회적인 교육이나 출처제시법, ‘GPT킬러’와 같은 표절 검사 프로그램의 사용법 교육인 경우가 대부분이다. 그래서 대학생들이 인문⋅사회 분야 교양과목의 보고서 작성을 할 때 챗GPT에 가장 많이 의존하는 경향(왕비 외, 2024)이 있고, 대학에서 우선적으로 교육 받기를 원하는 사항이 ‘생성형 AI를 학습에 잘 활용하는 방법’(이상은 외, 2024)임에도, 정작 학생들이 글을 쓸 때 챗GPT를 효과적으로 활용할 수 있는 실제적 방법에 대한 교육이 내실 있게 이루어지고 있다고는 보기 어렵다. 요컨대 대학 글쓰기 교육에 챗GPT를 도입할 당위성에 대한 논의, 그리고 학생들이 올바르고 효과적으로 챗GPT를 활용하는 교육 방안에 대한 논의가 모두 더욱 내실 있게 이루어질 필요가 있다.
이중 이 연구는 후자의 문제에 초점을 둔다.1), 그 중에서도 여러 연구자들(권태현, 2023; 이윤빈, 2023; 장성민, 2023 외)이 강조해온 것처럼 대학생들이 글쓰기 과정에서 챗GPT에게 할 수 있는 구체적인 질문(프롬프트 입력) 전략이나 챗GPT로부터 받은 답변을 글에 반영하는 실제적 전략을 교육하기 위한 논의가 우선적으로 이루어져야 한다고 전제한다. 또한 이를 위해, 대학생들이 현재 챗GPT를 어떻게 활용하고 있는지 그 구체적인 양상을 고찰하는 일이 선행되어야 한다고 판단한다. 챗GPT는 그동안 존재하지 않아 학습자 활용 양상에 대한 정보가 부족한, 그러나 현재 학생들이 매우 활발하게 활용 중인 새로운 도구로서, 이들에게 이 도구의 바람직한 활용 방안을 교육하기 위해서는 먼저 이들의 긍정적 또는 부정적 활용 양상에 대한 파악이 구체적으로 이루어져야 한다는 것이다.
그러나 대학 글쓰기 교육 영역에서 학생들이 챗GPT를 실제로 어떻게 활용하는가를 다룬 연구는 아직 충분히 축적되지 않았다. 챗GPT 대중화 이후 가장 신속히 대학생의 챗GPT 활용 글쓰기 양상을 보고한 연구는 오선경(2023)이다. 이 연구는 대학생 62명이 독서 후 에세이 쓰기 활동을 할 때 챗GPT를 활용한 사례 및 이에 대한 학생 인식을 고찰했다. 그 결과, 에세이 결과물에서는 인용 형식, 프롬프트 입력, 출처 검증, 답변 고쳐쓰기 등에서 문제점이 발견되었다. 또한 설문조사 결과를 통해서는 과반수 이상의 학생들이 쓰기 시간 절약 및 과정의 효율성을 위한 도구로서 챗GPT를 긍정적으로 인식하고, 아이디어 생성과 정보 수집을 목적으로 챗GPT를 가장 많이 활용했음이 확인되었다. 한편, 학생들은 정보의 질, 출처, 신뢰도 등에 대한 문제의식도 나타냈다.
기혜선(2023) 또한 대학생 59명에게 글쓰기 과제 수행 시 챗GPT를 활용하도록 지도하고 활용 경험에 대한 설문조사를 실시했다. 그 결과, 설문 참여 학생 중 76%(45명)가 과제 수행에 챗GPT를 활용했고, 글쓰기 과정 중 ‘구상하기’ 단계에서 가장 도움을 받았다고 답변했다. 특히 논제와 관련된 정보 탐색에 도움이 되었으나, 문단 이상의 긴 글을 작성할 때의 활용에서는 어려움을 느낀 것으로 나타났다. 또한 학생들은 챗GPT 활용 글쓰기 과제를 통해 새로운 기술과 사회적 변화를 인식하고 챗GPT와 협력하는 경험을 하는 한편, 배경지식, 비판적 읽기, 질문하기 능력의 필요성을 느꼈다고 보고했다.
한편, 안예림(2024)은 대학생 51명에게 챗GPT를 활용하여 자기소개서의 장점과 단점 항목을 기술하게 했다. 그리고 학생들로 하여금 챗GPT가 작성한 글을 평가하고, 사람이 작성한 글과 챗GPT가 작성한 글을 비교하게 했다. 설문조사 결과, 챗GPT 작성 글에 대한 학생들의 만족도는 6.38(/10)로, 글의 구성, 내용 표현 방식에서 사람이 작성한 글과 차이가 있다고 응답하고 대체로 부정적으로 평가했다. 특히, 챗GPT가 작성한 글은 내용이 단조롭고 문장이 어색하다고 응답했으며, 34명은 독창성, 구성력 측면에서 자신이 챗GPT보다 글을 더 잘 쓴다고 인식했다. 한편, 챗GPT가 글의 구성을 도와주고 새로운 표현을 사용하도록 도와준다는 점에서 앞으로의 글쓰기에 이를 활용할 것이라고 답한 학생도 43명 나타났다.
글쓰기 비교과 프로그램에서 대학생들의 챗GPT 활용 양상을 조사한 연구도 있다. 전연옥, 채민정(2024)은 ‘글쓰기멘토링’ 프로그램에서 멘토 학생의 도움 하에 멘티 학생들이 챗GPT를 활용하여 글쓰기를 수행한 사례를 분석하고, 사후설문을 통해 해당 경험에 대한 학생들의 인식을 조사했다. 학생들의 결과물 분석을 통해서는 대체로 윤리 강령은 잘 준수하고 있으나, 프롬프트 작성법이나 출처 검증 등에서 문제가 발생하는 경우들이 있음을 보고했다. 또한 설문조사 결과를 통해 학생들의 챗GPT 도입에 대한 긍정적 인식의 증가, 프롬프트 작성 및 윤리의식의 중요성에 대한 인식 증가, 챗GPT에 대한 신뢰도 증가 등을 확인했다.
이상의 연구들은 대학의 글쓰기 교과 및 비교과 프로그램에서 학생들이 챗GPT를 활용하여 다양한 장르의 글쓰기를 수행한 양상을 고찰했다는 점에서 의미가 있다. 다만, 수행 양상의 특성을 살피는 작업이 주로 사후 설문조사를 통해 이루어져, 대학생 필자가 실제 글쓰기를 수행하는 과정에서 챗GPT를 어떠한 방식으로 활용하는지에 대한 보다 구체적이고 세밀한 분석이 시행되어야 하는 상황이다.
이윤빈(2023)은 대학생 60명이 논증적 글쓰기 과정에서 챗GPT를 어떻게 활용하는가를 ‘질문’ 양상의 측면에서 분석했다. 이를 위해, 필자가 글쓰기 과정에서 챗GPT에게 사용하는 질문을 3가지 기준(필자의 태도, 기술의 구체성, 챗GPT에게 요구하는 기능)에 따라 각각 의존적⋅주도적 질문, 일반적⋅구체적 질문, 정보⋅적용⋅분석⋅평가⋅창안 질문으로 분류하고, 학생들이 글쓰기 과정에서 사용한 331개의 질문을 쓰기 과정별 질문의 빈도 및 연속성, 세 종류의 질문 유형 기준에 따라 분석했다. 그 결과, 학생들이 ‘내용 생성하기’ 과정에 편중된 질문 양상을 보인다는 점, ‘연속 질문’보다 ‘일회적 질문’을, ‘주도적 질문’보다 ‘의존적 질문’을, ‘구체적 질문’보다 ‘일반적 질문’을 주로 사용하며, 챗GPT에게 요구하는 기능 면에서는 ‘정보(제시)’, ‘평가’, ‘창안’, ‘적용’, ‘분석’ 유형의 순서로 많은 질문을 사용한다는 점을 확인했다. 또한 쓰기 수준이 높을수록 ‘연속적’, ‘주도적’, ‘구체적’ 질문을 상대적으로 빈번히 사용하고, 챗GPT에 대한 요구 기능 면에서 다양한 질문을 구사하는 경향을 보이는 반면, 쓰기 수준이 낮을수록 이와 상반되는 양상을 보인다는 점을 실증적으로 제시했다.
이윤빈(2023)은 글쓰기를 위해 필자가 챗GPT에게 사용하는 질문을 유형화하여 제시했다는 점, 그리고 이를 통해 대학생이 글을 쓸 때 챗GPT에게 질문하는 실제적인 양상을 분석하여 그 특성을 드러냈다는 점에서 의의를 갖는다. 다만, 이 연구는 필자가 챗GPT를 활용하는 두 국면인 ‘질문’과 ‘답변 활용’ 중 전자에만 초점을 맞추어, 필자가 질문을 통해 챗GPT로부터 받은 답변을 글쓰기에 어떻게 활용하는가의 문제까지는 다루지 않았다. 필자가 ‘좋은’ 질문을 통해 챗GPT로부터 ‘좋은’ 답변을 받았다고 해도, 이를 자신의 글에 효과적으로 통합하지 못한다면 의미가 없다. 필자가 챗GPT로부터 받은 답변을 글쓰기에 어떻게 반영하는가의 양상은 필자의 질문 양상과 별도로 매우 주요하게 고찰될 필요가 있다.
이 연구는 이윤빈(2023)의 후속연구로 기획되었다. 이 연구의 목적은 대학생 필자가 글을 쓸 때 챗GPT에게 질문하여 받은 답변을 자신의 글에 활용하는 유형 및 양상을 고찰하여 그 특성을 밝히는 데 있다. 구체적으로, 이 연구는 대학생 필자들이 논증적 글을 작성하는 과정에서 챗GPT와 나누는 전반적인 문답의 양상 및 챗GPT로부터 받은 답변을 글에 반영하는 양상을, 필자가 작성한 논증적 글과 <챗GPT 활용 일지>를 분석하여 고찰하고자 한다. 특히, 필자가 챗GPT의 답변을 글에 반영하는 방식을 유형화하고, 각 유형별 긍정적⋅부정적 활용 양상의 특성을 드러내어 유형별 사례 필자의 수행 분석과 함께 제시하고자 한다. 이 연구가 다루는 구체적인 연구문제는 다음과 같다.
-
대학생 필자의 글쓰기에서 챗GPT와의 전반적인 문답 양상은 어떠한가?
1-1. 챗GPT와의 총 문답수 및 답변 유형별 문답수는 어떠한가?
1-2. 챗GPT 답변에 대한 필자의 만족도 및 답변의 원고 반영률은 어떠한가?
-
대학생 필자의 글쓰기에서 챗GPT 답변의 활용 유형 및 양상은 어떠한가?
2-1. 챗GPT 답변의 활용 유형 및 유형별 활용 빈도는 어떠한가?
2-2. 챗GPT 답변 활용 유형별 긍정적⋅부정적 활용 양상은 어떠한가?
2. 연구 방법
2.1. 연구 참여자
이 연구에는 서울 소재 A대학교의 2024년 1학기 <대학글쓰기> 강좌 2개 분반의 대학생 40명이 참여했다. A대학교는 필수교양 글쓰기 강좌를 2학년 대상으로 운영하고 있어 40명의 학생은 모두 이전에 대학 글쓰기 강좌 수강 경험이 없는 2학년 학생이었다. 학생들의 전공 영역은 인문계열 11명, 사회계열 13명, 이공계열 12명, 예술계열 4명으로 다양했다.
2.2. 연구 절차 및 방법
연구는 2024년 1학기의 1~7주(주당 2회, 각 75분 수업) 동안 다음 절차 및 방법에 따라 시행되었다. 먼저, 1~2주차에 학생들에게 챗GPT 사용법 및 윤리교육을 실시했다. 교육은 세 단계로 진행했다. 첫째로 학생들의 챗GPT 사용 경험 여부 및 인식에 대해 간단히 조사하고, 새로운 문식 환경에서 챗GPT를 비롯한 생성형AI 도구를 효과적⋅윤리적으로 사용하는 능력을 함양할 필요성에 대해 설명했다.
둘째로 챗GPT 사용법 교육을 시행했다. 교육은 이윤빈(2023)에서 제안한 질문 유형 분류를 수정⋅보완2),한 <표 1>을 토대로, 학생들에게 글쓰기 수행 시 챗GPT에 대한 효과적인 질문 방법을 숙지하게 하는 방식으로 진행되었다. <표 1>은 ⑴ 필자의 태도, ⑵ 질문 기술의 구체성, ⑶ 질문의 연속성, ⑷ AI에 대한 요구 기능이라는 네 층위에서 질문 유형을 분류한 것으로, 하나의 질문은 네 층위 각각의 속성을 갖는다.
예를 들어, “A제도에 대해 설명해줘.”는 ⑴ 필자의 생각이나 작성한 글을 전제하지 않고, ⑵ 글쓰기의 수사적 상황 맥락 및 답변 형식에 대한 구체적 요구가 없으며, ⑶ 마치 인터넷 검색을 하듯 일회적 답변을 받고 종료된, ⑷ 지식⋅정보의 제시를 요구하는 질문이라는 점에서 ‘의존적⋅일반적⋅일회적⋅정보 질문’이 된다. 한편, “A제도의 시행 필요성을 주장하는 신문칼럼을 작성하려고 해. 독자는 A제도 시행에 대체로 반대하는 성향을 가진 A신문의 구독자이고, 이들을 내 주장에 동조하도록 설득하는 목적으로 5문단 분량의 칼럼을 쓰려는데 다음은 내가 작성한 개요야. 전문적인 글쓰기 교수자의 시각에서 개요의 논리성을 평가하고, 개선이 필요한 사항을 어구식으로 3가지 제시해줘. (이후 필자가 작성한 개요 제시(생략), 챗GPT의 답변 후 추가 질문)”는 ⑴ 필자가 질문 이전에 작성한 글을 중심으로 하고, ⑵ 글쓰기의 수사적 상황 맥락 및 답변 형식에 대한 구체적 요구를 포함하며, ⑶ 답변에 대해 추가 질문(들)을 함으로써 챗GPT와 연속적 대화 또는 토론을 수행하는, ⑷ 평가를 요구하는 질문이라는 점에서 ‘주도적⋅구체적⋅연속적⋅평가 질문’이 된다.
학생들에게는 글쓰기 과정에서 챗GPT를 다양한 역할의 협조자(collaborator)로 활용하기 위해서는 필자의 목적에 부합하는 질문을 사용할 수 있어야 한다는 것, 대체로 의존적 질문보다 주도적 질문이, 일반적 질문보다 구체적 질문이, 일회적 질문보다 연속적 질문이 양질의 답변을 이끌어낼 가능성이 높다는 것을 교수자의 챗GPT 사용 시연(試演)과 함께 설명했다. 학생들은 각 질문 유형을 학습하고, 챗GPT와 자신의 관심사에 대해 문답하며 이를 숙지하는 실습을 수행했다.
셋째로, 챗GPT 사용 윤리교육을 실시하고, 윤리서약서를 작성했다. 윤리교육은 챗GPT에게 할 수 있는 질문의 범위에 대한 협의 및 챗GPT로부터 받은 답변을 글에 포함할 때의 출처 제시 방법에 대한 설명으로 이루어졌다.
먼저, 학생들과 글의 부분 또는 전체를 챗GPT가 직접 작성할 것을 요구하는 ‘창안’ 질문은 사용하지 않을 것을 협의했다. ‘창안’ 질문을 사용하는 것은 능숙한 필자에게는 글쓰기 자체의 효율성을 높이는 효과적 방안이 될 수도 있겠으나, 아직 글에 대한 감식안과 기초 쓰기 능력을 충분히 습득하지 않은 학습자에게는 스스로의 쓰기 경험과 발전의 기회를 앗아가는 독(毒)으로 작용할 수 있다는 문제의식(이윤빈, 2023: 50)에 상호 동의해서다.
또한 원고에 챗GPT 답변을 반영했을 경우의 출처 제시 방법을 MLA 방식을 기준으로 설명했다. 직접 및 간접 인용을 한 경우, 인용 부호(“ ”) 및 ‘챗GPT에 따르면’과 같은 표현을 본문에 삽입하고 인용이 끝나는 지점에 각주를 달아 [“질문 내용 삽입” 질문, 챗GPT, 답변 생성 연월일, URL]의 형식으로 표기하게 했다. 또한 인용을 한 것은 아니지만 챗GPT의 답변이 어떠한 방식으로든 글에 반영되었다면, 해당 부문 및 반영의 방식을 설명주로 작성하게 했다. 학생들은 예를 들어, [이 문단에서 제시한 주장은 챗GPT에게 “내 주장의 허점을 지적해줘(일지 24. 4. 1. 3번 질문).”을 한 이후 토론(일지 24. 4. 1. 4~7번 문답)한 내용을 반영하여 최종 확정한 것이다.]와 같이 설명주를 작성할 것을 숙지했다. 이후, 학생들은 이상의 윤리교육 내용을 이해했으며 한 학기 동안의 글쓰기 수행 시 준수하겠다는 내용의 윤리서약서에 서명했다.
다음으로, 3~7주차에 글쓰기 과정에 대한 교수⋅학습을 진행(3주차: 계획하기, 4주차: 내용 생성하기 및 자료 탐색하기, 5주차: 내용 조직하기 및 논증 구조 익히기, 6주차: 작성하기, 7주차: 고쳐쓰기 및 바른 표현) 하고, 강의실 밖 실습 과제로서 학생들에게 챗GPT를 활용하여 논증적 글쓰기를 준비 및 작성하게 했다. 논증적 글쓰기 과제는 ‘찬반양론이 명확히 대립되는 시사적 이슈(
의과대학 정원은 증원되어야 하는가, 비혼출산은 법제화되어야 하는가 등)를 하나 선정하여, 그에 대한 필자의 주장을 체계적으로 논증(두 가지 이상의 이유, 이유를 뒷받침하는 근거, 예상반론 및 재반론을 포함할 것)하는 1800자 내외의 글을 작성하라’는 것이었다.
또한 학생들은 과제 수행 과정에서 의무적으로 챗GPT와 3회 이상 문답을 나누고 이를 <챗GPT 활용 일지>에 기록하는 과제를 함께 부과받았다. 예를 들어, 3주차에 ‘계획하기’에 대해 학습한 후 학생들은 해당 주차의 과제로서 자신이 작성할 글의 주제, 목적, 독자 설정에 대해 챗GPT와 문답을 진행하고, 해당 내용을 <챗GPT 활용 일지>에 기록했다.
<챗GPT 활용 일지>의 양식은 <표 2>와 같았다. 학생들은 학기 초 학습한 챗GPT 사용법 및 윤리교육 내용을 바탕으로 챗GPT와 문답한 모든 결과를 일지에 기록했다. 각 문답 이후에는 챗GPT가 제공한 답변에 대한 만족도(5점 척도 평가) 및 그 이유를 작성하고, 답변 내용을 글에 반영한다면 어떠한 방식으로 반영할 것인지에 대한 계획을 기술했다. 마지막으로, 모든 문답에 대한 일지 기록을 마친 후에는 챗GPT를 활용하여 글을 쓴 소감에 대해 작성했다.
<챗GPT 활용 일지> 양식
이상의 과정을 통해 학생들이 작성한 논증적 글과 <챗GPT 활용 일지>는 7주차 종료 시 제출되었다.
2.3. 자료 분석 절차 및 방법
연구에 참여한 대학생 필자 40명으로부터 논증적 글 40편, <챗GPT 활용 일지> 40편이 수집되었다. 수집한 자료는 다음 절차 및 방법에 따라 분석했다.
첫째로, 논증적 글 40편의 질을 평가했다. 또한 이를 기준으로 쓰기 수준이 상위인 필자 집단(총체적 질 점수 기준 상위 25%: 10명)과 하위인 필자 집단(하위 25%: 10명)을 분류했다. 논증적 글 평가는 대학에서 글쓰기 교육을 담당하는 3인의 교수자3)가 담당했고, 9점 척도(1~9)를 사용한 총체적 평가 방식으로 실시되었다.
둘째로, <챗GPT 활용 일지> 40편에 나타난 대학생 필자와 챗GPT 문답의 전반적인 양상을 분석했다. 이를 위해, 필자가 챗GPT와 나눈 총 문답 수 및 답변 유형별 문답 수, 챗GPT가 제공한 답변에 대한 필자의 만족도, 답변의 원고 반영률을 산정했다.
먼저, 필자와 챗GPT가 나눈 총 문답 수를 확인했다. 이는 일지에 학생들이 번호를 붙여 보고한 문답 항목을 기본으로 하되, 챗GPT에게 2개 이상의 기능을 요구한 복합적인 질문을 사용하여 문답했을 경우, 연구자가 이를 별개의 문답으로 나누어서 산정했다. 예를 들어 “내가 쓴 문장 A가 문법적으로 올바른지 평가하고 좀더 나은 문장으로 고쳐줘.”라는 질문 및 그에 대한 답변의 경우, “내가 쓴 문장 A가 문법적으로 올바른지 평가해줘.”와 “내가 쓴 문장 A를 좀더 나은 문장으로 고쳐줘.”라는 2개 질문에 대한 문답이 이루어진 것으로 처리했다.
한편, 챗GPT가 제공한 답변 유형별 문답 수는 <표 1>의 질문 유형 분류 중 ‘4. AI에 대한 요구 기능’ 부문의 6가지 유형에 대응하도록 ⑴ 정보 답변, ⑵ 적용 답변, ⑶ 분석 답변, ⑷ 평가 답변, ⑸ 제안 답변, ⑹ 창안 답변으로 최초 분류했으나, 자료 분석 과정에서 6가지 유형에 포함되지 않는 답변을 발견하여, 이를 포함하는 ⑺ 기타 답변 유형을 추가하여 그 수를 산정했다. ‘기타 답변’이란 챗GPT가 필자의 질문에 부합하지 않는 답변을 제공한 경우를 말한다. 필자가 질문 기술을 잘못했거나4) 챗GPT의 오류가 발생하여, 엉뚱한 답변이나 미완성 답변을 받은 경우가 이에 포함된다.
이후에는 챗GPT 답변에 대한 필자의 만족도를 산정했다. 만족도는 필자가 각 답변에 대해 5점 척도(1~5)로 평가한 결과를 바탕으로 했다. 챗GPT가 2개 이상의 기능을 수행한 복합적인 답변을 분할한 경우에는 필자의 만족도 점수를 각 답변에 동일하게 적용하여 산정했다. 또한 학생들이 작성한 만족도 평가의 이유도 함께 검토했다.
마지막으로, 챗GPT 답변의 원고 반영률을 확인했다. 이를 위해, 논증적 글에 반영된 챗GPT의 답변 수를 본문의 인용 표현 및 각주를 기준으로 확인했다. 이 과정에서, 일지에는 누락되어 있으나 필자가 논증적 글에 챗GPT와의 문답 내용을 반영했음을 각주에 밝힌 답변 5개를 발견하여 분석 대상에 추가했다. 반영률은 필자가 챗GPT와 나눈 전체 문답 수 대비 원고에 반영된 답변의 수로 산정했다.
셋째로, 논증적 글 40편과 <챗GPT 활용 일지> 40편에 나타난 필자의 챗GPT 답변 반영 양상을 분석하여 유형화하고, 그 특성을 고찰했다. 답변 반영 양상의 유형화 작업은 근거이론의 연속적 비교법(constant comparative method) (Strauss & Corbin, 1998)을 사용하여 수행했다. 학생들이 일지 ⑶번 항목으로 작성한 답변 반영 계획과 논증적 글의 출처 제시를 대조하여 반영된 답변을 자료화하고, 자료의 연속적 비교를 통해 초기 코딩에 포함되지 않는 새로운 자료가 나타날 경우 코드의 범주를 수정⋅보완하는 방식으로 유형의 범주를 발전시켰다.
또한 질적 분석의 타당도와 신뢰도 확보를 위한 이론적 삼각검증(triangulation)(Denzin, 1978)의 자료로는 Flower et al.(1990)과 이윤빈⋅정희모(2010)에서 제안한 담화 통합 텍스트 구성 유형의 범주5),를 사용했고, 연구자 삼각검증의 일환으로 2인의 연구자6)가 전체 자료의 25%(10편 분량)에 대해 독립적인 코딩 및 범주화를 수행했다. 이러한 절차를 통해 연구자는 답변 반영 양상의 유형 범주를 최종 확정하고, 그 특성을 도출했다.
3. 연구 결과
3.1. 대학생 필자의 글쓰기에서 챗GPT와의 문답 양상
대학생 필자 40명의 논증적 글쓰기에서 챗GPT와의 전반적인 문답 양상을 살피기 위해, 필자와 챗GPT의 총 문답 수 및 답변 유형별 문답 수를 점검했다. 또한 논증적 글에 반영된 챗GPT 답변의 활용 양상을 살피기에 앞서, 챗GPT 답변에 대한 필자의 만족도 및 답변의 원고 반영률을 확인했다.
3.1.1. 필자와 챗GPT의 총 문답 수 및 답변 유형별 문답 수
<표 3>은 필자가 논증적 글쓰기를 위해 챗GPT와 나눈 총 문답 수 및 챗GPT가 제시한 답변의 유형별 문답 수를 나타낸 것이다. 필자들의 논증적 글과 <챗GPT 활용 일지>를 교차 검토하여 산정한 문답의 수는 총 285개로, 1800자 분량의 글을 쓰기 위해 필자 1인당 평균 7.1개의 문답을 나눈 것으로 나타났다. 보고된 최대 문답 수는 21개, 최소 문답 수는 3개였다. <표 3>을 통해 확인할 수 있는 특징적 양상은 다음과 같다.
필자-챗GPT의 총 문답 수 및 답변 유형별 문답 수
첫째, 필자의 쓰기 수준에 따른 문답 수의 차이가 주목되었다. 쓰기 수준 상위 집단(25%: 10명)이 평균 9.4개의 문답을 나누어, 하위 집단(25%: 10명)의 평균 5.6개에 비해 1.7배 많은 문답을 수행한 것이다.
상위 집단의 문답 수가 하위 집단의 문답 수에 비해 월등히 높게 나타난 것은 양 집단이 수행한 문답의 경향성 때문으로 분석된다. 하위 필자들은 질문에 대한 답변을 받은 후 추가적인 질문을 하지 않는 일회적인 문답의 양상을 자주 보인 반면, 상위 필자들은 답변에 대해 좀더 깊이 있는 설명을 요구하거나 의문을 제기하는 등 문답을 연속하는 양상을 보였다. 이러한 양상은 필자가 챗GPT와의 문답을 어떻게 인지하는가에 따라 질문의 빈도가 다르게 나타난 바 있는 선행연구(이윤빈, 2023: 55~57)의 결과와도 일치한다. 즉, 하위 필자들이 챗GPT를 ‘진화된 정보 검색의 도구’로 간주하고 문답을 ‘정보 검색 및 결과 확인’의 일회적 행위로 인지하여 상대적으로 적은 수의 문답을 수행했다면, 상위 필자들은 챗GPT를 쓰기 과정에서의 ‘협조자(collaborator)’로 간주하고 문답을 ‘대화’나 ‘토론’과 같은 상호작용 행위로 인지하여 보다 많은 수의 문답을 주고받은 경향을 보인 것으로 해석할 수 있다.
둘째, 답변의 유형 면에서는 필자들이 챗GPT로부터 받은 답변은 각종 지식⋅정보의 제공인 경우가 가장 많았고, 이후 필자의 생각이나 글(/자료)에 대한 평가 및 이를 개선할 수 있는 방안에 대한 제안이 다수였던 것으로 나타났다. 구체적으로, 전체 필자가 챗GPT로부터 받은 답변의 유형은 [정보(40.0%) > 평가(24.9%) > 제안(21.8%) > 적용(6.3%) > 분석(4.2%) > 창안(1.4%) = 기타(1.4%)] 순서로 많이 나타났다. 학기 초 필자들과 협의하여 챗GPT가 글의 일부나 전부를 작성하는 ‘창안’ 답변은 받지 않기로 한 상황에서, 필자들은 글에 포함될 내용을 생성하기 위한 목적으로 챗GPT를 가장 활발히 이용했고, 다음으로 생성한 내용을 점검받고 개선안을 모색하기 위한 목적에서 이용한 것으로 확인되었다.
셋째, 쓰기 수준별로는 상위 집단은 하위 집단에 비해 챗GPT에게 다양한 유형의 답변을 받은 반면, 하위 집단이 받은 답변은 ‘정보’ 유형에 집중되었고 ‘창안’과 ‘기타’ 유형 답변 비율도 상대적으로 높게 나타나 필자의 쓰기 수준과 챗GPT 활용 능력에 일정한 상관성이 있는 것으로 해석되었다. 상위 필자가 받은 답변의 유형은 [정보(31.9%) > 제안(25.5%) > 평가(24.5%) > 분석(10.6%) > 적용(7.4%) > 창안(0.0%) = 기타(0.0%)] 순서로, 발생하지 않는 것이 바람직한 ‘창안’과 ‘기타’ 유형의 답변을 제외한 각 유형의 답변이 비교적 다양하게 나타났다. 반면, 하위 필자가 받은 답변 유형은 [정보(57.1%) > 평가(14.3%) > 제안(12.5%) > 적용(7.1%) > 창안(5.4%) > 기타(3.6%) > 분석(0.0%)] 순서로 ‘정보’ 유형에 집중된 양상을 보였고, 쓰기 윤리에 위배되는 것으로 협의한 ‘창안’ 답변, 오류가 발생한 ‘기타’ 답변의 비율도 높게 나타났다.
또한 상위 집단에서는 10.6% 발생한 ‘분석’ 답변의 경우, 하위 집단에서는 한 건도 발생하지 않은 현상도 주목되었다. ‘분석’ 답변은 챗GPT가 주어진 글의 내용적⋅형식적 요소를 나누고 해당 요소 또는 요소 간 관계를 밝힌 결과를 제시하는 것으로, 필자가 자신이 작성 중이거나 작성한 글을 분석적으로 점검하기 위한 목적으로 사용된다. ‘평가’ 답변이 챗GPT가 주어진 글의 내용⋅형식⋅표현 등을 직접적으로 평가한 내용을 제시하는 것이라면( “이 글의 구성이 체계적인지 평가해줘.”에 대한 답변), ‘분석’ 답변은 챗GPT의 시각에서 필자가 요구한 부문이 어떻게 추출될 수 있는지만을 제시하는 것( “이 글의 중심문장을 문단별로 추출해서 개요를 만들어줘.”에 대한 답변)이라는 차이가 있다. ‘분석’ 답변은 대체로 필자가 이미 자신의 글에 대한 명확한 표상을 가지고 있고, 이를 챗GPT의 분석 결과와 대조함으로써 표상의 구현 여부를 주체적으로 평가하고자 할 때 활용된다. 이러한 ‘분석’ 답변의 발생률이 상위 집단과 하위 집단 간 명확한 차이를 보였다는 사실은, 필자의 쓰기 수준이 챗GPT의 효과적인 활용 능력과 불가분의 관계에 있음을 방증(傍證)하는 것으로 해석할 수 있다.
3.1.2. 챗GPT 답변에 대한 필자의 만족도 및 답변의 원고 반영률
<표 4>는 챗GPT 답변에 대한 필자의 만족도 및 답변의 원고 반영률을 나타낸 것이다. <표 4>의 수치 및 필자가 <챗GPT 활용 일지>에 기술한 만족도 평가의 이유 기술 내용을 통해 확인할 수 있는 주요 사항은 다음과 같다.
챗GPT 답변에 대한 필자의 만족도 및 답변의 원고 반영률
첫째, 챗GPT 답변에 대한 전체 필자의 만족도는 5점을 만점으로 했을 때 평균 4.08로 양호한 수준인 것으로 나타났다. 챗GPT 답변에 높은 만족감을 표현한 필자들은 주로 부담 없이 맞춤형 도움을 받을 수 있는 편리성, 사고의 확장성을 긍정적으로 평가했다. “교수님께는 질문하기 부담스러워 궁금한 것이 있어도 안 할 때가 많은데, 챗GPT에게는 사소한 것도 내가 원하는 때 편하게 질문하고 빠르게 답을 받을 수 있어서 편리했다.”, “내 글을 점검하고 조언해주는 나만의 맞춤형 튜터가 생긴 것 같아 좋았다”, “혼자 글을 쓸 때는 내 생각의 한계가 있어서 자료를 찾더라도 그 한계 안에서만 찾게 되었는데, 챗GPT는 내가 미처 생각하지 못한 것들을 알려주어서 훨씬 더 풍부한 글을 쓸 수 있었다.”와 같은 진술이 자주 확인되었다.
한편, 챗GPT 답변에 불만족한 필자의 경우, 그 이유로 챗GPT가 제시한 정보가 부정확할 가능성, 추상적 또는 너무 일반론적이거나 초점이 빗나간 답변 제공에 대한 사항을 빈번히 언급했다. “백과사전에서 직접 답을 찾으면 100% 정답이지만 챗GPT의 답변은 오답일 확률도 높고 같은 질문에도 다른 답변을 하기도 해서 신뢰하기 어렵다. 그래서 사실 확인의 과정을 거쳐야 하는 것이 오히려 비효율적이었다.”, “그럴 듯해 보이지만 막상 읽어보면 뻔하고 진부한 답변을 하는 경우가 많았고, 가끔은 질문과 맞지 않는 내용을 천연덕스럽게 제시하기도 했다.”는 진술이 대표적이다.
둘째, 쓰기 수준별로는 상위 집단은 3.74, 하위 집단은 4.23의 만족도를 보여, 하위 집단에 비해 상위 집단의 만족도가 주목할 만하게 낮은 것으로 나타났다. 양 집단의 필자들이 기술한 만족도 평가의 이유를 점검했을 때 이는 하위 집단이 상위 집단에 비해 챗GPT로부터 양질의 답변을 받아서라기보다는, 챗GPT가 추상적이거나 초점이 빗나간 답변을 제공할 경우 이를 인지하는 필자의 비판적 사고(critical thinking) 수준에 차이가 있었기 때문으로 판단되었다.
하위 필자P와 상위 필자K1의 대조적 사례는 이러한 차이를 잘 보여준다. 하위 필자P는 ‘비혼결혼을 법제화해야 한다’는 주장을 논증한 초고와 함께 “글쓰기 과제를 제출해야 하는데 교수님의 입장에서 내 글을 평가해줘.”라는 질문을 한 후 챗GPT로부터 ⑴ 주제 이해도는 훌륭해 보이지만, 글이 추상적으로 보이니 전반적으로 비혼결혼이 필요한 이유를 더 많은 사례를 들어서 설명할 것, ⑵ 비혼결혼의 필요성에 대해 잘 설명하고 있지만, 비혼결혼을 법제화하는 구체적인 방안을 더 자세히 쓸 것이라는 답변을 받았다. P는 이 답변에 대한 만족도를 만점인 5점으로 평가하고, 그 이유를 “내 글의 장단점을 잘 평가했고 미처 생각하지 못했던 부분에 대해 조언해줘서 좋았다.”고 밝혔다. 또한 챗GPT의 조언을 받아들여, 비혼결혼이 필요한 이유를 뒷받침하는 사례를 추가하고 결론 문단에서 ‘비혼결혼을 법제화하기 위해 교육 및 캠페인을 진행해야 한다.’는 방안을 서술했다.
그러나 연구자 및 해당 답변에 대한 연구자 삼각검증에 참여한 전문가 2인의 시각에서 판단할 때 P의 사례는 필자의 불충분한 질문 기술(記述), 이에 대한 챗GPT의 추상적이고 초점이 빗나간 답변 제공, 답변에 대한 필자의 비판적 평가 능력 부족으로 인한 잘못된 수용이 연쇄작용을 일으켜 결과적으로 초고의 질을 오히려 저하하고도 필자는 만족한 경우라고 할 수 있다. 먼저, P는 글쓰기의 수사적 상황 맥락(과제 요구사항)을 구체적으로 기술하여 질문하지 않았다. 해당 과제는 ‘주장을 두 가지 이상의 이유 및 근거, 예상반론과 재반론을 사용하여 논증하라.’는 요구사항을 포함하고 있었고, P의 초고에는 한 가지 이유와 근거만이 있어 추가적인 이유와 근거 및 예상반론과 재반론의 보완이 필요했다. 그러나 P의 질문에는 이러한 구체적인 상황 맥락에 대한 설명이 부재했고, 이로 인해 챗GPT로부터 해당 글에서 우선적으로 개선되어야 할 사항에 대한 답변을 이끌어내지 못했다. 또한 P는 챗GPT의 답변이 글의 목적에 부합하지 않거나 불필요한 것(글의 주제를 벗어나는 방안 제시, 이미 사례가 존재하는 사안에 대한 사례 추가)이라는 사실을 비판적으로 평가하지 못하고 무조건적으로 수용함으로써 본론에는 불필요한 내용을, 결론에는 주제를 벗어나는 새로운 주장을 삽입하는 방식으로 초고의 질을 더욱 낮추고도 오히려 챗GPT의 도움을 받아 글의 질을 개선했다는 만족감을 보였다.
반면, 상위 필자K1 역시 챗GPT로부터 초점이 빗나간 답변을 받았다. K1은 ‘실업급여는 유지되어야 한다’는 주장을 논증하는 글의 맥락을 간략히 설명한 뒤 “‘실업급여가 실직 상태의 개인의 소비에 영향을 미친다는 점은 실업급여가 경제 활성화와 유의미한 상관관계가 있음을 시사한다.’는 문장이 문법적으로 올바른지 평가해줘. 올바르지 않다면, ‘개인의 소비’와 ‘경제 활성화’라는 키워드를 강조하여 바르게 수정된 문장을 제안해줘.”라는 질문을 했다. 그리고 답변으로, 해당 문장을 ‘실업급여가 경제 활성화에 유의미한 영향을 미치는 것은 실직 상태의 개인의 소비까지 영향을 미친다는 점을 시사한다.’는 문장으로 수정할 것을 제안받았다.
K1은 이 답변이 필자가 요구한 사항에 부합하지 않는 빗나간 것임을 인지하고 추가 질문을 했다. “네가 제시한 문장은 ‘실업급여가 경제 활성화에 유의미한 영향을 미친다’와 ‘실직 상태의 개인의 소비까지 영향을 미친다’의 인과관계가 거꾸로 되었고, 내 원래의 문장보다 훨씬 어색해. 인과관계를 고려하고 ‘개인의 소비’와 ‘경제 활성화’라는 키워드를 강조해서 한국어 문법이 정확한 문장을 제시해줘.” 그리고 챗GPT로부터 ‘실업급여는 실직 상태의 개인의 소비에도 영향을 미치며, 이는 경제 활성화와 밀접한 관련이 있다.’는 개선된 문장을 제안받았다. K1은 이 문장의 적절성에 대해 다시 한 번 판단하여 ‘실업급여는 실직 상태의 개인의 소비에도 영향을 미치며, 이러한 현상은 실업급여가 경제 활성화와 밀접한 관련이 있음을 시사한다.’는 보다 발전된 문장을 원고에 최종 반영했다.
이러한 K1의 사례는 필자가 챗GPT에게 기대하는 답변의 표상이 명확한 상태에서 챗GPT가 제시한 초점이 빗나간 답변의 문제점에 대해 비판적 평가를 한 경우이다. K1의 비판적 사고력에 의해 챗GPT의 빗나간 초기 답변은 보다 도움이 되는 답변으로 개선되었으나, 답변에 대한 K1의 만족도는 매우 낮았다. K1은 챗GPT가 처음 제시한 잘못된 답변에 대해서는 1점, 수정된 답변에 대해서는 3점의 낮은 점수를 부여했다. “처음에는 문장의 인과관계를 고려하지 않고 내가 전달하고자 하는 의미와 전혀 다른 내용의 문장을 도출했고, 이후에는 내 첫 문장보다는 나았지만 여전히 불분명한 부분이 있는 문장을 제안했다.”는 이유에서였다.
셋째, 챗GPT의 답변을 필자가 원고에 실제로 반영한 비율(답변 반영률)은 전체적으로 48.8%로 절반 이하의 수준인 가운데, 하위 집단의 반영률이 73.2%로 매우 높고 상위 집단의 반영률은 42.6%로 낮게 나타났다.
이러한 현상이 나타난 주된 원인은 크게 두 가지로 분석되었다. 먼저, 앞선 필자P의 사례를 통해서도 확인되는 바, 하위 필자들은 챗GPT 답변에 문제가 있을 경우에도 이를 인지하지 못하고 만족하며 수용하는 반면, 상위 필자들은 불만족스러운 답변을 폐기하는 경우가 상대적으로 높았기 때문이다. 또한 상위 필자와 하위 필자의 문답 방식의 차이도 반영률의 차이를 야기했다. 하위 필자가 하나의 사안에 대한 문답을 일회로 종료하는 경향을 보이는 데 비해, 상위 필자는 답변에 대해 좀더 깊이 있는 설명을 요구하거나 의문을 제기하는 등 문답을 연속한 끝에 최종적으로 받은 답변만을 원고에 반영하는 경향을 보였던 것도 또 다른 원인으로 작용한 것으로 해석되었다.
3.2. 대학생 필자의 글쓰기에서 챗GPT 답변의 활용 유형 및 양상
대학생 필자 40명의 논증적 글쓰기에서 챗GPT와의 전반적인 문답 양상을 점검한 이후에는, 이들이 챗GPT로부터 받은 답변을 자신의 원고에 활용하는 방식을 유형화하고, 유형별 활용 빈도가 필자의 쓰기 수준에 따라 어떻게 다르게 나타나는지 확인했다. 이후, 각 답변 활용 유형별 긍정적⋅부정적 활용 양상을 사례 필자의 경우를 통해 고찰했다.
3.2.1. 챗GPT 답변의 활용 유형 및 유형별 활용 빈도
<표 5>는 필자가 챗GPT의 답변을 글에 활용하는 유형 및 유형별 활용 빈도를 나타낸 것이다. 각 유형의 성격 및 필자 집단별 유형 활용 빈도의 특징적 양상을 기술하면 다음과 같다.
필자의 챗GPT 답변 활용 유형 및 유형 활용 빈도
먼저, 필자가 챗GPT의 답변을 글에 활용하는 유형은 다음 다섯 가지로 분류되었다.
첫 번째는 ‘그대로 사용하기(Direct Use)’로, 챗GPT가 제공한 답변의 일부 또는 전부를 의미적⋅구성적⋅표현적 변형 없이 필자의 글에 그대로 포함하는 유형이다. 챗GPT의 답변은 필자의 생각이나 글을 전제하지 않은 의존적 질문( “동물원의 주요 역할을 한 문장으로 진술해줘.”)에 대한 것이 될 수도 있고, 필자의 생각이나 글을 중심으로 한 주도적 질문( “내가 동물원의 역할에 대해 쓴 다음 문장을 문법에 맞게 고쳐줘.”)에 대한 것이 될 수도 있다. 어떤 경우이든, 챗GPT가 제공한 답변을 변형 없이 그대로 글에 사용한다. 예를 들어, “동물원은 멸종 위기 동물의 보존과 연구에 중요한 역할을 한다.”는 챗GPT의 답변을 그대로 글에 반영하는 것이다.
두 번째는 ‘요약 및 재진술하기(Summarizing and Paraphrasing)’로, 챗GPT가 제공한 답변의 일부 또는 전부를 요약하거나 필자의 표현으로 바꾸어 글에 포함하는 유형이다. 답변의 의미적⋅구성적 변형은 없으나, 표현적 변형이 발생한다. 예를 들어, 챗GPT가 동물원의 문제점을 3개 문장으로 기술한 사항을 필자가 요약하여 “동물원은 동물들의 복지와 건강을 해치고, 자연스러운 행동을 방해하며, 인간에게 잘못된 생태계 이해를 하게 할 수 있다.”는 1개 문장으로 글에 포함하는 것이다. 필자의 의존적 질문 및 주도적 질문 모두에 대한 답을 요약 및 재진술할 수 있다.
세 번째는 ‘틀 세우기(Framing)’로, 챗GPT가 제공한 답변(들)의 일부 또는 전부를 조합하여 논리적 구조를 구성하는 유형이다. 챗GPT가 제공한 답변 내용 자체의 의미적 변형은 없으나, 이를 일정한 구조( 인과 구조, 수집 구조 등)로 배치하는 과정에서 필자의 생각이 적용된다. 답변(들)의 내용이 필자가 생성한 구조에 배치되면서 구성적 변형이 일어나고, 대부분의 경우 표현적 변형이 수반된다. 예를 들어, 챗GPT로부터 동물원의 부정적 측면, 긍정적 측면, 부정적 측면을 해결할 수 있는 방안 등에 대해 개별적인 질문을 통해 답변을 받은 후 이를 비교⋅대조 구조 및 문제해결 구조를 사용하여 ‘동물원의 긍정적 측면에는 A, B가 있는 반면, 부정적 측면에는 C, D가 있는데, C와 D의 문제는 E, F의 방식으로 해결할 수 있다.’는 진술로 구성해 글에 포함하는 것이다. 필자가 먼저 특정한 구조를 염두에 두고 구조 안에 배치될 사항에 대해 질문할 수도 있고, 자유롭게 질문하여 받은 답변들을 보며 구조를 떠올릴 수도 있다.
네 번째는 ‘종합하기(Synthesizing)’로, 챗GPT가 제공한 답변(들)의 일부 또는 전부를 필자의 생각과 결합하여 새로운 내용을 구성하여 글에 반영하는 유형이다. 서로 다른 생각들이 결합하여 새로운 내용을 구성하는 과정에서 의미적⋅구성적⋅표현적 변형이 모두 발생한다. 예를 들어, 챗GPT가 제시한 답변인 “동물원은 방문객들에게 자연과 동물의 생태를 이해하게 하는 교육적 역할을 수행한다.”와 필자의 생각인 “동물원의 폐쇄적 공간 구조는 동물 복지를 침해하여 자연과 동물의 생태를 있는 그대로 이해할 수 없게 한다.”를 결합하여, “동물원은 동물의 본래적 행동과 습성을 보존할 수 있도록 자연 서식지와 유사한 공간을 만들어 방문객들이 자연과 동물의 생태에 대해 있는 그대로 이해할 수 있는 교육적 역할을 수행해야 한다.”는 새로운 내용을 구성하는 것이다. 종합된 결과물에는 챗GPT의 답변(동물원이 수행하는 교육적 역할)이 갖는 한계(공간 구조 문제로 인해 온전한 교육적 역할 수행 못함)에 대한 필자의 생각이 결합하여 변증적 발전(기존의 한계를 보완하는 동물원의 교육적 역할이 필요함)을 이루었음이 명확히 드러난다.
다섯 번째는 ‘도약하기(Leaping)’로, 챗GPT가 제공한 답변(들)의 일부 또는 전부로부터 영감을 얻어 전혀 새로운 내용을 창안하여 글에 반영하는 유형이다. 답변(들)로부터 연상되거나 또는 이를 비판적으로 평가하는 과정에서 촉발된 필자의 새로운 생각이 글에 포함되므로, 글에는 챗GPT가 제공한 답변(들)의 흔적이 명확히 드러나지 않는다. 예를 들어, 챗GPT가 제시한 답변 중 “동물원은 방문객들에게 자연과 동물의 생태를 이해하게 하는 교육적 역할을 수행한다.”를 보고 영감을 얻어 “도시 내에 생태환경교육센터를 건립하여 VR과 AR을 통해 방문객들이 자연 서식지에서 동물 행동과 생태계를 체험할 수 있게 해야 한다.”는 전혀 새로운 내용의 생성으로 나아가는 것이다. ‘종합하기’의 결과물과 달리, ‘도약하기’를 통해 생성된 새로운 문장에는 챗GPT의 답변인 ‘동물원이 수행하는 교육적 역할’과 관련된 내용은 분명하게 남아 있지 않다.
이상의 다섯 가지 답변 활용 유형은 필자 집단에 따라 각기 다른 빈도로 나타났다. 주목할 만한 사항은 다음과 같았다.
첫째, 전체적으로 필자들은 글쓰기 과정에서 챗GPT 답변에 대한 의미적 변형보다는 표현적 변형만을 시도하거나, 표현적⋅구성적 변형을 시도하는 데 그치는 경향을 보였다. 전체 필자의 답변 활용 양상은 [요약 및 재진술하기(34.5%) > 틀 세우기(25.2%) > 종합하기(21.6%) > 그대로 사용하기(14.4%) > 도약하기(4.3%)]의 순서로 나타나, 의미적⋅구성적 변형 없이 답변 내용을 글에 반영하는 지식 나열(knowledge-telling)7) 유형(그대로 사용하기, 요약 및 재진술하기)의 활용이 1/2 수준(48.9%)에 이르렀다. 특히 ‘요약 및 재진술하기’는 쓰기 수준과 무관하게 모든 필자 집단에서 30% 이상의 비율로 활용되어, 챗GPT의 답변을 필자의 목적에 맞게 요약 또는 재진술하여 글에 반영하는 것이 가장 선호되는 유형임이 확인되었다. 또한 구성적⋅표현적 변형은 있지만 여전히 의미적 변형은 발생하지 않는 지식 배치(knowledge-arrangement) 유형(틀 세우기)을 포함하면, 필자들이 활용한 답변의 3/4 수준(74.1%)에서 의미적 변형이 나타나지 않았다.
둘째, 필자의 쓰기 수준에 따라, 챗GPT 답변에 대한 의미적 변형이 발생하는 지식 변형(knowledge-transforming) 유형(종합하기, 도약하기)의 활용, 특히 ‘종합하기’ 유형의 활용 양상이 매우 뚜렷한 차이를 나타냈다. 상위 집단은 [종합하기(35.0%) > 요약 및 재진술하기(30.0%) > 틀 세우기(20.0%) > 그대로 사용하기(10.0%) > 도약하기(5.0%)]의 순서로, ‘종합하기’ 유형의 답변 활용을 가장 많이 하는 것으로 확인되었다. 반면, 하위 집단은 [요약 및 재진술하기(36.6%) > 그대로 사용하기(22.0%) > 틀 세우기(19.5%) = 종합하기(19.5%) > 도약하기(2.4%)]의 순서로, ‘종합하기’ 유형의 답변 활용률은 19.5%에 그쳤다.
‘종합하기’ 유형의 활용에 상위⋅하위 집단 간 명확한 차이가 발생한 원인은 두 집단의 문답 양상의 차이에 있는 것으로 보인다. 앞 절에서 살펴본 바, 상위 집단은 하위 집단에 비해 챗GPT와 ‘대화’ 또는 ‘토론’ 형식의 연속된 문답을 많이 수행하고 ‘정보’ 외에도 ‘제안’이나 ‘평가’ 등 다양한 유형의 답변을 받은 반면, 하위 집단은 일회적 문답을 주로 수행하고 ‘정보’ 유형에 집중된 답변을 받는 경향을 보였다. 챗GPT의 답변과 필자의 생각이 논리적으로 결합되어 새로운 내용을 구성하는 ‘종합하기’는 일회적 문답의 결과로 발생할 수도 있지만, 챗GPT와의 연속 문답을 통해 발생하는 경우가 많다. 즉, 필자의 생각을 중심으로 한 주도적 질문으로 시작하여 챗GPT의 답변 내용을 통해 점차 생각을 발전시키거나, 의존적 질문으로 시작하여 챗GPT의 답변을 받은 뒤 그에 대한 의문이나 반론을 제시하며 토론하는 연속 문답의 결과로 양자의 종합이 이루어지곤 한다. 이러한 문답 양상으로 인해 상위 집단에서는 ‘종합하기’ 유형의 답변 활용률이 전체 유형 중 가장 높게(35%) 나타난 것으로 해석된다.
3.2.2. 챗GPT 답변 유형별 긍정적⋅부정적 활용 양상
이상에서 살펴본 바와 같이, 필자의 쓰기 수준이 높을수록 챗GPT 답변에 대한 지식 변형 유형의 활용을, 쓰기 수준이 낮을수록 지식 나열 유형의 활용을 더 많이 하는 경향이 나타난다. 그러나 이러한 경향성이 곧 지식 나열 유형이 지식 변형 유형보다 언제나 더 ‘좋은’ 활용 유형임을 시사하는 것은 아니다.
지식 나열 및 지식 변형 쓰기 과정 모형을 제안한 Bereiter와 Scardamaila(1987)도 강조했듯이, 쓰기 목적에 따라 그에 적합한 유형이 달라지므로 중요한 것은 쓰기 목적에 부합하는 유형을 선택하여 적절히 사용할 수 있는 능력8)이다. 또한 필자가 이미 존재해온 자료들의 내용을 통합하여 글을 쓰는 전통적인 담화 통합 글쓰기 상황과 달리, 챗GPT의 답변은 필자의 질문에 대하여 생성된 담화이다. 그래서 필자가 이미 고도의 의미 변형 작업을 하여 작성한 글에 대해 주도적 질문을 한 경우( “내가 작성한 다음 문단을 문장 사이의 자연스러운 연결을 중심으로 다듬어줘.”), 그에 대한 답변을 지식 나열 유형으로 글에 통합했다고 해서 해당 글쓰기가 단순하거나 낮은 수준의 것이라고 할 수는 없다.
그러므로 중요한 것은 필자가 어떠한 질문을 통해 챗GPT의 답변을 받았고, 해당 답변을 글쓰기의 목적 및 글의 맥락에 부합하게 통합했는가의 여부이다. <표 6, 7, 8>은 상위 집단과 하위 집단의 사례 필자를 통해 고찰한 지식 나열⋅지식 배치⋅지식 변형 유형의 긍정적⋅부정적 답변 활용 양상의 특성을 정리한 것이다.
지식 나열 유형의 긍정적⋅부정적 답변 활용 양상
지식 배치 유형의 긍정적⋅부정적 답변 활용 양상
지식 변형 유형의 긍정적⋅부정적 답변 활용 양상
먼저, 챗GPT의 답변을 ‘⑴ 그대로 사용하기’ 유형으로 긍정적으로 활용하는 필자의 경우, 명확한 목적을 가진 주도적 질문, 적절한 답변 선택과 글의 맥락에 부합하는 통합, 출처의 윤리적 제시가 특징적이었다. 상위 필자K2는 “다음은 내가 작성 중인 본론 문단이야. 이 문단에서 사용된 사례가 중심문장을 잘 뒷받침하는지 점검하고, 더 나은 사례가 있다면 3개만 추천해줘.”라는 질문을 한 뒤 챗GPT의 점검 내용 및 제안 사례 3가지의 적절성을 비판적으로 평가하고, 필자의 중심문장을 가장 효과적으로 뒷받침하는 1가지 사례를 선택하여 글의 맥락에 맞게 통합했다. 또한 ‘챗GPT 사용 윤리교육’을 통해 학습한 직접 인용의 방식으로 출처를 제시했다.
반면, 부정적 활용을 보이는 필자는 과도한 의존, 부적절한 답변 선택, 글의 맥락에 부합하지 않는 통합, 출처 미(未)제시의 특징을 나타냈다. 하위 필자H는 “기여입학제도는 시행되면 안 된다.”는 주장을 정하고 그 이유에 대한 주체적 사고 없이 챗GPT에게 “기여입학제도가 시행되면 안 되는 이유가 뭐야?”라고 질문했다. 그리고 답변으로 제시된 이유 5가지 중 2가지(교육 형평성 저해, 기회 불평등 심화)를 선택하여 출처 제시 없이 글의 본론으로 그대로 통합했다. H가 선택한 2가지 답변은 의미가 중복되었으나 H는 이를 인지하지 못하고 그대로 기술했고, ‘이유에 대해 반드시 근거를 제시해야 한다’는 과제의 요구사항도 충족시키지 않았다. 또한 해당 내용은 서론(기여입학제도를 대학 재정의 문제를 중심으로 다룰 것처럼 서술됨)과도 연결되지 않아, H의 글에는 일관된 맥락이 결여되었다.
한편, 챗GPT의 답변을 ‘⑵ 요약 및 재진술하기’ 유형으로 긍정적으로 활용하는 필자는 ‘그대로 사용하기’ 유형의 경우와 마찬가지로 명확한 목적을 가진 주도적 질문, 적절한 답변 선택과 맥락에 부합하는 통합, 출처의 윤리적 제시의 특징을 갖는 데 더하여, 핵심 내용의 올바른 요약 및 원래의 의미를 왜곡하지 않는 재진술을 하는 양상을 보였다. 상위 필자L1은 “설탕세 도입이 불필요한 이유로 소비자 부담과 관련 산업 침체 말고 더 언급할 사항이 없을까?”라고 질문하여, 3가지 이유를 더 제안받았다. L1은 이중 ‘세금 효과의 불확실성’과 관련된 항목을 ‘내가 생각한 이유는 설탕세가 소비자나 관련 산업에 미치는 영향과 관련된 것인데, 세금 자체의 문제점을 다루면 균형이 맞을 것 같다.’는 이유로 선택하여, 원래의 의미를 훼손하지 않고 요약했다. 또한 본문에 “챗GPT에 따르면”이라는 표현을 사용하여 요약한 내용을 간접 인용하고 출처를 제시했다.
반면, 부정적 활용을 보이는 필자 역시 과도한 의존, 부적절한 답변 선택, 글의 맥락에 부합하지 않는 통합, 출처 미제시의 특징에 더하여, 부정확한 요약 및 원래의 의미를 왜곡한 재진술의 양상을 나타냈다. 하위 필자K3 역시 설탕세 도입에 반대하는 글을 쓰는 과정에서 “설탕세를 도입해서 실패한 나라 사례를 알려줘.”라는 질문을 한 뒤 받은 답변을 요약하여 글에 통합했다. 챗GPT의 답변에는 덴마크의 설탕세 폐지 시기가 부정확하게 나타나 있는 등 사실 정보의 오류가 있었으나 K3은 이를 다른 자료를 통해 확인하지 않고 사용했다. 또한 답변 중 ‘덴마크 국민들이 세금이 더 저렴한 독일이나 스웨덴에서 설탕이 든 제품을 구입하여 세금 도입의 효과가 감소됐다.’는 내용을 잘못 요약하여, ‘덴마크의 설탕 도입은 독일이나 스웨덴의 설탕과 관광 산업을 발전시켰다.’는 사실에 부합하지 않는 진술을 글에 포함하고, 출처는 제시하지 않았다. K3이 잘못 요약한 진술은 그 자체로 잘못된 정보일 뿐 아니라, 설탕세 도입에 반대하는 글의 맥락에도 부합하지 않았다.
다음으로, 챗GPT의 답변을 ‘⑶ 틀 세우기’ 유형으로 긍정적으로 활용하는 필자는 대체로 명확한 구조를 전제한 상태에서 챗GPT의 답변들 중 자신에게 필요한 내용을 선택했다. 또한 선택한 답변 내용을 타당한 논리를 사용하여 구조화하고, 내용을 유기적으로 연결하며, 해당 구조 안에서 다루어야 할 항목들을 충분하게 다룬다는 의미에서 ‘논리적 구조화’의 양상을 보였고, 출처 또한 윤리적으로 제시했다.
상위 필자L2는 논증적 글의 구조를 계획하며, 반려동물 보유세 도입에 반대하는 입장에서 챗GPT와 토론을 진행했다. “나는 반려동물 보유세가 오히려 동물 유기를 만들어낸다고 생각하는데, 내 의견에 반대하는 입장에서 반박해봐.”라는 질문으로 시작하여, 챗GPT의 답변에 반박하거나 추가 질문하는 방식으로 반려동물 도입세 찬성을 뒷받침하는 이유들을 다수 이끌어냈다. 그리고 챗GPT의 입장(반려동물 보유세 찬성)을 자신의 주장으로 삼아, 본론의 구조를 구성했다. 이때 L2는 챗GPT의 답변들에서 찬성 이유 세 가지(보유자의 책임감 증진, 동물 복지 향상, 공공자원의 효율적 사용)를 선택하여 이를 수집 구조로 구성했다. 이때 L2는 세 가지 이유를 ‘반려동물의 측면, 반려동물 보유자의 측면, 사회 전체의 측면’에서의 도입 필요성을 보여주는 이유로 제시함과 동시에, 이들이 서로 인과적인 관계(반려동물 보유자의 책임감 증진으로 인해 동물 복지가 향상되고, 유기동물 감소 등 동물 복지 향상으로 인해 지방자치단체나 정부가 유기동물문제에 쏟아야하는 비용 및 자원을 다른 공공 서비스에 재투자할 수 있음)를 가지고 있음을 부각하여 챗GPT의 답변 내용을 연결했다. 또한 설명주를 통해 글에 포함된 세 가지 이유 진술이 챗GPT의 답변 내용을 필자가 구조화하여 제시한 것임을 밝혔다.
이와 달리, 부정적 활용을 보이는 필자는 대체로 광범위한 구조를 전제하고 챗GPT의 답변 내용을 선택했다. 그리고 답변 내용의 연결에 논리적 비약이 있거나 일관성이 결여되어 있고, 해당 구조가 논점과 관련한 다양한 측면을 충분히 고려하지 않는 편협한 것이라는 의미에서 ‘구조화 미흡’의 특성을 나타냈고, 출처 제시를 하지 않는 경우도 많았다.
하위 필자S는 블라인드 채용을 반대하는 입장의 글을 계획하면서, 챗GPT에게 “블라인드 채용의 좋은 점을 알려줘.”와 “블라인드 채용의 나쁜 점을 알려줘.”라는 질문을 하여 답변을 받은 뒤 각 답변에서 무작위로 2가지 항목을 골라 짜깁기했다. S는 광범위한 차원에서 ‘찬반 비교-결론 도출’이라는 구조를 염두에 두었으나, 챗GPT가 제시한 찬성 입장과 반대 입장을 뒷받침하는 이유들을 무작위로 선택하는 과정에서 상대적으로 지엽적인 사항을 선택했고( 블라인드 채용의 장점으로 ‘선입견을 배제한 능력 중심 평가’는 언급하지 않고 ‘면접 과정의 표준화’를 언급), 찬성 및 반대 입장을 일관된 기준을 가지고 비교하지 않았다. 결과적으로, S의 글은 표면상 찬반 양론을 다룬 후 반대 입장이 더 타당하다는 결론으로 연결되었으나, 무작위로 고른 각 내용이 서로 논리적으로 연결되지 않았고, 결론의 타당성도 확보하지 못했다. 또한 S는 답변 내용을 짜깁기하여 글을 작성하고도 마치 마지막 문장만 챗GPT의 답변 내용인 것처럼 출처를 달아 쓰기 윤리도 준수하지 않았다.
한편, 챗GPT의 답변을 ‘⑷ 종합하기’ 유형으로 긍정적으로 활용하는 필자는 답변 내용과 필자 생각의 논리적 종합, 양자의 변증적 발전을 통한 새로운 논점 도출, 출처의 윤리적 제시 양상을 특징으로 보였다. 상위 필자K2는 실업급여 제도에 대한 자신의 입장을 설정하기 위한 브레인스토밍 과정에서 챗GPT에게 제도의 장점에 대해 질문했다. 그리고 챗GPT가 제공한 답변 내용(“실업급여 제도는 경제적 어려움에 처한 실직자들에게 안정적 생활을 제공한다.”)과 그에 대한 자신의 비판적 사고 내용(“실업급여를 받는 실직자의 근로 의욕이 저하되어 실직자의 삶과 사회 경제에 악영향이 올 수 있다.”)을 변증적으로 발전시킨 새로운 논점(“실업급여 제도는 경제적 어려움에 처한 실직자들에게 최소한의 안정적 생활을 제공하면서도, 재취업 프로그램과 연계하여 근로 의욕을 고취시킬 수 있도록 개선되어야 한다.”)을 도출했다. 그리고 설명주를 통해 해당 내용이 챗GPT의 답변 내용과 필자의 생각이 종합된 것임을 밝혔다.
이와 달리, 부정적 활용을 보이는 필자는 답변 내용과 필자 생각의 단순 나열 또는 모순된 결합을 통한 비논리적 종합, 새롭거나 유의미한 논점 도출 실패, 출처 미제시의 특징적 양상을 보였다. 하위 필자K4는 동물원 존폐에 대한 글을 쓰는 과정에서 동물원 폐지의 장점에 대해 질문했다. 그리고 챗GPT의 답변(“동물원 폐지는 동물 학대를 방지하고, 동물들이 본성에 따른 자연스러운 삶을 살게 한다.”)과 자신의 생각(“동물원 폐지는 동물들의 서식지를 파괴한다.”)을 결합하여 “동물원 폐지는 동물 학대를 방지하기 위해 동물들의 서식지를 파괴한다.”는 문장을 작성했다. 이는 표면적으로는 챗GPT 답변과 필자 생각을 종합한 것이나, 서로 모순되는 내용을 인과관계로 결합하여 비논리적이며, 이를 통해 어떠한 새로운 논점도 도출되지 않았다. 또한 ‘동물원 폐지가 동물들의 서식지를 파괴한다.’는 내용 또한 사실에 부합하지 않아 비논리성을 강화했다.
마지막으로, 챗GPT의 답변을 ‘⑸ 도약하기’ 유형으로 긍정적으로 활용하는 필자는 도약을 통한 창의적 내용 생성, 도약에 내재된 논리의 타당성, 도출된 내용과 기존 논점의 연계성을 특징적 양상으로 보였다. 3.2.1.에서 언급한 바 있는 상위 필자M의 사례가 이를 잘 보여준다. M은 챗GPT의 답변(“동물원은 방문객들에게 자연과 동물의 생태를 이해하게 하는 교육적 역할을 수행한다.”)에서 영감을 얻어 창의적 내용(“도시 내에 생태환경교육센터를 건립하여 VR과 AR을 통해 방문객들이 자연 서식지에서의 동물 행동과 생태계를 체험할 수 있게 해야 한다.”)을 생성했다. 생성된 새로운 문장에는 챗GPT가 제공한 답변의 흔적이 명확히 드러나지 않으나, M의 일지를 통해 출발점이 된 챗GPT의 답변을 확인하면 도약이 납득가능한 내재논리를 통해 이루어졌음을 인지할 수 있다. 즉, M은 동물원 폐지를 주장하는 글을 작성 중이었는데, 동물원을 폐지할 경우 사라지는 동물원의 긍정적 기능을 담당할 수 있는 대안을 도출했음을 알 수 있다. 도약이 M의 주장의 연장선상에서 이루어졌으므로, 도출된 새로운 내용 또한 M이 작성 중인 글의 논점과 유기적으로 연계되었다.
반면, 부정적 활용을 보이는 필자는 무의미한 내용 생성, 도약에 내재된 논리 부재 또는 오류, 도출된 내용의 주제 일탈 양상을 드러냈다. 중위 필자L39)은 대학생의 과제 수행에서 생성AI 도구 사용의 필요성을 주장하는 과정에서, 챗GPT의 답변(“생성AI 도구의 사용은 학생들의 창의성과 비판적 사고를 저하할 우려가 있다.”)을 보고 연상된 “생성AI 도구의 사용은 학생들과 교수를 모두 자유롭게 한다.”는 내용을 글에 포함했다. L을 도약하게 한 내재논리는 “생성AI 도구가 학생들의 창의적⋅비판적 사고를 대신하면 대학에서 굳이 학생들에게 과제를 부과할 필요가 없고, 이는 과제를 해야 하는 학생과 과제를 부과하고 채점하는 교수 모두를 자유롭게 하는 것이다.”였다. 그러나 이는 논리적 비약일 뿐 아니라, 생성AI 도구의 사용 필요성에 대한 논점을 일탈하는 내용으로 글의 일관성을 저해하는 결과를 야기했다.
4. 결론 및 제언
4.1. 요약
이 연구는 대학생 필자가 글을 쓸 때 챗GPT에게 질문하여 받은 답변을 어떠한 방식으로 활용하는지 고찰하여 그 특성을 밝히고자 했다. 이를 위해, 먼저 필자가 글쓰기 과정에서 챗GPT와 나누는 전반적인 문답의 양상을 점검하고, 이후 필자의 글쓰기에서 챗GPT 답변이 활용되는 방식을 유형화하여 유형별 긍정적⋅부정적 활용 양상을 분석했다. 연구를 통해 확인된 주요 사항은 다음과 같다.
첫째, 대학생 필자는 1800자 분량의 글을 쓰기 위해 평균 7.1개의 문답을 나누었고, 쓰기 수준 상위 집단이 하위 집단에 비해 1.7배 더 많은 문답을 나누었다. 상위 필자는 챗GPT와의 문답을 협조자와의 ‘대화’나 ‘토론’ 형식의 연속적 문답으로 진행하는 경향이 있는 반면, 하위 필자는 문답을 ‘일회적 정보 검색’ 행위로 수행하는 경향이 있기 때문이었다.
둘째, 대학생 필자가 챗GPT로부터 받은 답변의 유형별 문답 수는 [정보(40.0%) > 평가(24.9%) > 제안(21.8%) > 적용(6.3%) > 분석(4.2%) > 창안(1.4%) = 기타(1.4%)] 순서로, 각종 지식⋅정보를 제공하는 답변, 필자의 생각이나 글에 대한 평가 및 개선 방안 제안을 하는 답변의 비중이 높았다. 한편, 쓰기 수준 하위 집단은 특정 유형(‘정보’)에 집중되거나 비윤리적⋅오류 답변을 받는 경향성을, 상위 집단은 쓰기 목적에 따라 다양한 답변을 받는 경향성을 보여, 필자의 쓰기 수준이 챗GPT의 효과적 활용 능력과 밀접한 관계에 있음을 방증했다.
셋째, 대학생 필자의 챗GPT 답변에 대한 만족도는 4.08(/5)로, 만족의 이유로는 부담 없이 맞춤형 도움을 받을 수 있는 편리성, 사고의 확장성이, 불만족의 이유로는 제공된 정보가 부정확할 가능성, 추상적이거나 초점이 빗나간 답변이 언급되었다. 또한 하위 집단의 만족도(4.23)가 상위 집단의 만족도(3.74)에 비해 높았는데, 이는 챗GPT가 미흡한 답변을 제공했을 경우 이를 인지하는 필자의 비판적 사고 수준 차이에 의한 것으로 분석되었다. 하위 필자일수록 ‘불충분한 질문 기술 - 챗GPT의 추상적이고 초점이 빗나간 답변 제공 - 필자의 비판적 사고 부족으로 인한 잘못된 수용’의 연쇄작용으로, 챗GPT를 활용함으로써 글의 질을 저하하고도 필자는 만족하는 양상을 자주 보였다.
넷째, 대학생 필자가 챗GPT 답변을 원고에 실제 반영한 비율은 48.8%로, 상위 집단의 반영률(42.6%)에 비해 하위 집단의 반영률(73.2%)이 매우 높았다. 그 이유로는 상위 필자가 ‘대화’나 ‘토론’ 형식의 연속 문답을 진행한 뒤 최종 답변만을 글에 반영하는 반면 하위 필자는 일회적 문답의 결과를 바로 반영하는 것, 상위 필자는 미흡한 답변을 폐기하는 반면 하위 필자는 미흡성을 인지하지 못하고 수용하는 경향이 높은 것이 지목되었다.
다섯째, 대학생 필자가 챗GPT 답변을 자신의 글에 활용하는 유형은 ‘⑴ 그대로 사용하기, ⑵ 요약 및 재진술하기, ⑶ 틀 세우기, ⑷ 종합하기, ⑸ 도약하기’의 5가지로 분류되었다. 이중 지식 나열 유형(⑴, ⑵)은 답변 내용이 글에 반영될 때 일부 표현적 변형만이 발생하고, 지식 배치 유형(⑶)은 구성적⋅표현적 변형이 발생하며, 지식 나열 유형(⑷, ⑸)은 의미적⋅구성적⋅표현적 변형이 모두 발생한다.
여섯째, 대학생 필자의 챗GPT 답변 활용 유형은 [요약 및 재진술하기(34.5%) > 틀 세우기(25.2%) > 종합하기(21.6%) > 그대로 사용하기(14.4%) > 도약하기(4.3%)]의 순서로 나타났고, ‘요약 및 재진술하기’ 유형이 필자의 쓰기 수준과 무관하게 가장 자주 사용되었다. 전체 필자가 활용한 유형의 3/4(74.1%)은 챗GPT 답변에 대한 의미적 변형을 보이지 않았다.
일곱째, 대학생 필자의 쓰기 수준이 높을수록 챗GPT 답변에 대한 지식 변형 유형을, 낮을수록 지식 나열 유형을 더 많이 사용하는 경향을 보였다. 특히, 챗GPT 답변 내용과 필자 생각이 결합되어 새로운 내용을 구성하는 ‘종합하기’ 유형은 연속 문답을 통해 양자의 종합을 시도하는 상위 집단에서 자주 사용되는 양상을 보였다. 다만, 이러한 경향성이 곧 각 유형의 절대적 우열을 시사하는 것은 아니며, 중요한 것은 필자가 적절한 질문을 통해 답변을 받았는가의 여부, 그리고 해당 답변을 글쓰기의 목적 및 글의 맥락에 부합하게 통합했는가의 여부였다.
여덟째, 대학생 필자의 챗GPT 답변 활용 유형 5가지는 필자의 쓰기 수준에 따라 긍정적 또는 부정적 활용 양상을 드러냈다. ‘그대로 사용하기’ 유형을 긍정적으로 활용하는 필자는 명확한 목적을 가진 주도적 질문, 적절한 답변 선택, 글의 맥락에 부합하는 통합, 출처의 윤리적 제시 양상을, ‘요약 및 재진술하기’ 유형의 활용 시에는 이에 더하여 핵심 내용의 올바른 요약, 원래의 의미를 왜곡하지 않는 재진술 양상을 보였다. 또한 ‘틀 세우기’ 유형의 경우, 명확한 구조를 전제한 내용 선택, 논리적 구조화(논리 구조의 타당성⋅유기성⋅충분성), 출처의 윤리적 제시 양상을 나타냈다. 한편, ‘종합하기’ 유형의 경우, 답변 내용과 필자 생각의 논리적 종합, 양자의 변증적 발전을 통한 새로운 논점 도출 양상을, ‘도약하기’ 유형의 경우에는 도약을 통한 창의적 내용 생성, 도약에 내재된 논리의 타당성, 도출된 내용과 기존 논점의 연계성을 특징적 양상으로 드러냈다. 한편, 각 유형을 부정적으로 활용하는 필자는 이와 반대되는 양상을 보이는 것이 사례 필자 분석을 통해 확인되었다.
4.2. 제언
챗GPT를 사용해서 과제를 하는 동안 챗GPT는 ‘양날의 검’과 같다고 생각했다. 내 생각 없이 챗GPT에게 모든 걸 맡기면 겉으로는 그럴 듯해도 별 의미 없거나 문맥이 이상한 글이 나오는데, 내가 (내 글의-인용자) 주인이라는 생각을 갖고 챗GPT에게 (목적이 분명한-인용자) 역할을 분담시키면 빠르게 내 능력을 확장해서 글을 완성하게 도와주었다. (중략) 챗GPT 교육 시간에 교수님이 “외주를 주지 말고 조력자로 이용해야 한다.”고 하신 뜻이 무엇인지 이해할 수 있었다.
- 상위 필자K2의 일지에 나타난 ‘챗GPT 활용 소감’
이 연구의 결과가 대학 글쓰기 교육에 시사하는 바와 앞으로의 챗GPT 활용 글쓰기 교육의 방향성에 대해 제언하면 다음과 같다.
먼저, 대학생 필자의 챗GPT 답변 활용 양상 분석을 통해 우선적으로 주목되는 것은 생성AI 시대의 글쓰기에 필자의 문식성 및 비판적 사고력, 저자성(authorship)과 윤리의식이 더욱 중요해졌다는 자명한 사실이다.
이 연구의 결과에서 반복적으로 확인되듯이, 쓰기 수준이 높은 필자일수록 쓰기 목적에 부합하는 다양한 유형의 질문을 효과적으로 사용하고, 질문에 대한 챗GPT의 답변에 대해 비판적으로 사고하여 내용을 선택하며, 이를 자신의 생각과 글의 맥락에 부합하게 통합한다. 또한 이러한 문식성과 비판적 사고력은, 챗GPT가 아닌 필자 자신이 쓰기의 전(全) 과정을 주도하는 주체임을 분명히 인식하는 저자성과 이에 수반된 책임 있는 윤리의식에 의해 추동된다. 이때 챗GPT는 이러한 자질을 함양한 필자의 글쓰기를 효과적으로 조력하는 협조자로 기능하여, 이전보다 효율적인 글쓰기를 하면서도 보다 높은 질의 글을 생산하는 것을 가능하게 한다. 반면, 쓰기 수준이 낮은 필자의 경우, 목적이 분명하지 않은 의존적인 질문을 사용하고, 답변 내용을 비판적으로 평가하지 못하며, 맥락에 부합하지 않고 비윤리적인 통합을 통해 챗GPT 사용 이전보다 오히려 낮은 질의 글을 생산하곤 한다. 그리고 이때의 챗GPT는 필자가 당면한 글쓰기뿐 아니라, 필자로서의 장기적인 성장 또한 저해하는 방해자로 기능하게 된다.
이처럼 필자의 문식성 및 비판적 사고력, 저자성과 윤리의식의 수준에 따라 챗GPT가 필자의 쓰기 능력을 배가하거나 저하하는 ‘양날의 검’으로 기능한다는 사실은, 향후 대학 글쓰기 교육이 이전보다 극심해질 ‘의사소통 능력의 양극화’ 현상을 막기 위해 담당해야 할 역할이 무엇인지 시사한다.
앞으로의 대학 글쓰기 교육은 전통적인 교육 목표를 폐기하고 새로운 목표를 추구할 것이 아니라, 전통적인 교육 목표를 더욱 중점적으로 그러나 새로운 방식으로 추구할 필요가 있다. 학생 필자의 문식성 및 비판적 사고력, 저자성과 윤리의식을 함양하는 일은 이제까지의 대학 글쓰기 교육이 변함없이 추구해온 목표였다. 다만, 이제까지의 교육이 챗GPT로 대표되는 생성AI 도구를 전제하지 않고 이루어졌다면, 앞으로의 교육은 기존 교육 내용에 새로운 도구를 효과적으로 활용하는 교육 내용을 유기적으로 결합할 필요가 있다. 이를 위한 몇 가지 전제 사항을 언급하면 다음과 같다.
첫째, 대학 글쓰기 교육에서 챗GPT 활용 교육은 일회성의 사용법 소개나 당위적 윤리교육에 그쳐서는 안 되며, 기존의 교육 과정에 챗GPT 활용 교육을 체계적으로 결합하는 방식으로 이루어져야 한다. 학생들이 글쓰기의 전(全) 과정에서 챗GPT를 올바르게 활용할 수 있도록 쓰기 과정 교육에 챗GPT 활용 교육을 결합하고, 학생들이 이를 실습할 수 있는 다양한 과제를 부과할 필요가 있다. 예컨대 학생들은 쓰기 과정 교육 중 ‘계획하기’ 부문의 수사적 상황 요소에 대해 학습할 때 챗GPT에게 특정 상황 요소를 포함한 질문을 할 때와 그렇지 않을 때 작성되는 답변의 차이를 인지하고, 챗GPT와 함께 효과적으로 브레인스토밍을 하는 실습을 할 수 있다.
둘째, 학생들로 하여금 글쓰기에서의 챗GPT 활용에 대한 올바른 인식을 갖게 하고, 이를 강화하는 다양한 교수학습 활동을 시행해야 한다. 우선, 챗GPT가 필자의 글쓰기를 대신하는 만능의 도구가 아닌, 필자의 문식성 및 비판적 사고력, 저자성과 윤리의식의 수준에 따라 필자의 쓰기 능력을 배가할 수도 저하할 수도 있는 ‘양날의 검’과 같은 도구임을 이해하게 해야 한다. 또한 윤리교육의 강화와 더불어, 챗GPT 답변의 출처 정보를 재구(再構)하고 답변 내용과 출처 자료를 비교⋅분석하는 활동, 챗GPT의 평가 및 제안 내용을 역으로 평가하는 워크숍 활동 등을 도입하여, 학생들이 챗GPT의 한계 및 활용 범위에 대한 명확한 기준을 갖도록 도울 수 있다.
셋째, 학생들이 챗GPT를 활용할 때 선택할 수 있는 다양하고 실제적인 전략들의 목록을 구체적인 사례와 함께 교육해야 한다. 특히, 필자의 수사적 목적에 따라 사용할 수 있는 질문들의 유형 및 사용 방안, 그리고 챗GPT의 답변을 필자의 목적 및 글의 맥락에 맞게 통합하는 전략들의 유형 및 활용 방안을 구체적인 사례와 함께 교육할 필요가 있다. 선행연구(이윤빈, 2023) 및 이 연구에서 제시한 질문 및 답변 활용 유형 및 학생 필자의 긍정적⋅부정적 사용 양상은 이를 위한 실제적 자료로 사용될 수 있다.
이상의 전제 사항 위에서 구성할 수 있는 대학 글쓰기 교육의 구체적인 방안은 후속연구를 통해 제안하고자 한다. 앞으로 대학생 필자의 생성AI 도구의 활용 양상을 분석하고, 그 실제적 토대 위에서 교육 방안을 모색하는 작업이 더욱 활발히 이루어지기를 기대한다.
References
Notes
이 연구는 전자의 문제에 대해 대학 글쓰기 교육에서 챗GPT를 활용한 교육을 수행해야 한다는 입장에 있으나, 그에 대한 논의는 연구의 범위를 넘어서므로 별도의 논문에서 다루고자 한다.
다음 두 가지 사항을 수정⋅보완했다. 첫째, 각각 별도의 표 또는 설명으로만 제시했던 네 가지 차원의 질문 유형 분류를 하나의 표 안에 정리하고, 이 과정에서 질문의 정의 및 사례 진술을 보완했다. 둘째, ‘AI에 대한 요구 기능’ 면에서 ‘제안 질문’을 추가했다. ‘제안 질문’은 필자의 생각이나 글, 또는 자료의 내용⋅형식⋅표현 등을 보다 나은 방향으로 수정하거나 발전시킬 것을 요구하는 질문으로, 대체로 ‘평가 질문’의 후속 질문으로 사용된다. 선행연구에서는 이러한 성격의 질문을 ‘정보 질문’의 일종으로 간주했으나, 이 연구에서는 단순한 지식⋅정보의 제공을 요구하는 질문과 특정한 생각이나 글을 수정⋅발전하는 질문은 구분이 필요하다는 판단 하에 별도의 질문으로 분류했다. 이는 특정한 생각이나 글을 전제하지 않은 상태에서 AI의 생성 결과물을 제시하는 ‘창안 질문’과도 구분된다.
한편, <표 1>에는 ‘구체적 질문’을 구성하는 ‘수사적 상황 맥락’ 및 ‘답변 형식’의 구성 요소는 포함되어 있지 않다. ‘수사적 상황 맥락’에는 챗GPT에게 요구하는 필자의 입장/역할, 예상독자, 글의 목적, 글의 장르, 과제/필자의 요구사항이, ‘답변 형식’에는 답변의 문체, 답변의 표현 형태, 답변 내용의 구성/구조, 답변의 분량이 포함되며, 구체적인 사례는 이윤빈(2023: 40)을 참조할 수 있다.
평가자 1, 2, 3은 글쓰기 교육, 국어학, 국문학을 전공했고, 15년, 27년, 21년의 대학 글쓰기 교육 경력을 가졌으며, 대학 글쓰기 관련 연구를 하는 전문가였다. 평가자 3인은 장지혜⋅송지언(2019)에서 제안한 논증적 글에 대한 평가 기준 9개 항목을 참조하여 총체적 평가를 시행했고, 평가자 간 신뢰도는 Cronbach α=0.847로 높게 나타났다.
이는 필자의 질문이 의미하는 자체가 소통되지 않은 경우를 말한다. 예를 들어, 한 필자는 의과대학 정원은 유지되어야 한다는 주장을 논증하는 글을 작성하면서, 자신이 다루고 있는 화제 및 글의 맥락을 온전히 언급하지 않은 채 자기중심적으로 질문하여 “경제적 관점으로만 정원 문제에 접근할 수 없다는 게 효과가 있어?”라고 기술했고, 챗GPT로부터 정원(garden) 가꾸기와 비용 문제에 대한 답변을 받았다. 필자 질문의 요구사항 자체는 전달이 되었지만 챗GPT로부터 추상적이거나 초점이 다소 빗나간 답변을 받은 경우(3.1.절 필자K1의 사례 참조)는 ‘기타 답변’에 포함되지 않는다.
담화 통합(discourse synthesis)이란 필자가 다양한 자료를 읽고 자료에 나타난 다양한 정보들을 선택하고 필자의 생각과 통합하여 새롭고 고유한 텍스트를 구성하는 것을 의미한다. Flower et al.(1990)은 미국의 대학생 필자가 자신이 읽은 자료들과 생각을 통합하여 텍스트를 구성하는 유형을 7가지(요약하기, 검토 및 논평하기, 고립된 중점, 틀 세우기, 종합하기, 목적을 갖고 해석하기, 자유 반응하기)로 분류했고, 이윤빈⋅정희모(2010)에서는 이를 한국 대학생의 담화 통합 텍스트 구성 유형에 부합하게 수정(요약하기, 요약 및 논평하기, 틀 세우기, 틀 세우고 논평하기, 정보전달적 종합하기, 논증적 종합하기, 자유 반응하기)하여 제안한 바 있다. 챗GPT를 활용하여 글을 쓰는 것은 챗GPT가 제공한 정보와 필자의 생각을 결합하는 담화 통합 글쓰기의 일종이다. 다만, 전통적인 담화 통합 글쓰기가 이미 존재하는 자료들의 정보를 필자의 글쓰기에 통합하는 것이라면, 챗GPT를 활용한 글쓰기는 ⑴ 필자가 자신의 글쓰기에 사용하고자 하는 수사적 목적을 가지고 한 질문에 대한 답변(들)의 정보를 통합한다는 점, ⑵ 챗GPT의 답변 내용이 챗GPT가 학습한 자료들의 내용을 일차적으로 담화 통합한 결과라는 점에서 차이가 있다.
2인의 연구자는 학생들의 논증적 글을 총체적으로 평가한 평가자 2, 3과 동일하다.
널리 알려진 대로, 지식 나열(knowledge-telling)은 필자가 쓰기 과제와 관련하여 이미 가지고 있는 지식을 단순 나열하는 방식의 쓰기를, 지식 변형(knowledge-transforming)은 필자가 지식에 대한 지속적인 반성적 사고를 통해 이를 새로운 차원의 것으로 발전시키는 방식의 쓰기를 나타내는 용어이다(Bereiter & Scardamalia, 1987). 이 연구에서는 지식을 그대로 나열하지도, 새롭게 변형하지도 않으나, 이를 조합하여 일정한 구조를 이루도록 만드는 지식 배치(knowledge-arrangement) 개념을 추가하여 <표 5>를 구성했다.
Bereiter와 Scardamaila(1987)는 지식 나열과 지식 변형 유형이 언제나 능숙한 필자와 미숙한 필자의 글쓰기에 일대일 대응하는 것이 아님을 강조했다. 예를 들어, 능숙한 필자는 전화 통화 내용을 메모하는 지식 나열 글쓰기와 독창적인 주장을 개진하는 지식 변형 글쓰기를 목적에 따라 자유롭게 할 수 있으나, 미숙한 필자는 후자의 글쓰기를 하는 데 어려움을 겪는다는 것이다. 그러므로 글쓰기 교육은 필자들이 목적에 부합하는 방식의 글쓰기를 하게 함과 동시에 미숙한 필자도 글쓰기의 목적에 따라 지식 변형 글쓰기를 할 수 있는 능력을 함양하도록 해야 한다.
하위 집단의 ‘도약하기’ 사례는 1건으로, 해당 사례보다 중위 집단 필자L3의 사례가 ‘도약하기’의 부정적 활용 양상을 명확히 드러낸다고 판단되어 L3의 사례를 기술했다. 이 사례는 일지를 통해 L3이 챗GPT의 답변을 글에 반영했다고 보고하여 ‘도약하기’로 분류되었으나 연구자가 그 내재논리를 인지하기 어려웠던 사례에 대하여 L3과의 사후 인터뷰를 통해 기술한 것이다.