더 나은 답, 더 많은 실수는 학생이 ChatGPT와 적격 사고 훈련을 통해 이익을 얻다

학생들이 실제로 과제를 수행할 때 ChatGPT를 사용하면 어떤 일을 하시겠습니까? 품질이 향상되는 대신 독창성이 있는 힘을 받는 것입니까?

보코니 대학교 연구진이 오픈AI 경제 연구소와 협력하여 진행한 새로운 실험에서 ChatGPT 접근과 비판적 사고 훈련이 뚜렷하면서도 상호 보완적인 효과를 나타낸다는 사실을 발견했습니다. ChatGPT 접근은 학생들의 과제 질과 일관성을 향상시켰고, 비판적 사고의 한 형태인 인과 추론 훈련은 학생들이 더욱 독창적인 아이디어를 창출하도록 이끌었습니다. ChatGPT 접근과 훈련을 모두 받은 학생들은 이러한 두 가지 효과를 모두 보였습니다.

이번 결과는 학생들의 학습 진도를 평가할 때 총체적인 접근 방식이 중요하다는 점을 강조합니다. 인공지능 덕분에 학생들이 더욱 세련된 답변을 쉽게 작성할 수 있게 됨에 따라, 과제는 독창성과 같은 다른 바람직한 자질을 측정할 수 있도록 변화해야 할 필요가 있습니다. 

이번 실험 기간 동안 보코니 대학교의 1학년 학부생 1,000명 이상이 실제 비즈니스 사례를 바탕으로 대학 기념품 매장을 위한 마케팅 전략을 개발하는 프로젝트에 참여했습니다.

학생들은 수업 시간에 따라 무작위로 네 그룹 중 하나에 배정되었습니다. 각 그룹은 ChatGPT(GPT-4o) 접근 권한, 인과 추론 훈련, 둘 다, 또는 아무것도 받지 않았습니다. 인과 추론은 원인과 결과를 연결하고 주어진 해결책이 효과가 있거나 없는 이유를 설명하는 것과 관련된 비판적 사고의 특정 형태입니다. 학생들이 받은 훈련은 인공지능과는 관련이 없으며, 게임, 예시, 질문 및 피드백을 활용한 연습을 통해 인과 추론 개념을 가르치는 것이었습니다. 

학생들의 제출물은 훈련된 평가자들이 5점 척도를 사용하여 평가했습니다. 별도로 연구진은 자동 텍스트 분석 도구를 사용하여 각 제출물의 아이디어 수와 다양성, 인과적 추론의 징후, 그리고 세 명의 전문가 제출물과의 유사성을 측정했습니다. 

ChatGPT를 이용할 수 있었던 학생들은 5점 만점 중 거의 1점 가까이 높은 점수를 받았습니다. 그들의 답변은 더 많은 아이디어를 담고 있었고, 논리가 더 명확했으며, 전문가가 작성한 권장 사항과 더 유사했습니다. 다시 말해, AI는 초보자들이 더 전문적인 결과물을 만들어낼 수 있도록 도왔습니다. 중요한 것은 학생들이 단순히 과제를 ChatGPT에 넘겨주는 것이 아니었다는 점입니다. 학생들은 여전히 ​​어떤 질문을 할지, 답변을 어떻게 평가할지, 그리고 최종 제출물에 어떤 내용을 포함할지 스스로 결정해야 했습니다. 

비판적 사고 훈련은 예상치 못한 결과를 낳았습니다. 훈련을 완료한 학생들은 자신의 아이디어가 성공할 수 있는 이유와 실패할 수 있는 이유를 더 명확하게 설명했지만, 평가 기준표에서 더 높은 점수를 받지는 못했습니다. 평가 기준표는 제안된 아이디어가 대학 매장에 대한 인지도와 이용률을 높이는 두 가지 표준 마케팅 목표를 얼마나 잘 달성했는지만을 측정했기 때문입니다.

텍스트 분석 결과, 평가 기준표에는 반영되지 않았던 또 다른 이점이 드러났습니다. 이 활동을 완료한 학생들은 그렇지 않은 학생들에 비해 더 다양하고 독창적인 아이디어를 제시했습니다. 이는 중요한 의미를 지니는데, 이 실험에서 학생들을 평가하는 데 사용된 전통적인 평가 기준표는 명확하고 잘 구성된 답변에 높은 점수를 줄 수 있지만, 다른 학생들이 생각해내지 못한 독창적인 아이디어를 제시한 경우는 간과할 수 있기 때문입니다.

교육에 대한 논쟁을 학생들이 스스로 생각하는 법을 배워야 하는지, 아니면 인공지능을 사용하는 법을 배워야 하는지의 선택 문제로 보는 것은 쉬운 일입니다.

이 실험은 두 가지 모두 서로 다른 방식으로 가치가 있음을 보여줍니다. AI 접근은 학생들이 더욱 세련되고, 아이디어가 풍부하며, 논리적으로 일관성 있는 답변을 도출하는 데 도움이 되었습니다. 비판적 사고 훈련은 학생들이 더 폭넓은 독창적 아이디어를 개발하고, 가정에 의문을 제기하며, 자신의 아이디어가 타당한 이유를 설명하도록 장려했습니다.

둘은 서로 보완적인 관계입니다. 

ChatGPT 이용과 비판적 사고력 훈련을 모두 받은 학생들은 각각의 이점을 분명히 보여주었습니다. 아이디어의 다양성은 훈련만 완료한 학생들과 유사했으며, 평가 기준 점수와 아이디어 개수 또한 비슷했습니다. 또한, 이들의 결과물은 논리적 일관성이 더욱 강해졌고, 설명 탐색 및 전제에 대한 질문 능력을 더 많이 보여주었습니다. 전반적으로, 이 그룹은 가장 광범위한 영역에서 향상된 결과를 나타냈습니다. 

실험의 무작위 설계 덕분에 연구진은 다양한 요인들을 심층적으로 분석할 수 있었고, ChatGPT 접근 권한과 비판적 사고 훈련의 효과, 그리고 이 둘을 결합했을 때의 효과를 구분할 수 있었습니다. 이러한 점에서 이 실험은 인공지능이 학생들에게 미치는 영향과 학습을 효과적으로 구성하고 지원하는 방법에 대한 연구가 활발히 진행되는 가운데, 특히 유용한 기여를 하고 있습니다. 

이 활동이 학생들에게 미치는 영향과 기존 평가 기준표가 포착한 결과 사이의 차이는 학교가 직면한 더 광범위한 문제를 시사합니다. 

인공지능이 학생들이 세련되고 전문가 수준의 결과물을 만들어내는 데 도움을 줄 수 있다면, 최종 답안만 보는 것은 학생이 실제로 무엇을 이해했는지에 대해 알려주는 데 한계가 있습니다. 

많은 교육자들이 과제와 평가 방식의 변화에 ​​대해 이미 고심하고 있습니다. 이는 학생들이 현대 사회에서 필요로 하는 역량을 갖추도록 지원하기 위해 기술과 교육이 함께 발전해 온 수십 년 간의 추세를 따르는 것입니다.

이러한 결과는 학생들이 단순히 가장 관습적이거나 세련된 답변이 아니라 독창성, 논리적 추론, 그리고 다양한 접근 방식을 고려한 결과물을 만들어낼 때 보상하는 것이 중요하다는 점을 강조합니다. 

핵심 요점: AI는 학생들이 더 나은 답변을 작성하도록 도왔고, 비판적 사고 훈련은 학생들의 사고의 폭을 넓히는 데 도움을 주었다. 이 두 가지는 학생들이 미래를 준비하는 데 있어 상호 보완적인 역할을 한다.

원문: https://openai.com/index/what-students-gain-from-chatgpt-critical-thinking-training