구글과 미스트랄 인공지능(AI) 등에서 프로그래밍에 특화된 AI 툴이 등장하며 AI를 통한 프로그래밍이 주목받고 있다. 이에 따라 AI의 프로그래밍 능력을 분석한 연구 결과가 발표됐다고 8일(현지시간) 온라인 매체 기가진이 전했다.

해당 연구는 오픈AI의 챗GPT가 생성한 코드를 기능, 복잡성, 보안의 세 가지 측면에서 평가했다. 그 결과 챗GPT는 작업의 난이도, 프로그래밍 언어 등에 따라 0.66~89%의 매우 넓은 범위의 성공률을 보였다.

이번 연구에서는 GPT-3.5 기반의 챗GPT에 C, C++, Java, 자바스크립트(JavaScript), 파이썬(Python) 등 5개 프로그래밍 언어로 테스트 플랫폼 리크코드(LeetCode)에서 수집한 728개의 코딩 문제를 풀게 했다. 챗GPT는 리크코드에 존재하는 코딩 문제 해결에 대해 우수한 성능을 보여줬지만 2021년 이후 성능이 현저히 낮아졌다. 이에 대해 전문가들은 "챗GPT는 인간이 가진 비판적 사고 능력이 부족하기 때문에 과거에 접해본 문제만 다룰 수 있다"고 설명했다.

연구팀은 챗GPT가 자체적으로 코딩 오류를 수정하는 능력에 대해서도 조사했다. 그 결과 챗GPT는 컴파일 오류는 수정하는 데는 능숙하지만, 자신의 실수를 수정하는 데는 그렇지 않은 것으로 나타났다. 이 외에도 연구팀은 챗GPT에서 생성된 코드에 널 테스트(Null Test)가 누락되는 등 취약점이 존재한다고 지적했다.

연구 결과에 대해 연구팀은 "이러한 결과를 바탕으로 개발자가 챗GPT가 문제를 더 잘 이해하고 취약점을 피할 수 있도록 추가 정보를 제공하는 것이 중요하다"고 조언했다.
 
출처 : 디지털투데이 (DigitalToday)(https://www.digitaltoday.co.kr)
원문 : GPT-3.5 기반 챗GPT "코딩 능력 만능 아니다" < 뉴스위드AI < AI·엔터프라이즈 < 기사본문 - 디지털투데이 (DigitalToday)