순서가 있습니다. 포털 넷(연구방·지식센터·커뮤니티·아카데미)을 먼저 담고,
SSRA 는 맨 나중에 담아 주세요. SSRA 를 먼저 담으면 나머지가 그 안에 포함된 것으로
잡혀 따로 담기지 않습니다. 아이콘도 담을 차례대로 놓았습니다 — 왼쪽부터 차례로 누르시면 됩니다.
An Empirical Study of the Non-Determinism of ChatGPT in Code Generation
Shuyin Ouyang, Jie M. Zhang, Mark Harman 외 · ACM Transactions on Software Engineering and Methodology · 2025년 · 조회 8
왜 이 논문인가 — 선정 기준
오늘의 Editor's Pick · 전체 분야에서 그날 가장 주목할 논문 1편
2025-01 발표 · 피인용 684회 · 분야 내 인용 영향력 상위권 · 동년 인용 상위 1% · 원 분야 IT
전체 분야에서 인용 상위 1%에 오른 높은 인용 영향력과 LLM 비결정성이라는 최신·핵심 이슈를 다뤘기에 Editor’s Pick으로 선정되었다.
논문 요약
본 연구는 코드 생성 작업에서 널리 사용되는 ChatGPT의 결과가 동일 프롬프트에서도 크게 달라지는 비결정성 문제를 조사하였다. 829개의 코드 생성 문제를 CodeContests, APPS, HumanEval 세 벤치마크에 걸쳐 실험하였다. 실험을 통해 비결정적인 출력이 빈번히 발생하며, 이는 생성 코드의 정확성과 일관성에 부정적 영향을 미친다는 것을 확인하였다.
후속 연구설계에 활용하기
후속 연구에서는 비결정성 정도를 정량화하는 지표를 도입하고, 동일 프롬프트에 대한 다중 실행을 설계에 포함시켜 재현성을 체계적으로 평가할 수 있다.
핵심어
ChatGPT코드 생성비결정성재현성
실존 확인
이 논문은 OpenAlex에서 후보로 수집한 뒤, Crossref에 등록된 DOI와 제목 일치를 확인해 노출합니다.
SSRA가 문헌연구에서 인용 논문의 실재 여부를 검증하는 원칙과 같습니다.