01 / QUESTION
더 오래 추론하면, 상황에 더 적절하게 답할까?
AI가 더 오래 추론할 때 상황에 맞는 한국어 응답이 좋아지는지, 답변만 길어지는지 살펴보는 개인 평가 프로젝트입니다. 합성 대화 사례를 사용해 명시적 지시 준수와 암묵적 맥락 추론을 구분합니다.
02 / CONTRIBUTION
내 역할과 AI 지원
직접 맡은 일
평가에 필요한 맥락·예외·판단 유보 조건을 정리하고, 문항별 입력에 필요한 사실이 담겼는지 검토했습니다. 이를 바탕으로 설계 피드백을 제공했습니다.
AI의 도움을 받은 부분
문항·도구·문서 초안에 AI 도구를 활용했습니다. 문항에 필요한 맥락과 예외를 직접 검토해 평가 입력에 반영했습니다.
03 / METHOD
평가 설계
- 자료
- 9계열·18입력의 개발용 합성 문항을 구성했습니다.
- 비교 계획
- 같은 모델의 추론 조건을 비교하되, 추론 조건·출력 길이·비용·지연을 별개의 관측으로 다룹니다.
- 판단
- 적합성, 자연스러움, 상대 선호와 판단 유보를 각각 평가합니다. 명시적 지시 준수와 맥락 추론도 나누어 살펴봅니다.
04 / TIMELINE
진행 기록
- 설계
평가 질문과 기준 정리
정의와 평가 방식을 채택하고, 사례별 예외를 교정했습니다. 개발용 합성 문항 범위를 정했습니다.
- 도구 검증
기록과 검토 절차 점검
모의 실행, 입력 보존, 기록 정합성과 블라인드 검토 화면을 점검하고 두 개 샘플 화면을 직접 확인했습니다.
- 실행 준비
응답 수집을 위한 환경 준비
인증 환경 준비가 필요한 실행 전 단계입니다.
- 진행 확인
소규모 연동 확인과 문항 검토 반영
실제 응답 수집과 블라인드 카드 생성을 진행했습니다. 문항 맥락에 대한 검토를 후속 평가 입력에 반영했습니다.
05 / CURRENT FINDINGS
진행 내용과 다음 단계
- 합성 문항과 평가 기준
- 문항 맥락에 대한 사용자 결정 기록
- 소규모 연동 기록과 블라인드 비교 절차
소규모 응답 수집과 블라인드 비교 카드 생성까지 진행했습니다. 문항 맥락에 대한 검토를 후속 평가 입력에 반영했습니다.
문항·기준의 설계 검토를 반영했습니다. 다음 단계는 실제 응답의 최종 평가입니다.
최종 응답 평가·모델 비교 예정
06 / LIMITS & NEXT
연구 범위와 다음 단계
개발용 합성 문항과 소규모 연동을 다룹니다. 최종 응답 평가와 조건별 성능 비교는 후속 과제입니다.
다음에 확인할 일
보완한 입력으로 후속 실행을 준비하고, 실제 응답에 대한 인간 평가를 이어갑니다.
자료와 변경 이력
공개용 자료를 정리하고 있습니다.
연구 진행 기록 기준