01 독립 연구
문항 검토 반영 · 소규모 응답 수집
문제더 오래 추론하면, 상황에 더 적절하게 답할까?
입력과 판단의 흐름역할과 과정, 검토 결과
- 내 역할
- 평가에 필요한 맥락·예외·판단 유보 조건을 정리하고, 문항별 입력에 필요한 사실이 담겼는지 검토했습니다. 이를 바탕으로 설계 피드백을 제공했습니다. 구현과 시험에는 AI의 지원을 사용합니다.
- 과정
- 필요한 맥락 → 조건 분리 → 인간 판단 계획 → 비교 평가 계획
- 검토 내용
- 한국어 대화 평가 문항에 맥락 검토를 반영하고, 소규모 응답 수집과 블라인드 비교 카드 생성을 진행했습니다.
- 범위
- 개발용 합성 문항과 소규모 연동을 다룹니다. 최종 응답 평가와 조건별 성능 비교는 후속 과제입니다. 최종 응답 평가·모델 비교 예정
02 독립 연구
응답 수집·판단 기록 완료 · 대조·분석 예정
문제미리 예측한 응답 행동은 실제 관측과 얼마나 맞을까?
입력과 판단의 흐름역할과 과정, 검토 결과
- 내 역할
- 연구 질문과 범위를 검토하고, 원문 또는 AI 요약을 읽어 판단과 이유를 기록했습니다. 과거 대화의 맥락과 평가 대상 응답을 나누어 살폈습니다.
- 과정
- 자기예측·응답 → 판단 입력 → 원문 대조 예정 → 예측 성능 분석 예정
- 검토 내용
- 실제 응답을 수집하고, 원문 또는 AI 요약을 바탕으로 행동 판단과 이유를 기록했습니다. 원문 대조와 예측·관측 비교 분석을 준비합니다.
- 범위
- 정해진 모델·입력·세션 조건에서의 응답 행동을 다룹니다. 기록한 판단의 원문 대조와 예측 성능 분석이 다음 단계입니다. 원문 대조·예측 성능 분석 예정
03 독립 연구
문항·실행 도구 오프라인 검증 · 응답 수집 전
문제주어진 정보가 바뀌면, 판단의 근거도 일관되게 바뀔까?
입력과 판단의 흐름역할과 과정, 검토 결과
- 내 역할
- 연구 질문·범위와 진행 조건을 정하고 검토했습니다. 사례·절차의 원형과 AI 지원으로 확장한 내용을 구분해 설계를 관리합니다.
- 과정
- 조건별 질문 쌍 → 기준·예외 → 오프라인 실패 시험 → 모델 응답 수집 전
- 검토 내용
- 조건별 사례와 실행 도구를 구성하고, 입력·기록·집계 흐름을 오프라인으로 검증했습니다.
- 범위
- 현재 단계는 합성 사례와 실행 도구의 오프라인 검증입니다. 모델 응답 분석은 수집 후 진행합니다. 실제 모델 응답 수집 전
