01 / QUESTION
미리 예측한 응답 행동은 실제 관측과 얼마나 맞을까?
고정한 모델·설정·한국어 합성 입력·세션 조건에서, 사전에 확정한 사건 확률과 응답 길이 예측이 실제 관측을 얼마나 설명하는지 살펴보는 개인 프로젝트입니다.
02 / CONTRIBUTION
내 역할과 AI 지원
직접 맡은 일
연구 질문과 범위를 검토하고, 원문 또는 AI 요약을 읽어 판단과 이유를 기록했습니다. 과거 대화의 맥락과 평가 대상 응답을 나누어 살폈습니다.
AI의 도움을 받은 부분
평가 도구·시험 자료·문서 초안에 AI 도구를 활용했습니다. AI 요약 기반 판단은 원문을 읽은 판단과 구분해 기록합니다.
03 / METHOD
평가 설계
- 예측과 관측
- 대상 응답을 관측하기 전에 예측을 확정하고, 두 기록을 분리합니다.
- 상호작용 조건
- 매번 새로운 요청을 하는 조건과, 수락된 가시 대화 이력을 전달하는 조건을 구분합니다.
- 측정 계획
- 사건 확률과 응답 길이의 예측·관측 차이를 비교합니다. 판단 입력을 마쳤으며, 원문 대조와 분석을 준비합니다.
04 / TIMELINE
진행 기록
- 설계
프로토콜과 오프라인 도구 준비
연구 조건, 합성 입력, 평가 기준과 실행 기록 방식을 정리했습니다.
- 기술 관측
소규모 API 연동 확인
7회 smoke 요청으로 연동·파싱·기록 경로를 확인했습니다.
- 인간 판단
사람의 의미 판단과 검토
12개 합성 연습 사례에 대해 48개 판단과 근거를 제출·검토했습니다.
- 도구 검증
로컬 검증기의 처리 가정 수정
개발 요청 1회가 제공자에서 완료된 뒤 로컬 검증기에서 수락되지 않았습니다. 원인을 진단·수정하고 96개 오프라인 회귀 통과 기록을 남겼습니다.
- 실행 준비
다음 개발 실행 준비
- 응답 수집
개발용 실제 응답 수집 완료
선행 예측과 평가 대상 응답의 수집·수락을 마쳤습니다. 진단용 응답과 평가용 응답을 구분해 보관합니다.
- 진행 확인
실제 응답에 대한 인간 판단 진행
실제 응답의 행동을 판단하고 이유를 기록했습니다. 과거 문맥과 현재 응답을 구분해 검토했습니다.
- 입력 완료
판단·이유 입력 완료
남은 판단과 이유의 입력을 마쳤습니다. 원문 검토와 AI 요약 기반 일괄 판단을 구분해 기록했으며, 원문 대조와 예측 성능 분석을 준비합니다.
05 / CURRENT FINDINGS
진행 내용과 다음 단계
- 예측·관측을 분리하는 프로토콜
- 합성 사례의 인간 판단 기록
- 실행 추적·오류 처리·회귀 검증 도구
- 실제 응답 수집 기록과 인간 판단 입력 기록
선행 예측과 응답을 분리해 수집하고 판단 기록과 연결했습니다.
판단과 이유의 입력을 마쳤습니다. 원문 검토 기록과 AI 요약 기반 판단을 나누어 보관하며, 원문별 검증을 준비합니다.
원문 대조·예측 성능 분석 예정
06 / LIMITS & NEXT
연구 범위와 다음 단계
정해진 모델·입력·세션 조건에서의 응답 행동을 다룹니다. 기록한 판단의 원문 대조와 예측 성능 분석이 다음 단계입니다.
다음에 확인할 일
판단 기록을 원문과 대조한 뒤 예측·관측 차이를 분석합니다.
자료와 변경 이력
공개용 자료를 정리하고 있습니다.
연구 진행 기록 기준