사용자 요청 후 첫 토큰이 출력될 때까지 소요되는 시간을 의미하며, 사용자 체감 성능에 직결 (핵심 지표)

첫 토큰 이후 후속 토큰의 생성 속도를 의미하며, 답변 출력 구간에서의
실시간 생성 효율 측정

분당 평균 토큰 처리량으로, 인프라 및 API별 설정된 최대 진입 제한량(Rate Limit) 초과 시 오류 발생 여부 검증

고부하 상황에서 GPU/VRAM 자원 고갈(OOM), 응답 오류율, 재시도 빈도를 실시간 추적하여 서비스 연속성 검증

짧은 질의응답 시나리오, 긴 입력 프롬프트 시나리오, 외부 검색 결과나 도구 호출이 포함된 에이전트형 시나리오 등을 복합적으로 구성하여 진행

평균 TTFT, P90(상위 90% 응답시간), 오류율,
TPM 초과 비율 등을 다각도로 분석하고
AI 서비스 품질 합격 기준 달성 여부 평가

상용 부하테스트 전문 솔루션을 활용하여
실제 브라우저 상에서 비즈니스 로직 구동하여
End-User 체감 성능 정밀 측정