컨텍스트 윈도우

모델이 단일 추론에서 처리할 수 있는 최대 토큰 수(입력+출력). 128K 컨텍스트 모델은 한 번에 약 9만 6천 단어 처리. 긴 컨텍스트 = 책·코드베이스·긴 대화 전체 읽기 가능, 단 메모리 사용량은 컨텍스트 길이의 제곱으로 증가. 오픈 모델 최장 컨텍스트는 InternLM 3의 200K.