#374
Seed Parameter Support
predibase/lorax 머지됨 2024-04-03
RustDeterministicEvaluationFeature
OpenAI 호환 엔드포인트에 seed 파라미터를 추가하여 deterministic generation을 가능하게 했다.
변경 사항
- OpenAI 호환 chat/completion 엔드포인트에 seed 파라미터 지원 추가
- 동일 seed 입력 시 동일 출력을 보장하는 deterministic generation 활성화
이 변경이 중요한 이유
모델 평가, 회귀 테스트, 품질 비교 실험에서 동일한 입력에 대해 재현 가능한 결과가 필요했다. seed 지원 없이는 동일 프롬프트에도 매번 다른 출력이 나와 정량 비교가 어려웠다. LoRA Land(Zhao et al., 2024)에서 310개 모델 × 31개 태스크를 평가할 때도 재현 가능한 생성이 핵심 전제였다.
기술 상세
OpenAI API spec의 seed 파라미터를 LoRAX의 Rust router에서 받아 sampling 레이어로 전달하도록 구현했다. 같은 날 내부 레포에 seed: 42 기반 deterministic_test.py/json을 추가하여 original vs improved 엔드포인트의 일관성을 검증했다.
관련 내부 작업
같은 날(2024-04-03) 내부 레포에 deterministic test를 추가해 upstream 기능과 내부 검증을 동시에 완성. 이후 모델 평가 파이프라인에서 seed 기반 재현 가능한 생성을 활용했다.
관련 프로젝트 보기 →