1. 도구 호출 LLM 파인튜닝을 위한 엔드투엔드 가이드 공개
소형 LLM의 도구 호출 능력을 향상시키기 위해 설계된 엔드투엔드 지도 학습(SFT) 파이프라인을 상세히 다룬 종합 가이드가 발표되었습니다. 이 튜토리얼은 XYZ-Aquila-SFT 데이터셋을 사용하여 다중 턴 도구 궤적을 파싱하고, 구조화된 도구 호출을 추출하며, 이를 Qwen 호환 ChatML 형식으로 변환하는 방법을 보여줍니다. 해당 파이프라인은 Hugging Face Transformers, PyTorch, PEFT를 사용하여 Qwen3-0.6B 모델에 LoRA를 적용하며, 모델의 응답에 학습을 집중시키기 위해 어시스턴트 전용 손실 마스킹(assistant-only loss masking)을 포함합니다. 또한, 도구 호출 정확도 향상을 체계적으로 측정하기 위한 티처 포싱(teacher-forced) 평가 프로브도 제공합니다.
- • Hugging Face Transformers, PyTorch, PEFT를 사용하는 엔드투엔드 지도 학습(SFT) 파이프라인을 설명합니다.
- • 다중 턴 도구 궤적을 파싱하여 Qwen 호환 ChatML 형식으로 변환하는 워크플로우를 다룹니다.
- • Qwen3-0.6B 모델을 LoRA로 파인튜닝하며, 학습 토큰에 어시스턴트 전용 손실 마스킹을 적용합니다.
- • 학습 전후의 도구 호출 성능을 측정하기 위한 티처 포싱 평가 프로브가 포함되어 있습니다.
개발자들에게 구조화된 도구 호출을 안정적으로 출력할 수 있도록 소형의 작업 특화 모델을 파인튜닝하는 구체적이고 재현 가능한 워크플로우를 제공합니다.
2. Anthropic, Claude 모델에 SynthID-Text 구현 상세 내용 공개
보이지 않는 워터마킹 구현에 대한 기존 약속을 바탕으로, Anthropic은 향후 Claude 모델에 Google DeepMind의 SynthID-Text를 활용할 것임을 명시했습니다. 이 방식은 출력 품질, 속도, 비용에 영향을 주지 않으면서 토큰 선택의 무작위성을 조정하여 워터마크를 삽입합니다. 또한, 이미지는 메타데이터에 C2PA 표준을 사용하며, 향후 워터마크 탐지 API를 출시할 계획임을 확인했습니다.
- • Anthropic은 향후 Claude 모델의 텍스트 워터마킹을 위해 Google DeepMind의 SynthID-Text를 사용합니다.
- • 이 방식은 토큰 선택의 무작위성을 조정하여 워터마크를 삽입하며, 품질, 속도, 비용에 영향을 주지 않습니다.
- • 워터마크에는 사용자 식별 정보가 포함되지 않습니다.
- • 이미지는 메타데이터에 계속해서 C2PA 표준을 사용합니다.
- • 향후 워터마크 탐지 API가 출시될 예정입니다.
EU AI 법 준수를 위해 도입되는 워터마킹 방식에 대한 기술적 명확성을 제공하며, 모델 성능에 영향을 미치지 않음을 확인해 줍니다.