Inference Brew

도구 호출 LLM 파인튜닝을 위한 엔드투엔드 가이드 공개

00:00 / --:--

← 메인으로

도구 호출 LLM 파인튜닝을 위한 엔드투엔드 가이드 공개

1. 도구 호출 LLM 파인튜닝을 위한 엔드투엔드 가이드 공개

소형 LLM의 도구 호출 능력을 향상시키기 위해 설계된 엔드투엔드 지도 학습(SFT) 파이프라인을 상세히 다룬 종합 가이드가 발표되었습니다. 이 튜토리얼은 XYZ-Aquila-SFT 데이터셋을 사용하여 다중 턴 도구 궤적을 파싱하고, 구조화된 도구 호출을 추출하며, 이를 Qwen 호환 ChatML 형식으로 변환하는 방법을 보여줍니다. 해당 파이프라인은 Hugging Face Transformers, PyTorch, PEFT를 사용하여 Qwen3-0.6B 모델에 LoRA를 적용하며, 모델의 응답에 학습을 집중시키기 위해 어시스턴트 전용 손실 마스킹(assistant-only loss masking)을 포함합니다. 또한, 도구 호출 정확도 향상을 체계적으로 측정하기 위한 티처 포싱(teacher-forced) 평가 프로브도 제공합니다.

  • • Hugging Face Transformers, PyTorch, PEFT를 사용하는 엔드투엔드 지도 학습(SFT) 파이프라인을 설명합니다.
  • • 다중 턴 도구 궤적을 파싱하여 Qwen 호환 ChatML 형식으로 변환하는 워크플로우를 다룹니다.
  • • Qwen3-0.6B 모델을 LoRA로 파인튜닝하며, 학습 토큰에 어시스턴트 전용 손실 마스킹을 적용합니다.
  • • 학습 전후의 도구 호출 성능을 측정하기 위한 티처 포싱 평가 프로브가 포함되어 있습니다.

개발자들에게 구조화된 도구 호출을 안정적으로 출력할 수 있도록 소형의 작업 특화 모델을 파인튜닝하는 구체적이고 재현 가능한 워크플로우를 제공합니다.

SOURCES

2. Anthropic, Claude 모델에 SynthID-Text 구현 상세 내용 공개

보이지 않는 워터마킹 구현에 대한 기존 약속을 바탕으로, Anthropic은 향후 Claude 모델에 Google DeepMind의 SynthID-Text를 활용할 것임을 명시했습니다. 이 방식은 출력 품질, 속도, 비용에 영향을 주지 않으면서 토큰 선택의 무작위성을 조정하여 워터마크를 삽입합니다. 또한, 이미지는 메타데이터에 C2PA 표준을 사용하며, 향후 워터마크 탐지 API를 출시할 계획임을 확인했습니다.

  • • Anthropic은 향후 Claude 모델의 텍스트 워터마킹을 위해 Google DeepMind의 SynthID-Text를 사용합니다.
  • • 이 방식은 토큰 선택의 무작위성을 조정하여 워터마크를 삽입하며, 품질, 속도, 비용에 영향을 주지 않습니다.
  • • 워터마크에는 사용자 식별 정보가 포함되지 않습니다.
  • • 이미지는 메타데이터에 계속해서 C2PA 표준을 사용합니다.
  • • 향후 워터마크 탐지 API가 출시될 예정입니다.

EU AI 법 준수를 위해 도입되는 워터마킹 방식에 대한 기술적 명확성을 제공하며, 모델 성능에 영향을 미치지 않음을 확인해 줍니다.

SOURCES

Inference Brew를 인박스로

하루 5분. 무료, 언제든 해지할 수 있습니다.

Inference Brew를 인박스로

하루 5분. 무료, 언제든 해지할 수 있습니다.