- CTGT의 연구에 따르면 DeepSeek이나 Moonshot의 오픈 소스 모델에서 증류(distillation)된 AI 모델이 원본 모델의 정치적 검열 메커니즘을 반드시 상속하지는 않는 것으로 나타났다.
- 위구르인 구금 시설에 대해 물었을 때, DeepSeek 모델은 증거를 부정했으나 CTGT가 DeepSeek 데이터를 사용해 훈련시킨 모델은 구금 시설에 대한 증거가 있음을 인정했다.
- 이 결과는 중국의 오픈 소스 AI가 베이징의 정치적 관점을 전파할 것이라는 미국 정부의 주요 우려 중 하나에 의문을 제기한다.
- CTGT는 거대 모델이 생성한 데이터로 더 작은 모델을 훈련시키는 증류 방식을 사용했다.
- 연구진은 이전에 검열이 학습 과정을 통해 새 모델로 전송될 수 있다고 가정했으나, 실험 결과는 이를 확인해주지 않았다.
- CTGT는 중국 관련 주제와 대조 질문을 포함한 152쌍의 질문을 평가했으며, xAI, Google, OpenAI, Anthropic의 모델을 사용하여 결과를 채점했다.
- 해당 연구는 단 한 쌍의 모델만 조사했으며, 검열이 상속되지 않는 구체적인 메커니즘은 아직 설명하지 못했다.
- CTGT에 따르면, 많은 금융 기업들이 검열이 분석 결과를 왜곡할 것을 우려해 중국 AI 사용을 주저하고 있다.
- 보고서는 중국 AI 모델을 맞춤화하거나 미세 조정하면 기업들이 저비용과 고성능의 이점을 활용할 수 있다고 제안한다.
- 저자는 또한 검열 제거가 가능하다면 다른 안전 장치도 우회될 수 있어 AI 오용 위험이 커질 수 있다고 지적했다.
- 일부 미국 관리들은 중국 AI에 보안 백도어가 포함될 수 있다고 우려하지만, 기사는 현재 확인된 증거가 없다고 밝혔다.
- 이번 연구는 중국 AI 제한 정책을 재평가할 근거로 간주되며, 결론을 내리기 전에 심층적인 연구가 계속되어야 함을 강조한다.
📌 새로운 연구는 중국 오픈 소스 AI 모델이 미세 조정된 모델로 검열 메커니즘을 자동 전송한다는 관점에 의문을 제기합니다. 이 결과는 기업과 정책 입안자들이 중국 AI를 바라보는 방식을 바꿀 수 있습니다. 하지만 검열 제거가 쉬워지면 다른 안전 장벽도 무력화될 수 있다는 경고도 담고 있어, 더욱 엄격한 AI 거버넌스 메커니즘이 요구됩니다.
