[AI 테스트] 메타모픽 테스트 기법 (Metamorphic Testing)

메타모픽 테스트(Metamorphic Testing)는 AI 시스템의 동작을 검증하는 강력한 방법 중 하나예요. 특히 AI 시스템의 출력을 직접적으로 예측하기 어려울 때 유용하게 사용됩니다.

쉽게 말해, 어떤 입력에 대해 AI 시스템이 예상되는 출력을 내놓는지 직접 확인하는 대신, 입력을 약간 변형했을 때 출력도 예상되는 방식으로 변형되는지를 확인하는 방법이에요. 마치 원래 문제와 관련된 '또 다른 문제'를 만들어 비교하는 것과 같습니다.

그럼 그림과 함께 자세히 설명해 드릴게요!

---

1. 기본 아이디어: 예측 불가능한 AI 출력

AI 시스템, 특히 딥러닝 모델은 블랙박스와 같아서 입력(X)을 주었을 때 어떤 출력(Y)이 나올지 정확히 예측하기 어려운 경우가 많습니다.

 

예를 들어, "고양이" 사진을 주면 AI가 "고양이"라고 분류할 것이라고 기대하지만, 이 출력이 '정말 맞는 출력인지'를 수십만 장의 사진에 대해 일일이 확인하는 것은 불가능에 가깝죠.

 

 

2. 메타모픽 관계(Metamorphic Relation)의 등장

여기서 메타모픽 테스트의 핵심인 '메타모픽 관계(Metamorphic Relation, MR)'가 등장합니다. 메타모픽 관계는 "입력이 특정 방식으로 변형되면, 출력도 특정 방식으로 변형될 것이다"라는 속성을 말해요.

이 관계는 도메인 지식이나 시스템의 고유한 특성으로부터 파생됩니다.

 

 

3. 메타모픽 테스트의 3단계

메타모픽 테스트는 일반적으로 다음과 같은 3단계로 진행됩니다.

단계 1: 원본 입력으로 AI 시스템 실행

먼저, 테스트하고 싶은 원본 입력(X)을 AI 시스템에 넣고 출력(Y)을 얻습니다.

 

단계 2: 입력 변형 및 AI 시스템 다시 실행

이제 원본 입력(X)을 메타모픽 관계에 따라 변형된 입력(X')으로 만듭니다. 그리고 이 변형된 입력(X')을 다시 AI 시스템에 넣고 출력(Y')을 얻습니다.

 

예를 들어, 이미지 분류 모델이라면 원본 고양이 사진을 좌우 반전시키거나 밝기를 조절하는 식으로 변형할 수 있겠죠.

 

단계 3: 두 출력 비교

마지막으로, 원본 출력(Y)과 변형된 입력에 대한 출력(Y')이 메타모픽 관계에서 기대하는 바와 일치하는지 비교합니다.

 

예를 들어, "고양이 사진을 좌우 반전해도 여전히 고양이로 분류되어야 한다"는 메타모픽 관계가 있다면, 원본 출력이 '고양이'이고 변형된 출력도 '고양이'여야 테스트를 통과합니다. 만약 변형된 사진에서 '개'라고 나오면 AI 시스템에 문제가 있다고 판단할 수 있습니다.

 

4. 다양한 메타모픽 관계의 예시

메타모픽 관계는 AI 시스템의 종류에 따라 매우 다양하게 정의될 수 있습니다.

• 이미지 분류:
  • 좌우 반전: 고양이 사진을 좌우 반전해도 여전히 '고양이'로 분류되어야 한다.
  • 밝기/대비 조절: 사진의 밝기나 대비를 약간 조절해도 주요 객체의 분류 결과는 변하지 않아야 한다.
  • 크기 조절: 이미지 크기를 조절해도 객체 분류는 동일해야 한다 (단, 너무 작아지면 안 됨).
• 자연어 처리 (번역):
  • 문장 순서 변경: "나는 너를 사랑해"를 영어로 번역한 것과 "너를 사랑해 나는"을 영어로 번역한 결과는 의미적으로 동일해야 한다 (비록 문장 구조는 다를 수 있어도).
  • 동의어 교체: 원본 문장의 단어를 동의어로 바꾸어도 번역 결과의 의미는 유지되어야 한다.
• 추천 시스템:
  • 새로운 항목 추가: 특정 영화에 대한 사용자 선호도 예측 시, 사용자가 이미 본 다른 영화를 목록에 추가해도 원래 영화에 대한 선호도 예측은 크게 변하지 않아야 한다.
  • 사용자 순서 변경: 두 사용자의 순서를 바꿔도 전체 추천 결과의 분포는 유사해야 한다 (사용자 ID는 고려).

 

5. 메타모픽 테스트의 장점

• 오라클 문제 해결: AI 시스템의 정확한 출력을 알기 어려울 때, 메타모픽 관계를 통해 간접적으로 검증할 수 있습니다.
• 테스트 케이스 확장: 하나의 원본 입력으로 여러 변형 입력을 만들어 테스트 케이스를 효과적으로 확장할 수 있습니다.
• 효율성: 수많은 입력을 일일이 수동으로 확인하는 대신, 메타모픽 관계만 정의하면 자동으로 테스트를 수행할 수 있습니다.
• 예상치 못한 결함 발견: AI 시스템이 특정 변형에 대해 민감하게 반응하거나 잘못된 판단을 내리는 경우를 찾아낼 수 있습니다.

---

결론적으로, 메타모픽 테스트는 AI 시스템의 '일관성'과 '강건성'을 테스트하는 데 매우 효과적인 방법이며, 특히 복잡하고 예측 불가능한 AI 시스템에 필수적인 테스트 기법입니다.