Abstract

FishFuzz 논문의 평가 방식은 정성적 분석을 강조하며, 퍼징 도구 비교에서 벤 다이어그램을 활용해 자신의 도구가 여러 퍼징 도구를 합친 것만큼 좋음을 드러낸다. 또한, 하이퍼파라미터 최적화를 통해 다양한 오류 유형에 대한 성능을 명확히 설명한다. 그러나 특정 오류에서의 유별난 강점을 충분히 분석하지 않은 점은 아쉬움으로 남는다.

본문

FishFuzz 논문의 평가는 단순한 커버리지나 오류 유발 시간과 같은 정량적 지표를 넘어, 매 탐구 질문 (RQ) 단락마다 정성적 분석을 통해 자신의 우수성을 강조한다. 대표적으로, 오류 탐지 효과성을 논의하는 부분에서는 벤 다이어그램을 활용하여 여러 도구가 찾은 오류 간의 관계를 시각화한다.

또한, 시각화가 어려운 상황에서는 독자가 납득할 만한 대안을 충실히 제시한다. 예로 한 벤치마크에서는 비교 대상 도구가 너무 많아 벤 다이어그램이 부적절한 상황이 발생했다. FishFuzz는 이를 위해 각 도구 쌍마다, 둘이 함께 찾은 오류 수를 표로 제공하는 방식을 도입했다. 표 자체만으론 직관적인 메시지가 없지만, FishFuzz가 기존 도구들이 찾는 오류를 대부분 포괄한다는 서술을 함께 보면서, FishFuzz가 찾아내는 오류가 특정 종류에만 해당하는 게 아닌지의 우려를 불식시키는 효과를 체험할 수 있었다.

더불어, 하이퍼파라미터 조정이 성능에 미치는 영향을 체계적으로 설명한다. 특정 벤치마크에서 최적화된 하이퍼파라미터를 사용했음을 솔직히 인정하면서도, 다른 벤치마크에도 동일한 설정을 적용함으로써 불공정성 논란을 방지했다. 또한, 벤치마크마다 최적 설정이 다르다는 걸 도구의 한계점으로 보지 않고, 벤치마크의 오류 유발 난이도에 따라 집중 시간을 조정해야 하다는 설명을 한다. 이는 벤치마크의 성질에 따라 설정이 바뀌어야 한다는 걸 당연하게끔 납득시킬 뿐 아니라, 사용자가 발견하길 원하는 오류에 맞춰 설정을 바꿀 가이드라인이 됨으로써 도구의 실용성을 높인다.

그러나 오류 유형별 성능 차이를 분석하지 않은 점은 아쉽다. 정량적 결과를 보면 FishFuzz는 스택 오버플로우 오류에서 타 도구 대비 강력한 성능을 보인다. 특히, FishFuzz가 최초로 발견했기 때문에 어느 정도는 FishFuzz에 특화되어 있을 오류들을 제외하면 차이가 더욱 극명하다. 하지만 논문에서는 이 강점의 원인을 깊이 있게 분석하지 않았다. 실험 결과, 해당 종류의 오류에서 FishFuzz의 성능 향상은 논문에 서술된 전략의 주된 효과가 아니라, 언급되지 않은 전체 시드 순환 주기의 단축이 큰 영향을 미친 것으로 나타났다. FishFuzz의 정성적 평가는 기술의 유무에 따른 성능 차이를 강조하는 데 집중했지만, 기술이 어떤 식으로 작용해 성능을 끌어올렸는지를 분석하는 데는 부족함이 있었다. 실험 결과 그 공백이 예상치 못한 요소로 채워짐으로써, FishFuzz의 전략이 과연 최적의 형태인지 의문이 들며, 오히려 해당 부수적 효과에 집중해 전략을 발전시킬 필요가 있었던 것은 아닌지 갸우뚱하게 만든다.

결론적으로, FishFuzz의 평가 방식은 효과적이고 설득력이 있었지만, 성능 향상의 원인 분석이 부족한 점은 아쉬웠다. 추가 분석이 있었다면 연구의 실질적 기여와 개선 방향이 더욱 명확해졌을 것이다. 이러한 점을 반영하여, 내 연구에서는 성능 차이를 발생시키는 핵심 요소를 놓치지 않고 분석해야겠다는 교훈을 얻었다.