HoF-Bench: 최첨단 모델 없이 AI가 발견한 실제 CVE를 재발견하기

연구진은 AISLE이 8개 저장소에서 찾아낸 95개의 실제 CVE로 HoF-Bench라는 벤치마크를 만들었다.

엄격한 블라인드 판정 절차로 10개의 분석기 백본을 비교해, 실제 취약점 탐지 성능을 평가했다.

최소 구성의 LLM 기반 분석기는 최대 65개의 CVE를 재발견했지만, 최첨단(frontier) 모델은 이번 연구에서 성공하지 못했다.

이번 결과는 소형 LLM 시스템도 상당수의 취약점을 찾아낼 수 있으며, 언어와 모델 일관성에 따라 성능 차이가 크다는 점을 보여준다.