[카부캠][가짜리뷰판별기] 중간 발표

 

11월 13일, 드디어 파이널 프로젝트 중간 발표를 진행했습니다!!

각 팀 당 10분 간 발표, 5분 피드백을 받을 수 있었습니다. 

 

 

이번엔 제가 발표를 진행했어요 ㅋㅋ (줌으로)

혼자 10분 발표하는 건 쉽지 않다는 걸 느꼈습니다... ^^

발표는 온/오프라인 진행 중 선택할 수 있었어요! 저는 이번엔 온라인으로 진행했습니다. 

 

아이디어: 가짜 리뷰 판별기!

저희는 AI 기반 가짜 리뷰 판별기를 제안하고 발표했습니다. 

 

(1) 서비스 배경 및 아이디어

요즘 가짜 리뷰들이 너무 많기도 하고, 광고 표시를 안하는 리뷰들이 너무 많잖아요!

그래서 저희는 텍스트적 특징을 기반으로 가짜 리뷰를 판별하는 AI 서비스를 제안했습니다!

아이디어 배경 및 주요 기능

 

(2) 유저 플로우

유저 플로우는 다음과 같습니다. 주요 플로우만 말씀 드리면 사용자가 리뷰 URL을 입력하면, 검사 결과를 확인합니다. 그 이후에 해당 블로거에 대한 커뮤니티 반응을 볼 수 있답니다. 

유저 플로우

 

 

 

검사 결과는 아래와 같이 3가지로 제공됩니다: (1) 리뷰 요약 (2) 리뷰 점수(0~100점) (3) 판별 근거 

• (2) 리뷰 점수의 경우, 점수가 높을 수록 신뢰도 있는 리뷰라는 것을 의미합니다. 
• 또한, AI의 (3) 판별 근거를 제공하여 사용자들의 합리적인 판단을 도왔습니다! 

 

 

(3) 시스템 아키텍쳐 

시스템 아키텍쳐

 

저희 카카오 현직 멘토님 🥰 Jayden 🥰 님과 함께 매주 멘토링을 통해 시스템 아키텍처에 대한 피드백을 받아 열심히 고친 결과물!!

뿌듯하네요~!! 저도 열심히 이해해서 발표하려고 노력했어요. @일타강사헤더

 

각 파트별 핵심 기능

(1)  클라우드 

: 인프라 자동화를 위한 Terraform과 CI/CD 파이프라인 구축을 위해 젠킨스를 구현했습니다. 

 

 

(2)  풀스택

주요 기능인 가짜 리뷰 검사 로직과 AWS 파라미터 스토어 활용입니다. 

 

가짜 리뷰 검사 로직

: 저희 서비스는 리뷰 텍스트가 분석되기 까지 시간이 소요되기 때문에, 사용자 요청에 바로 응답을 줄 수 없다는 한계가 있었습니다. 따라서, 3단계로 검사 로직을 구현했습니다. 중요한 내용만 말씀 드리면, 프론트엔드는 초기 검사 요청 이후에 계속 풀링을 통해 검사 결과가 나왔는지 검사하게 됩니다! 그동안 백엔드는 요청을 레디스 Queue에 저장하고 AI 서버에 분석을 요청하게 됩니다. 요청에 대한 검사 결과가 나오면 프론트는 결과를 사용자에게 보여주게 됩니다. 

 

AWS 파라미터 스토어

: 서비스 개발할 때, 너무 많은 파라미터들이 있고, 수시로 계속 바뀌는 경우가 있잖아요! 그래서 AWS 파라미터에서 이를 통합적으로 관리할 수 있습니다. AWS 파라미터 스토어에 DB 비밀번호와 같은 민감 정보들을 안전하게 보호할 수 있어서 보완성도 UP. 

 

 

(3)  AI

KoBERT 모델을 파인튜닝하여 가짜 리뷰 판별 모델을 학습했습니다! Pytorch를 통해 모델을 학습하는 것은 오랜만인데, 프로젝트를 통해서 다시 Pytorch에 대해서 리마인드 할 수 있어서 좋았습니다. 

었

다만, 키워드 기반의 데이터 라벨링 보다는 앞으로 Auto-labeling 알고리즘을 통해 퀄리티를 향상해야할 필요가 있습니다. 

인공지능  Sally 퍼실리테이터님을 매일 찾아가서 관련 문제에 대해 같이 의논해주셔서 많은 도움이 됐습니다!! 문제를 가져가면 다 해결해주심(??).

 

퍼실님과 멘토링 과정에서 제가 인상 깊었던 내용은 다음과 같습니다. 

1) 해결하려는 문제 정의 및 목표에 따라서 AI 모델 구조 및 학습 방향을 설정해야한다. 
2) 실제 배포 환경에 따라서 모델을 선택할 필요도 있다(e.g.  gpu 사용 못하는 환경). 

 

시연 영상

 

제가 급하게 요청했는데, nunu님 정말 잘 만들어주셨습니다. 

질의응답 시간을 알차게 썼다는 피드백을 받아서 정말 뿌듯 :)

 

피드백  요약

AI 에 관련된 피드백이 많았습니다. 

• 가짜 리뷰 판단 기준 재정비
  
  • 같은 블로거 id가 반복되거나 필터링 키워드를 좀 더 추가하면 좋을 것 같다 - Kenes
  • 내돈내산 키워드로만 판단하면 위험할 수 있음 - Sally
    • data-driven하게 접근할 필요가 있음(Auto-labeling 적용). 
• 데이터 전처리: 전처리가 굉장히 중요함, 그걸 신경쓰면 좋은 모델이 나올것 같음 - Kenes
• 파이프라인 자동화:  네이버 블로그 외에도 쿠팡이나 다른 플랫폼에서 확장 가능성을 고려하여 파이프라인 자동화 - Sally
  • 데이터 크롤링부터 auto-labeling, 모델 학습까지 파이프라인을 자동화 -> 플랫폼 확장에 도움이 될 것 

 

요즘 MLOps에 관심이 있어서 Sally 퍼실님의 "파이프라인 자동화" 피드백이 인상 깊었습니다!! 

---

 

 

마무으리

 

전체적으로 학생들이 기획안 발표보다 훨씬 성장했다는 퍼실리테이터의 피드백에 가슴에 따뜻해졌습니다ㅋㅋㅋ!!

다들 성장하고 있는 것 같아서 뿌듯하고, 더 열심히 할 껄.. 이라는 후회도 들기도 하네요. 

모두 파이널 프로젝트 잘 마무리 하기를 바랍니당~~~.