[IMGenie] Airflow 구축 이야기 - 1
·
프로그래밍/부스트캠프 AI
지원을 하다보면 자신감이 드는 부분도 있지만, 아직은 부족한 점이 많다고 느낀다. 게다가 파이썬 개발자 환경이 다각화된 탓에, 해보고 싶은 게 많고 부족한게 많다고 느낀다. 프로젝트는 8월에 끝났지만 계속 마음속에 남았던 airflow 구축 이야기를 해보고자 한다. 다소 그림보다 글이 많을 수 있으니 관심이 없으면 보기 힘들듯.. 하하 🤔 해야 하는 것 Airflow를 도입하게 된 이유는 다음과 같다. (위가 중요하다) 그냥 해보고 싶어서: 저번에 쿠키를 추가하면서 로드밸런서를 구축하고.. https를 추가하는 작업은 정말 재밌었다. CI/CD도 재밌다는 것을 알게 되었고, airflow도 도전해보고 재미를 얻고 싶었다. 최신 곡 추가: 흔히들 프로젝트는 포폴 용도로 쓰고 버린다. 바로 애정이 없어서 ..
[IMGenie] 결과 페이지 추가와 카카오톡 공유하기
·
프로그래밍/부스트캠프 AI
계속 이미지니에 집착하는 감이 있지만, 만드는게 또 재밌다. 이번엔 카카오톡 공유하기를 만들어보았다. 하는 김에 음악을 들려줘야 하니, 친구에게 보여줄 결과 페이지도 만들었다. 카카오톡 공유하기는 이렇게 되고 결과 보러가기를 누르면 대충 아래와 같다. 결과 보러가기는 사실 쿼리 파라미터로 이미지정보와, 곡 정보를 보내주는 방식이다. 기간은 단순히 2일 걸렸다. 끗.
[Imgenie] https와 쿠키를 도입했음
·
프로그래밍/부스트캠프 AI
이미지니 서비스 개발은 거의 막을 내렸지만 어쨌거나 나에겐 해야할 것이 있었다. 별로 대단한 것은 아니지만, 아침 스터디에 도언니의 "그래도 한번 올려보는게 어때?"라는 말을 듣고 글을 써본다. 이번글은 개발에 있어서 유용한 정보를 제공하는게 아니거나와 내용도 사실 별로 없다는 것을 유의해주셨으면 좋겠다. 🍪 쿠키 도입 기존에는 jwt로 사용자 인증을 담당했었다. 요청헤더에 토큰이 없으면 재발행 하게했다. 그런데 jwt는 보통 사용자 인증을 안전하게 구현하기 위해 쓰이는데, 우리 서비스에는 이렇게 까지 할 필요가 없었다. 쿠키를 도입하면 헤더에 넣지 않아도 자동으로 전송되고 더 일반적인 방법인 것처럼 보였다. 다른 개발자분의 의견도 쿠키를 도입하는 계기가 되었다. 사실 프로그래머가 아니더라도 어릴때부터 ..
[Imgenie] 회고
·
프로그래밍/부스트캠프 AI
Imgenie는 네이버 커넥트재단에서 운영했던 부스트캠프 AI Tech의 최종 프로젝트로 만들었던 프로젝트다. 사용자가 이미지를 넣으면 노래를 추천해주는 서비스인데, 부캠이 끝나고도 미련이 남아 계속 개발을 했었다. 이 글은 이제 적어도 나는 얼추 마무리를 지어야 할 때가 온 것 같아 적는 회고글이다. 서비스는 아직 운영중이다. http://imgenie.co/ 이 링크로 들어오면 해볼 수 있다. 서비스에 대한 소개는 깃허브 저장소 혹은 노션 페이지를 참고하시면 되겠다. 🎯 초기 개발 목표 처음 개발할때는 프로젝트에 대해 걱정과 자신감 모두 마음속에 품고 있었다. 걱정은 이미지로 부터 음악을 추천해주는게 가능한 일인가? (성능에 대한 평가가 가능한가?) 싶었고, 그동안 우리 팀원들이 다들 잘해주셨기 때문..
[Movie Rec] S3Rec의 모듈화 시도
·
프로그래밍/부스트캠프 AI
이번 Movie Rec은 5월 중순부터 6월 중순까지 이어지는 네이버 AI 부캠 대회이다. 과정에서 성능적인 향상은 이끌어내지 못했지만 깊게 고민해봤던 시도가 있어 적어두었다. 개발한 코드는 다음 레포에서 볼 수 있다. https://github.com/boostcampaitech5/level2_movierecommendation-recsys-03 💬 간단한 모델 소개 S3Rec은 SASRec에 side info를 사전학습시켜 user-item간 interaction을 학습, 추론 시키는 모델이다. 사전학습할때는 아래 4개의 방식으로 학습하며, loss는 weight를 다르게 해서 더한 값을 쓴다. 📝 기존 구조 레포주소: https://github.com/aHuiWang/CIKM2020-S3Rec/tr..
[DKT] Github Action 테스트 도입
·
프로그래밍/부스트캠프 AI
🤔 발단 이전 프로젝트(Book recommendation) 때부터 자동화된 테스트를 도입하고 싶었다. 그래서 이전에도 사용해본 적 있는 "Github Action"을 꼭 써보고 싶었는데, 이번에 여러 문제를 겪으며 적용해보았다. 💥 문제1 - wandb logger 우리는 지금 당장은 통합테스트를 수행할 것이다. 그리고 Github Action을 이용할 것이기 때문에 API KEY가 필요한 것은 배제해야 한다. -> 그것이 이번 문제의 주인공인 wandb가 되겠다. 📝 @patch 모킹은 좋은 방법이 아니지만, 어쩔 수 없이 써야 할 때가 있기 마련이다. 파이썬은 그래서 @patch라는 모킹 데코레이터 함수를 제공해주고 있다. @patch(패키지.함수) 와 같은 형태로 테스트 함수에 달아주면 된다. 아..
[DKT] lgbm에 label을 feature로 넣으면...
·
프로그래밍/부스트캠프 AI
🧐 사건의 발달 nmf으로 latent feature를 만들어낸 후, lgbm에 학습한 성능 보고를 하려 글을 쓰려던 참이였다. 아래와 같은 피쳐 대조군을 만들어 학습을 돌리고 features: - KnowledgeTag - userID - Timestamp - testId - assessmentItemID - answerCode 아래와 같은 실험군을 돌릴려고 했다. (latent feature 추가) features: - KnowledgeTag - userID - Timestamp - testId - assessmentItemID - answerCode - userLatentFactor1 - userLatentFactor2 - userLatentFactor3 - assessmentLatentFactor..
DKT - EDA 해보기
·
프로그래밍/부스트캠프 AI
보호되어 있는 글입니다.
2jun0
'프로그래밍/부스트캠프 AI' 카테고리의 글 목록