Search

jobAdream

개요
기업 전망 평가 제공 서비스
상태
완료
프로젝트 분류
토이 프로젝트
날짜
2024/07/29 → 2024/12/31
Site : link iconjobAdream
개발 인원 : 4명 → 7명 → 8명
기여도 : 64% (PM)
프로젝트 목적 : 구직자가 지원하려는 기업에 대한 종합적인 평가를 제공하여 정보 불균형을 해소

개요

대기업, 중견기업, 강소기업 뿐 아니라 비재무 데이터를 활용한 중소기업 및 스타트업의 휴폐업을 예측하는 모델을 개발하여, 이를 기반으로 구직자가 신뢰성 있는 기업 안정성 평가 정보 및 채용 공고를 제공받을 수 있는 통합 채용 정보 제공 사이트

담당 역할

•
AWS SDK를 이용한 데이터 수집 Lambda 모듈, Batch 워크로드 구현
•
PyGWalker를 사용한 시각적 데이터 분석
•
PySpark를 사용한 ETL Process Glue Pipeline 구현
•
Hugging Face Transformer 모델 평가 및 비교
•
뉴스 데이터 감성 분석
•
PyTorch, Scikit-learn을 사용한 기업 전망 예측 Model 개발
•
Vue.js를 사용한 Frontend 개발
•
Git/Github Issue, Project를 이용한 프로젝트 및 팀 관리
•
AWS Cloud Architecture 설계 및 구축
•
프로젝트 목표 및 가설설정-실험설계 및 검증

기술 스택 (I used)

•
언어 : Python JavaScript TypeScript Java
•
프레임워크 : FastAPI(old BE) Ray Apache Spark Vue.js Spring Boot(new BE)
•
데이터베이스 : PostgreSQL
•
AWS : RDS S3 CloudFront Route53 ECR ECS Code Pipeline ELB, CM IAM Lambda EventBridge Glue
•
ETC Devops : Docker, Git/Github, Swagger

구조

System Architecture

Data Architecture

실험

문제 & 목표

•
문제 : 현재 나와있는 대부분의 채용 플랫폼들은 기업을 중점으로 구직자의 정보를 제공해주고 있어서 구직자들이 기업의 정보를 채용정보와 함께 찾아보기 힘들다.
•
목표 : 구직자도 취업에 필요한 기업의 정보를 제공받을 수 있도록, 기업의 휴폐업을 예측하여 사용자에게 제공해준다.

가설

1.
국민 연금 데이터를 활용하여 연봉을 추정 할 수 있다.
2.
기존 예측에 사용되던 재무 변수와 더불어 비재무데이터를 이용하면 휴폐업 예측의 정확도를 향상시킬 수 있다.

사전 연구

•
[가설 1] 연봉 추정 데이터 : ‘인적자원관리가 기업성과에 영향을 준다’는 선행연구
→ 해당 데이터는 국민연금에서 더 이상 제공되지 않아 다른 방안으로 변경함.
•
뉴스 정보
◦
‘뉴스의 감성분석이 전망 예측 연구에서 예측 성능을 향상시킨다’는 선행연구
◦
‘중소기업의 기사형 광고는 기업의 전망에 부정적 영향을 준다’는 선행연구

실험 설계

1.
연봉 추정 분석
a.
국민연금 보험료는 소득 상한선과 하한선이 설정되어 있어 소득 전체가 아닌 일부 소득에만 부과된다.
b.
이를 역산하면 신고소득월액의 계산이 가능하다.
2.
기업 전망 예측
a.
Feature Importances와 SHAP를 적용해 어떤 어떤 변수가 휴폐업에 주요한 영향을 미치는지 분석한 후 예측 모델에 해당 값을 반영
b.
개선된 모델에서 각 비재무적 요인이 모델에 미치는 영향을 해석하고 중요도를 파악
c.
비재무 데이터 수집 방안
i.
뉴스 정보 : API, 크롤링
ii.
주식 시장 정보 : API
iii.
스타트업 투자 정보 : 크롤링
iv.
거시 경제 지표, 금융시장 지표 : API
v.
기타 비재무 데이터(근로자, 표준 산업 분류, 직원 수 등) : API

실험 및 검증

1.
기업 전망 예측

정량적 성과

•
2024-10-01 기준 1차 Agile 프로젝트 성과
◦
누적 사용자 1053명 집계 (오픈톡방, 각 학교 커뮤니티, 교육지점 등에 마케팅)
◦
각 기업에 대한 조회수 데이터(714건) 수집을 진행하여 관심 기업에 대해 집계
•
2707여 개의 상장기업 재무제표 수집
•
및 주식, 뉴스 데이터
•
회고(retrospective) 과정을 통해 업무 프로세스 개선하여, 1차 Agile 대비 WBS 진행도 20% 향상

정성적 성과

•
AWS 시스템/데이터 아키텍처 설계 및 구축 경험
•
Git Project를 이용한 프로젝트 관리 경험
•
Scrum 미팅 및 Git 이슈 관리를 통해 팀 간의 정보 공유와 협업 완화, 의사소통 문제로 인한 업무 지연이 기존 프로젝트 대비 크게 감소
/mer