🖥️ hackathon_abled

AI 기반 장애인 고용 매칭 서비스: “Abled” 앱 개발

👏 Team Members 👏

이름	역할
남경현	데이터분석 ,아이디어 기획
최연아	데이터분석 ,AI모델 빌딩
성호정	UI/UX 설계 ,프로토타입 개발
임형준	앱 개발 ,프로토타입 개발

🏛️ system architecture 🏛️

✨ Data analysis Flow chart ✨

• 공공데이터 포털 / 한국장애인고용공단_장애인 취업 정보 - https://www.data.go.kr/data/15088956/fileData.do
• 공공데이터 포털 / 한국장애인고용공단_장애인 구직자 현황 - https://www.data.go.kr/data/15088956/fileData.do
• 공공데이터 포털 / 한국장애인고용공단_장애인 구인 정보 - https://www.data.go.kr/data/3072637/fileData.do
• 공공데이터 포털 / 한국장애인고용공단_장애인 구인 실시간 현황 - https://www.data.go.kr/data/15117692/openapi.do

✨ Data preprocessing ✨

1. 희망직종 전처리

   • 자카드 유사도를 적용하여 희망직종을 16개 카테고리로 통일

2. 근로지역 전처리

   • 세분화 된 근로지역을 지역별로 분석을 용이하게 하기 위해 도 권역 단위로 끊어서 진행

✨ Exploratory Data Analysis ✨

📈 AutoML Flow chart 📈

1. Pycaret 설치

   • 라이브러리 설치 및 데이터 임포트

2. 데이터 전처리

   • 데이터가 2개 뿐인 ‘인문-사회과학 연구직', 자연-생명과학 연구직' 데이터 삭제
   • 45,117 rows x 5 columns 데이터 확인

3. 모델 생성

• 분류/회귀/군집에따라서 생성하는 모델 상이
• 분류 모델중 성능이 좋은 모델인 RF 모델 생성 (공식문서 참조)
• fold → 데이터셋을 5개로 나누어 교차 검증

4. 모델 성능 비교

• 15개의 ML모델 -> 평가지표별 성능 비교 후 평가
• 각각 모델들을 acc를 기준으로 상위 3개 모델 top3에 저장

5. 모델 튜닝 및 앙상블

- Gradient Boosting Classifier + Extreme Gradient Boosting + Logistic Regression -> Voting Classifier

6. 최종모델

• 학습 데이터 불균형으로 일어나는 문제를 해결하기 위해 상위 10개 직업군의 학습 데이터수 undersampling, oversampling 진행

❤️‍🩹 일자리 추천 유저 테스트 ❤️‍🩹

👏 가장 높은 확률을 가지는 일자리 추천 👏

🎬 세부 직무 설명 영상 제작 🎬

Model

Diffussion generation model 을 기반으로 하는
Sora는 OpenAI에서 공개된 모델로, 잡음이 있는 패치를 입력으로 받아 깨끗한 패치를 예측하도록 훈련받음.
특히, Sora는 diffusion transformers 이므로 언어 모델링, 컴퓨터 비전 , 이미지 생성과 같은 다양한 분야에서 뛰어난 성능을 보여줌.

영상 제작 Flow

1. 실시간 API
   • ‘한국장애인고용공단 장애인 구인 실시간 현황 API’에서 필요한 직무 기능이 들어간 키워드 발췌
   

2. 텍스트 전처리
   • 발췌한 직무 기능 키워드를 Gpt 3.5 api를 사용하여 Sora의 프롬프트에 알맞게 튜닝하는 전처리를 거침
   

3. Sora에 입력
   • Sora에 프롬프트를 입력해 영상을 제작

4. 직무 영상 제공 (현재 Sora api는 비공개이기 때문에 ‘Fliki’ 생성형 AI 비디오 툴 이용해서 직접 제작 )
   • 원하는 구인 공고를 클릭하면,구인 공고와 관련된 직무 영상이 바로 작동하도록 연결 https://github.com/hj78080/hackathon_abled/assets/102707496/d155737e-3801-4460-9e15-8b98ccbc9226

🎤 음성인식 기능 설계 🎤

사용자는 음성 인식 기능을 이용하여 쉽게 원하는 페이지에 접근할 수 있음. 구현 Process는 다음과 같음.

1. 서버에 각 페이지의 제목, 기능 등을 포함하는 Description 코드를 작성.
2. 안드로이드 음성 인식 기능을 이용하여 사용자의 음성 Data를 텍스트로 변환하여 서버에 전송.
3. 서버는 사용자의 음성 텍스트와 Description의 코사인 유사도를 비교하여 가장 유사도가 높은 페이지를 제공.

결과 예시

📕 피그마 앱 프로토타입 설계 📕

1. 사용자는 자신의 연령, 장애유형, 중증여부, 근무지역 입력을 입력할 수 있습니다. 사용자를 고려해 직관적이고 한눈에 볼수있는 UI를 도입하였습니다.

2. AutoML 기반의 AI 모델을 통해 가장 높은 확률을 가진 맞춤형 직업 추천을 해줍니다. 시각화 자료 또한 제공하며 실시간 API를 통해 맞춤형 공고를 제안합니다.

3. 홈페이지 또한 사용자를 고려하여 쉽고 직관적인 UI를 도입하였습니다. 일자리 찾기 , 커뮤니티 , 장애유형별 고용현황을 볼 수 있으며 커뮤니티를 사용하기 위한 회원가입/로그인 로직을 구현하였습니다.

4. 자연어 처리와 STT 기술을 UI에 도입하여, 사용자가 요구하는 페이지를 직관적으로 제공함으로 보다 쉽게 사용할 수 있고, 신체적으로 불편한 장애인들의 선택지가 늘어날 수 있게 구현하였습니다.

5. 커뮤니티 페이지입니다. 커뮤니티 페이지는 질문게시판, 정보 공유 게시판, 급한 구인 게시판으로 나누어져있으며 사용자들이 편하게 자신들의 이야기를 하고 정보를 공유할 수 있도록 기능에 따라 설계하였습니다.

프로토타입 시연 영상

https://www.youtube.com/shorts/kd3qTiy557I

👩‍💻 안드로이드 스튜디오 개발 파이프라인 👩‍💻