Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Feature/atmos train #24

Merged
merged 22 commits into from
Oct 5, 2021
Merged

Feature/atmos train #24

merged 22 commits into from
Oct 5, 2021

Conversation

ehddnr301
Copy link
Contributor

No description provided.

chl8469 and others added 22 commits September 15, 2021 09:32
텐서플로우는 각 체크포인트마다 모델을 파일형태로 저장할 수 있습니다. 그렇게 되면 nni 실험 1 회당 모델이 1개씩 만들어지게 됩니다. 매번 좋은 성능의 모델을 DB에 업데이트할 수도 있지만 실험이 끝난 후 1회만 업데이트 하기 위하여 해당 역할을 하는 자식프로세스를 만들도록 하였습니다.
* 자식 프로세스는 부모 프로세스가 nni실험을 호출하고 종료된 이후에도 남아있습니다.
* 모델이 과도하게 많이 생성되는 것을 방지하기 위하여 텐서플로우가 모델 이름에 성능을 적어두면 그것을 기반으로 자식 프로세스가 주기적으로 저장된 모델의 개수를 파악하고 3개만 유지하도록 합니다.
* nni 실험이 모두 종료되면 best score model을 DB에 저장하고 nnictl stop (experiment ID)를 호출하여 실험을 종료하고 자신도 종료합니다.
* multiprocessing 라이브러리를 이용하였습니다.
인덱싱 잘못돼서 오류나던것 수정
README에 API 문서화를 진행했습니다.
>> 추가적으로 return message 통일이 필요합니다.
함수와 클래스의 독스트링을 작성하였습니다.
* 몇몇 함수의 사용예시를 추가하였습니다.
* train 함수가 학습의 최종결과를 반환하지 않는다는 내용을 Returns에서 Note로 이동시켰습니다.
클래스화 하는 도중에 잘 진행되지 않아 임의로 커밋해서 공유합니다.
작동확인하였습니다.
지금 깔끔하게 코드를 작성하지 않았고 추후에 깔끔하게 작성할 예정입니다.
코드부분과 쿼리문을 분리했습니다.
logging 할때 log level에 해당하는 부분만 색이 나오도록 변경했습니다.
데모를 위해 maxTrialNum 을 1로 수정했습니다.
데모를 위해 대기시간을 조정하였습니다.
모델파일을 저장하는 과정에서 동작하지 않게 저장해서 임시로 수정하였습니다.
모델 업데이트나 저장 과정을 수정하였습니다.
pre-commit 을 black으로 수정했습니다.
1. 단일 함수에서 클래스로 다시 만들었습니다.
2. 스코어가 향상되면 SQL 쿼리를 이용하여 모델과 점수를 업데이트 하도록 변경하였습니다.
@ehddnr301 ehddnr301 merged commit 02ba16d into develop Oct 5, 2021
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants