😀 멤버 소개

<aside> 💡 DIYA에서 활동하는 멤버들로 구성되어있으며 추후 인원 보강 예정 !

• 👑김한빛님
  • 프로젝트 총괄
  • Img2Smiles 모델 개발 / 데이터 전처리
• 김진수님
  • 프론트엔드 / 벡엔드
  • Detection 모델 개발
• 김재영님
  • Img2Smiles 모델 개발
  • 딥러닝 서버 API 개발
• 김경민님
  • Backend 서버 API 개발
• 박수영님
  • Detection 모델 개발
  • PM : 서비스 기획 </aside>

✨ 프로젝트 소개

<aside> 💡 K-MolOCR은 화학 계열 연구 종사자들을 위한 분자 구조 이미지 검색 기능을 제공해주는 서비스입니다. 사용자 친화적인 관점에서 보다 쉽게 접근할 수 있도록 웹 서비스 형태로 무료로 제공해주는 시험용 서비스입니다.

• 사용자 친화적인 Molecule OCR
• 마쿠시를 따는 OCR 모델도 만들기

                            ⬇️

C=CC(=O)N1CC(Nc2ncnc3c(F)c(-c4ccc(F)c5sc(N)nc45)c(Cl)cc23)C1

</aside>

⚽  프로젝트 방향

<aside> 💡 무엇을 제공할 것인가?

• 현존 다른 서비스

  • Molecule OCR 기능을 제공하는 서비스들은 주로

    single image → single smiles

    pdf → list of smiles (dataframe)

    둘 중 하나의 데이터 구조로 결과를 내놓는 서비스임.

  • User-friendly 하지 못함.

  • Markush 구조를 따는 OCR 모델은 따로 없음.

• 참조 내용

  • Chemical diagram OCR : by mathpix

    Chemical diagram OCR and search

    • 장점
      • interface가 간단하고 예뻐 사용하기 편함
      • 손글씨체로 그려진 이미지 인식율이 높음
    • 단점
      • 유료 서비스
      • molecule image → smiles 정확도가 떨어짐
      • molecule ocr에 집중되지 않아 제약 연구 종사자들에게 접근성 떨어짐
      • single image → single smiles 만 가능
      • 마쿠시 인식 x

  • ChemoCR - by Fraunhofer SCAI

    ChemoCR - Fraunhofer SCAI

    • 장점
      • pdf full scan 기능 지원
      • semantic entities(table, molecule image, graph) classification 기능 지원
    • 단점
      • 유료 서비스
      • 다소 투박한 interface
      • 마쿠시 인식 x

  • Introduction to Markush

    Markush structure - Wikipedia

</aside>

✏️ Scheme and Milestone

<aside> 💡 딥러닝 기반 웹 서비스 기획 → 웹 서비스 배포에 이르기까지 프로젝트를 아래와 같은 순서로 진행할 예정입니다.

• POC 수준의 모델 개발

  • image-to-text model

    : 분자 구조를 담고 있는 image에 대한 text(smiles or smarts) 생성

    • inference 속도가 빨라야 함

    • 모델이 가벼워야 함

    • 모델의 정확도가 매우 높아야 함

    • 예측이 틀렸을 때 수정할 수 있는 Tool을 제공해야 함.

      GitHub - EBjerrum/rdeditor: Simple RDKit molecule editor GUI using PySide

  • molecule image detection model

    : 신약 특허 pdf 혹은 논문 pdf 내에 있는 분자 이미지 detection

    • inference 속도가 빨라야 함
    • 모델이 가벼워야 함

• Agile 방법론을 적용한 웹 서비스 기능 개발

  • 대략적인 구조 : 모델 학습 / 배포 + 웹 서비스 운영

    • 웹 서비스 운영 : 서버 (딥러닝 모델 탑재, 쿼리 처리) ↔ 프론트엔드(웹 클라이언트, 쿼리 송수신)
    • 모델 학습 : 데이터베이스 ↔ 서버

  • 모델 ↔ 서버 + 클라이언트 사이드에서 동작할 수 있는 UI + 데이터베이스

    

• DevOps + MLOps를 적용한 지속적 운영 및 배포를 고려한 서비스 개발 </aside>

🧐 Strategies to train image2smiles

<aside> 💡 Preprocessing

: label(smiles)이 주어진 real image(pdf내의 분자 이미지)를 대량으로 얻는 것은 어려움.

1. PubChem, Surechembl등의 사이트에서 smiles 리스트를 얻는다.
2. rdkit 패키지를 이용하여 smiles로부터 분자 이미지를 얻는다.
3. rdkit 함수와 이미지 augmentation을 이용하여 pdf 이미지와 유사하게 변형한다.

ex) C=CC(=O)N1CC(Nc2ncnc3c(F)c(-c4ccc(F)c5sc(N)nc45)c(Cl)cc23)C1

                         ⬇️

                            ⬇️

</aside>

<aside> 💡 Model

: CNN(Encoder) + Transformer(Decoder)

• Benchmark

  • Image2SMILES

  • DECIMER

    DECIMER 1.0: Deep Learning for Chemical Image Recognition using Transformers

  • SwinOCSR

    SwinOCSR: end-to-end optical chemical structure recognition using a Swin Transformer - Journal of Cheminformatics

</aside>

💾 참고 자료 및 문헌 모음

Repository

🔍 프로젝트 진행 일정

진행 일정표

✨ 프로젝트 회의 일정표

회의 진행 일정 및 논의 내용