전체 글

[P stage][Final Proj] selenium invalid session id error

요 며칠간 골머리쓰던 Error를 탐구해보고자 한다 데이터 스크래핑과정에서 생긴 에러 selenium.common.exceptions.InvalidSessionIdException: Message: invalid session id https://developer.mozilla.org/en-US/docs/Web/WebDriver/Errors/InvalidSessionID Invalid session ID - WebDriver | MDN The invalid session ID error is a WebDriver error that occurs when the server does not recognize the unique session identifier. This happens if the sess..

window에서 가상환경 실행

venv로 파이썬 가상환경 만들기 powershell or bash python -m venv {가상환경명, 주로 venv} : 가상환경 생성 .\venv\Scripts\activate (powershell) : 가상환경 실행 source venv/Scripts/activate (bash) : 가상환경 실행 deactivate : 가상환경 종료 나도코딩 Youtube - 파이썬 가상환경 사용 방법 (중요) | venv 가상 환경 생성 python -m venv venv 가상 환경 활성화 .\venv\Scripts\activate 권한 에러 발생 시 2-1. Windows PowerShell 관리자로 실행 2-2. Set-ExecutionPolicy RemoteSigned 입력 후 Y 입력 2-3. 다시 ..

[환경설정] 내가 하는 처음 컴퓨터 샀을 때 환경설정

1. 먼저 VSC 를 먼저 다운 로드 받는다 https://code.visualstudio.com/ Visual Studio Code - Code Editing. Redefined Visual Studio Code is a code editor redefined and optimized for building and debugging modern web and cloud applications. Visual Studio Code is free and available on your favorite platform - Linux, macOS, and Windows. code.visualstudio.com 2. python을 다운로드 받는다 먼저 파이썬이 있는지 없는지도 확인 https://www.pytho..

[Scraping] Web Crowling 이라기 보단 Scraping (beautifulsoup4)

자 묻지도 따지지도 말고 라이브러리 부터 다운 받읍시다 pip install beautifulsoup4 pip install lxml 저 두번째 꺼는 엘 엑스 엠 엘 임ㅇㅇ... 자 네이버 웹툰의 url을 가져 옵시다 import requests from bs4 import BeautifulSoup url = "https://comic.naver.com/webtoon/weekday" res = requests.get(url) res.raise_for_status #못가져올시 프로그램 종료되게 soup = BeautifulSoup(res.text, "lxml") 마지막 줄은 우리가 url 로 가져온 res를 lxml을 통해서 BeatifulSoup 객체로 만듬 이러면 soup에 모든 정보를 가지고 있다 다..

[Scraping] HTML, XPath, Requests,정규식 찍먹해보기 (+User-agent)

다음 강의를 정리하여 작성하였습니다 https://www.youtube.com/watch?v=yQ20jZwDjTE&list=LL&index=3&t=1526s 웹 스크래핑 -> 웹 페이지에서 내가 원하는 정보를 가져 오는 것 웹 크롤링 -> 웹페이지에서 링크를 따라가며 모든 내용을 가져오는 것 HTML Hyper Text Markup Language 즉 웹페이지 만드는 언어이다 VSC에서 이걸 열고 싶으면 HTML은 아래와 같이 코드를 작성한다 보통 다음과 같이 이것을 기본 구조로 가진다 이를 응용해보면 Hello World 먼저 꺽쇠로 시작을 하고 /로 닫으므로써 element로 구성한다 바로닫고 싶으면 이렇게도 쓴다 head : 홈페이지의 제목, 선행작업 body : 웹페이지의 본문 h1 : 글자가 크..

[P stage][Final Proj] 캡슐화 관련 Error 분석

Fish Data를 bbox대로 Crop 하는 코드를 짜보도록 한다 branch를 만들어주고 Develop의 하위 branch로 만들어 주도록 한다 캡슐화 문제 코드 리뷰에 앞서서 캡슐화 과정에서 경험했던 문제를 포스팅 하고자 한다 눈물의 똥꼬쇼... 문제 상황은 다음과 같았다. main 문에 함수를 전부 때려 박자니 너무 지저분 해지고 유지보수가 어려울 것 같아서 다음과 같은 구조로 분할하고자 하였다. 📂Data_prepare ┣ 📂Function ┃ ┣ 📜annotation_part.py ┃ ┗ 📜image_part.py ┗ 📜Fish_Data_Crop.py 이 과정에서 함수화를 하여 캡슐화 하는 과정이 필요하였고 다음과 같이 VSC 의 힌트를 통해 다음의 코드로 import를 하였다. from jz..

[P stage][Final Proj] Data Prepare (gdown, ZipFile)

사용한 데이터 https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=154 AI-Hub Json 형식 { "categories": [{ "id": int, "name": str, "supercategories": str }], "images": [{ "id": int, "file_name": str, "width": int, "height": int, "date_captured": datetime, "light": str }], "annotations": [{ "id": int, "image_id": int, "category_id" aihub.or.kr Gdown을 이용하여 데이터 공유..

[P stage][Final Proj] 환경설정

마지막 환경설정이 될 수 있으므로 처음부터 전부 적어보도록 한다 기존의 서버를 닫아주고 Documents 에 있던 key를 삭제해준다 (과거에 문서에 key를 저장해주었으므로) => 왜 문서에 저장했나여?? : 단순히 접근이 편하고 구분도 가능해서?? 서버 생성 서버 생성하기를 누르면 다음과 같이 key가 받아진다 본인은 C:\Users\유저명\.ssh 경로에 다음과 같은 config 파일을 만들어서 Host jjong {호스트 이름 지정} HostName 27.91.111.18 {텐서보드 : 앞까지 입력} Port 2111 {ssh의 -p 뒤에있는 번호} User root IdentityFile ~/Documents/key {저장된 key의 경로} ServerAliveInterval 300 Server..

[P stage][Semantic Seg] ModuleNotFoundError: No module named 'utils'

ModuleNotFoundError: No module named 'utils' 오류 발생 잘 되던 놈이 안되서 경로를 보고자 하였다 이걸 통해서 환경설정을 하였지만 편의를 위해 바깥으로 뺐다가 생긴 문제 이거를 같은 폴더에 넣어주므로써 해결 pip install utils 부터 별걸 다해봤다...\ 허무한 결과..

[P stage][Semantic Seg] 실행코드

실행코드 nohup python utils/mm_train.py config/pspnet_r50-d8_512x512_160k_ade20k.py --work-dir='/opt/ml/mmsegoutput' & tail -f nohup.out 기다리는 동안 Jira나 연결해보자 JQL 연결해주고 이슈를 만들어주자 U Net을 하고 싶었지만 pretrained 데이터가 전부 안구 관련이여서 기각하고 PspNet을 선정하였다 시작해보자 branch파주고 처음시작했던 Baseline을 제출했을때의 결과이다

[P stage][Semantic Seg] mmsegmentation 설치 방법

부스트캠프 4기-영섭 캠퍼가 준 방법 1. Conda 가상환경 생성하기 conda create --name openmmlab python=3.8 -y conda activate openmmlab conda activate에서 위와 같은 오류가 발생하여서 생각을 해보니 root@~ 앞에 (base)가 없는 걸 보고 그냥 터미널을 다시 열었다 어쩌다 보니 해결 ㅇㅇ.. 2. Pytorch 생성하기 conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch 3. MIM과 MMCV 설치하기 pip install -U openmim mim install mmcv-full 4. mmsegmentation 설..

[Semantic Seg] U-Net, U-Net++, U-Net 3+

U-Net 등장배경 1. 의료 계열 데이터 부족 환자의 개인정보 issue와 데이터가 있어도 일반인이 labeling하기 힘들어서 데이터 수가 부족 - 이로 인하여 일반적인 Deep Learning으로는 턱없는 데이터 수이다 2. Cell Segmentation (인접한 세포 구분) 문제 세포의 경우 경계선이 모호하여서 경계선(테두리)를 판단하기 어려워 일반적인 Semantic Segmentation으로는 작업 불가능 위의 그림과 같은 세포의 경계를 테두리로 만들어야 하는 작업이 필요하다 Architecture Contracting Path(Encoder)와 Expanding Path(Decoder)가 대칭인 U자 형을 이룬다 1. Contracting Path (Encoder) - 입력이미지의 전반적인..