Docker 관련
https://velog.io/@jiheon/Docker-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%A7%8C%EB%93%A4%EA%B8%B0
[Docker] 이미지 생성하기
Docker Image를 생성하는 방법인 Commit과 Dockerfile/Build에 대해 알아보자
velog.io
Docker 활용하여 리눅스 서버에 파이썬 환경 만들기(주피터 서버)
Doker + jupyter notebook server 이미지 생성 및 환경 구성 쉽게 이해해보기
velog.io
[ML] Docker 환경에서 GPU 사용하기
Summary ✌ NVIDIA Container Toolkit 설치 Dockerfile 구성 (a.k.a dockerhub) 2.1 Torch 기반 NVIDIA Container Toolkit NVIDIA-Container Toolkit 이란? NVIDIA C
velog.io
Docker + Pytorch + GPU로 딥 러닝 개발하기
https://www.slideshare.net/MichaelDucy/the-future-of-everything-37344357 The Future of Everything The Future of Everything www.slideshare.net Docker의 중요성을 알려주는 슬라이드다. 한 번 감상해보자. 혼자 개발하고 연구할 때는
hanseokhyeon.tistory.com
Docker 설치 및 Nvidia docker로 GPU 사용하기 (feat. 자주쓰이는 명령어)
Docker 설치 정리 Docker 설치 curl -fsSL | sudo sh Root권한 설정 (재부팅 하면 설정됨,안해도 sudo와 함께 사용해도 상관없음) sudo usermod -aG docker $USER #현재 접속중인 사용자에게 권한주기 sudo usermod -aG docke
keyog.tistory.com
https://brunch.co.kr/@hopeless/10
[Docker] 도커 이미지와 컨테이너 삭제 방법
도커 이미지는 docker images 명령어로 보면 점점 늘어나는 것을 확인할 수 있다. 이것들은 어떻게 하면 삭제할 수 있는지를 정리했다. 컨테이너 삭제 동작중인 컨테이너 확인 $ docker ps 정지된 컨테
brunch.co.kr
Docker 설치 및 컨테이너 실행 옵션 사용방법
Docker 설치 및 컨테이너 실행 옵션 사용방법 Docker? nvidia-docker2? 이번 포스팅에서는 Docker에 대해 알아보려고 합니다. 사실 이미 오래전부터 사용되었던 Docker이지만 모르는 분들을 위한 글이기에
kyumdoctor.co.kr
https://talesoff.tistory.com/130
docker runtime nvidia 문제 해결하기
현재 아래 메세지를 실행하면 docker run \ --runtime=nvidia \ -ti --rm \ --network host \ --gpus all \ --env="DISPLAY" \ --env="QT_X11_NO_MITSHM=1" \ --volume="/tmp/.X11-unix:/tmp/.X11-unix:rw" \ --volume="$HOME/.Xauthority:/home/.Xauthority:rw"
talesoff.tistory.com
https://tobelinuxer.tistory.com/71
[Docker][GPU] 환경 구축
1. 들어가며 1.1 Docker와 GPU 환경의 중요성 소개 최근 딥러닝 기술은 인공지능 및 머신러닝 분야의 주요 기술로 자리매김하고 있습니다. 딥러닝 모델을 효율적으로 개발하고 학습하기 위해서는 GPU
tobelinuxer.tistory.com
nohup 관련
https://wookidocs.tistory.com/53
[Linux] nohup 시에 print 출력 안되는 경우 해결법
python 코드 내부에 print()문을 넣어두고, nohup python process.py > log.txt 2>&1 & nohup 명령어로 프로세스를 올리게 되면 log.txt 파일에 print() 문에 해당하는 내용이 적히지 않는다. 이는 보통 주기적으로 sys.
wookidocs.tistory.com
https://velog.io/@leesomyoung/Ubuntu-nohup-%EC%A2%85%EB%A3%8C%ED%95%98%EA%B8%B0
[Ubuntu] nohup 종료하기
Ubuntu로 실행한 무중단 서비스를 종료하는 방법
velog.io
https://green-joo.tistory.com/26
nohup 사용법과 nohup.out 파일 명 변경, 로그 없이, 날짜 별로 rotation 하는 방법 ( Linux )
안녕하세요. 그린주입니다 ๑'ٮ'๑ 오늘도 힘차게 시작해보겠습니다! 개요 이번 글에서는 nohup 사용법과 nohup.out 로그 관련 설정, 프로세스를 종료하는 방법을 공유하고자 합니다. 목차 nohup 설명
green-joo.tistory.com
GPU 관련
GPU 서버 사용법 - CUDA, PyTorch 버전 맞추기 (총정리)
논문 구현을 해볼 때마다 PyTorch버전에 따라 필요한 CUDA 버전이 다르고, 버전이 서로 맞지 않아 시간을 낭비하는 경우가 많았다. 이를 해결하기 위해 (내가 썼던..) 여러 글을 참조해서 docker 컨테
jjuke-brain.tistory.com
https://velog.io/@ksy5098/CUDA-cuDNN-%EC%84%A4%EC%B9%98-%EB%B2%84%EC%A0%84-%ED%99%95%EC%9D%B8
(설치 후) GPU, CUDA, cuDNN 버전 확인
윈도우 명령 프롬프트에서 nvcc --version을 입력하면 설치된 cuda version을 확인할 수 있다.현재 CUDA 11.8이 설치되어 있는 것을 확인할 수 있다. 1\. cuDNN 버전 8 이전C: > Program Files > NVIDIA GPU Comp
velog.io
python version 바꾸기
https://dev-blackcat.tistory.com/2
[Python] Ubuntu 18.04 파이썬 3.10 버전 설치 및 기본 설정하기
기본적으로 대부분 사용자들은 "3.6.9" 버전 혹은 비슷한 버전을 사용합니다. 버전이 업데이트되면서 문법적으로 변경, 추가, 개선된 부분도 있지만 "DataBase"쪽도 그러하듯 성능적인 부분에서 향
dev-blackcat.tistory.com
python 문법 관련
https://gbjeong96.tistory.com/25
[python] 파이썬 문자열 중 한 문자 바꾸기
- 파이썬 문자열의 index로 접근하여 문자 바꾸기 파이썬을 사용하다보면 문자열의 특정 문자를 바꾸고 싶은 경우가 있습니다. 그런 경우 다음과 같은 코드를 사용하여 문자를 바꾼다면 오류가
gbjeong96.tistory.com
https://splayer.tistory.com/31
[Python] 소수점 2자리까지 출력 (버림, 올림, 반올림)
어떤 숫자를 소수점 3자리에서 버림, 올림, 반올림하여 2자리까지 출력하는 방법에 대해서 알아보겠습니다. f-string으로 소수점 2자리까지 출력 f-string으로 아래와 같이 숫자 포맷을 설정할 수 있
splayer.tistory.com
formatted_accuarcy = f"{accuarcy:.2f}"
formatted_accuarcy = formatted_accuarcy.replace('.','_')
%EB%B0%A9%EB%B2%95-%EC%98%88%EC%A0%9C
[ python ] argparse 사용 방법. 예제.
[ python ] argparse 사용 방법. 예제. 머신러닝 모델의 하이퍼 파라미터를 쉽게 관리할 수 있다. 파이썬 3.7 기준 사용법 먼저, 다음과 같은 python file 을 만든다. import argparse # 인자값을 받을 수 있는 인
supermemi.tistory.com
[python] argparse 사용법
주요 설명은 아래 주소에서 확인할 수 있습니다. 사용법 정리 import argparse if __name__ =="__main__": parser = argparse.ArgumentParser(description="앞 설명", epilog="뒷 설명") parser.add_argument("-f", "--func", required=필수
soc91.tistory.com
https://blockdmask.tistory.com/454
[python] 파이썬 파일읽기, 파일쓰기 (open , close, write, read, tell, seek)
안녕하세요. BlockDMask 입니다. 오늘은 파이썬에서 파일을 생성하고 읽고 쓰는 파일 입출력을 한번 다뤄볼까 합니다. 여기서 다룰 파일 관련 함수는 open, close, write, writeline, writelines, read, readline, rea
blockdmask.tistory.com
https://gentlesark.tistory.com/90
파이썬(Python) 디렉토리 생성, 없으면 만들기
파이썬(Python)으로 디렉토리(directory)를 생성할 때 바로 만들 수도 있지만, 없는지 체크를 하고 만들면 안전하게 만들 수도 있고, 함수를 하나 잘 만들어 두면 디렉토리가 있든 없든 함수 호출을
gentlesark.tistory.com
from import 다른 py에 있는 함수 가져오기
https://myjorney.tistory.com/52
[파이썬 상대경로 import 에러] ImportError: attempted relative import with no known parent package
프로그래밍을 시작한 지 얼마 되지 않다보니 간단한 에러로 보이는데 기본적인 개념이 부족해서 ImportError: attempted relative import with no known parent package 에러가 발생해서 많은 시간을 소모해서 해결
blog.doosikbae.com
https://dojang.io/mod/page/view.php?id=2450
파이썬 코딩 도장: 45.4 패키지에서 from import 응용하기
지금까지 calcpkg 패키지의 모듈을 가져올 때 import calcpkg.operation처럼 import 패키지.모듈 형식으로 가져왔습니다. 그러면 import calcpkg처럼 import 패키지 형식으로 패키지만 가져와서 모듈을 사용할 수
dojang.io
Function annotation
https://bluese05.tistory.com/78
Python3 - Function annotation 에 대하여
Function annotation 은 무엇인가 어떤 언어이든 장점과 단점이 공존하기 마련이다. Python 의 경우 문법의 제약성이 적음으로 인해 유연성이 높은 장점을 취하였지만 반대로 그로 인해 발생되는 불편
bluese05.tistory.com
[python] function annotation - 함수 선언 시 "->"와 ":"의 의미
함수 선언 시, :와 ->의 의미
velog.io
https://velog.io/@magnoliarfsit/RePython-1.-self-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0
[Re:Python] 1. self 이해하기
참고 사이트self 이해하기클래스의 사용 목적 : 변수와 함수를 묶어서 하나의 새로운 객체(타입)으로 만드는 것'클래스를 정의한다.' 의 의미 : 새로운 데이터 타입을 정의한 것. 이를 실제로 사용
velog.io
AI 모델링 관련
https://ysg2997.tistory.com/19
[Pytorch] Pytorch 모델링 구조
전체 프로젝트 구조 data/ experiments/ model/ net.py data_loader.py train.py evaluate.py search_hyperparams.py synthesize_results.py evaluate.py utils.py model / net.py: 뉴럴 네트워크, loss function, evaluation metrics를 지정 model / data_l
ysg2997.tistory.com
[Machine Learning] PyTorch로 선형 회귀 구현하기 (Linear Regression)
PyTorch을 사용해 선형 회귀(Linear Regression)을 구현해보자.먼저 PyTorch의 설치는 이전 포스팅을 참고하자.[PyTorch] m1 맥에 GPU 사용 Pytorch 설치 및 에러 해결 / ERROR: Could not find a version that satisfies the requi
dykm.tistory.com
[미니 프로젝트] DL 3. 네트워크를 이용하여 3epoch 학습 Loss Graph 확인 및 결과 확인하기 (2) Pytorch 모
난수 생성을 고정하기 위한 함수로, 주어진 시드의 값을 사용하여 여러 라이브러리의 난수 생성을 설정합니다. 해당 함수를 통해서, 동일한 초기 조건으로 같은 실험을 여러번 실행하면, 동일한
velog.io
[파이토치 스터디] 신경망으로 회귀분석 + Cross Validation
◈ 모델 구조 확인 파이토치에서 기본적인 모델 구조와 파라미터를 확인하는 방법 import torch from torch import nn import torch.nn.functional as F from torchsummary import summary class Regressor(nn.Module): def __init__(self):
yeong-jin-data-blog.tistory.com
https://coding-yesung.tistory.com/214
[파이썬, Python] 파이토치(Pytorch)로 선형회귀(Linear Regression) 구현하기!
1. 단항(단일) 선형 회귀 한 개의 입력이 들어가서 한 개의 출력이 나오는 구조 # 패키지 불러오기 import torch import torch.nn as nn import torch.optim as optim import matplotlib.pyplot as plt # 파이썬 코드를 재실행
coding-yesung.tistory.com
requirements.txt
https://data-newbie.tistory.com/625
[TIP / Installation] requirements.txt 로 pytorch package 설치하는 방법
보통 다른 패키지들은 아래와 같은 freeze를 이용해서 파일을 하나 생성하고 설치하면 정상적으로 설치가 된다. pip freeze > requirements.txt pip install -r requirements.txt 보통 requirements.txt 파일은 아래와 같
data-newbie.tistory.com
requirements.txt에서 URL로 PyTorch 설치하기
torch를 설치할 때 보통 여기서 다음 명령을 복사해 설치한다. pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 그런 다음 pip freeze > requirements.txt로 다음과 같은 requirements
nanunzoey.tistory.com
weight 초기화
https://deep-math.tistory.com/11
[PyTorch] Weight Initialization
Weight Initialization은 Local Minimum을 찾기 위한 시작점을 정해주는 방법이다. PyTorch를 통해 모델을 처음 만들게 되면 초기 Weight는 Random Initialization으로 되어 있다. 이는 Local Minimum을 찾아내기 위한 적
deep-math.tistory.com
모델 저장
https://eehoeskrap.tistory.com/618
[PyTorch] PyTorch 모델을 저장하는 방법 및 고려해야할 점
PyTorch 모델을 학습 한 뒤, 모델을 저장하고 불러오는 방법은 다음과 같다. 모델 저장하고 불러오기 다음과 같이 PyTorch 모델은 학습한 매개변수를 state_dict 이라고 불리는 internal state dictionary에 저
eehoeskrap.tistory.com
https://velog.io/@seokjin1013/PyTorch-%EB%AA%A8%EB%8D%B8-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0
PyTorch 모델 저장하기
PyTorch 모델을 저장하는 3가지 방법
velog.io
https://rfriend.tistory.com/820
[PyTorch] 모델을 저장하고, 다시 로딩하기 (Saving and Loading the model)
이번 포스팅에서는 PyTorch에서 모델을 저장하고 다시 로딩하는 3가지 방법을 소개하겠습니다. (1) 모델 가중치(model weights) 만 저장하고, 다시 로딩하기 (2) 모델 전체 (model structure & weights) 를 저장
rfriend.tistory.com
loss 함수 정리
https://nuguziii.github.io/dev/dev-002/
[PyTorch] 자주쓰는 Loss Function (Cross-Entropy, MSE) 정리
PyTorch에서 제가 개인적으로 자주쓰는 Loss Function (Cross Entropy, MSE) 들을 정리한 글입니다.
nuguziii.github.io
pandas
https://computer-science-student.tistory.com/371
[판다스, pandas] dataframe의 특정 열에 함수 적용 - apply()
pandas dataframe의 특정 열에 함수 적용 pandas dataframe에서 특정 열에 함수를 적용하고자 한다면 아래와 같이 apply함수를 사용하면 된다. # lambda를 사용하는 방법 df['키'] = df['키'].apply(lambda x:str(x)+'cm')
computer-science-student.tistory.com
https://blog.naver.com/PostView.nhn?blogId=wideeyed&logNo=221817400937
[Pandas] SettingWithCopy Warning or Error 해결방법
Pandas(판다스, 팬더스)에서 원본 Dataframe의 일부를 복사하거나 인덱싱 후 값을 수정할 때 발생할 수 ...
blog.naver.com
loss function
https://velog.io/@k0310kjy/PyTorch-Custom-Loss-Function-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0
[PyTorch] Custom Loss Function 사용하기
모델 학습 과정에서, 기존의 손실 함수가 아닌 다른 손실 함수를 사용하고 싶을 경우가 있다.이럴 때는 아래 예시와 같은 방법을 사용해보자.학습 시에 GPU를 사용하기 위해서는 모델뿐만 아니라
velog.io
https://velog.io/@highway92/Pytorch-best-model-%EC%A0%80%EC%9E%A5%ED%95%98%EA%B8%B0
Pytorch best model 저장하기
딥러닝을 하다보니 이런일이 생기게 되었다.이렇게 train 중에 점수가 좋게 나온녀석이 있다면 저장해두고 싶어진 것이다.여러가지 방법이 있지만 내가 사용한 방법과 pytorch 공식문서의 권장 사
velog.io
Git 관련
etc
https://bebutae.tistory.com/82
우분투[3] - nano 에디터 설치하기
안녕하세요. 오늘은 우분투에 nano 에디터를 설치해보겠습니다. 1. Nano 에디터란? vim과 함께 리눅스 환경에서 가장 유명한 에디터 중 하나입니다. 온갖 단축키들을 외워야 자유자재로 쓸 수 있는 v
bebutae.tistory.com
https://rainbow97.tistory.com/entry/Linux-%ED%99%98%EA%B2%BD%EB%B3%80%EC%88%98
[Linux] 환경변수
환경변수란? 프로세스가 컴퓨터에서 동작하는 방식에 영향을 미치는 동적인 값들의 모임으로 쉘에서 정의되고 실행하는 동안 프로그램에 필요한 변수를 나타낸다. 1. 동작 범위에 따른 환경 변
rainbow97.tistory.com
https://velog.io/@youjung/matplotlib%EC%9C%BC%EB%A1%9C-Box-plot-%EA%B7%B8%EB%A6%AC%EA%B8%B0
matplotlib으로 Box plot 그리기
matplotlib은 python의 데이터 시각화 라이브러리입니다. 이 라이브러리를 사용하여 아래의 그림과 같은 박스형태의 그래프(Box plot)를 그려보도록 하겠습니다. Box plot이란? Box plot은 수치 데이터를 표
velog.io