전체 글
[KLUE] 자연어처리와 언어모델
자연어 처리를 이해하기 위해서는 사람과 사람의 대화를 분석해 볼 필요가 있다 A 와 B 가 대화를 하고 A가 어제 본 나무를 설명하는 상황이라 가정을 해보자 먼저, A라는 사람은 어제 본 나무를 "Tree"라는 언어로 바꿔서 말을 하기 시작할 것이다 이 과정을 " Encoding " 이라 할 수 있다 -> 즉, 컴퓨터에 입장에서는 " 어제 본 나무 = 자연어 " , " Tree라는 단어 = 수학적으로 표현된 좌표평면 위에 벡터 " 라고 치환을 해볼 수 있다 Encoding 이란 자연어를 수학적으로 표현 할 수 있도록 좌표평면 위에 벡터로 표현하는 방법을 말한다 이러한 Encoding 과정을 거치는 이유는 우리가 좌표평면 위에 벡터로 표현을 할 수 있으면 분류나 Featur..
[DL Basic] Transformer (Attemtion is All You Need).2017
Tranformer는 엄밀하게 말하면 앞에서 연결되는 RNN, LSTM, GRU와는 좀 다른 방법으로 접근한다 -> 해결하고자 하는 것은 동일함 왜 Sequential modeling이 다루기 어려울까? 우리의 일상생활을 생각해보자 표준 문장을 적어보면 "승종아, 오늘 점심에 밥 먹었어?" 이런 문장이 "승종, 밥 먹었어?" , "승종, 점심에 밥 먹었어?" , "승종, 점심 먹었어?" 등등 길이가 달라지고 어순이 달라지고 등등 하나의 동일한 의미에 다양한 문장을 만들 수 있다 즉 Original sequence에 대해서 Trimmed Sequence(마지막 몇개의 단어의 생략) Omitted Sequence (중간에 몇개의 단어의 생략) Permuted Sequence (어순이 달라지는 경우) 등 많은..
[Robotics] 라즈베리파이 원격 연결
먼저 라즈베리파이란 무엇이냐 -> 한줄로 표현하자면 미니 컴퓨터라고 생각하면 된다 (유투브 시청까지 가능하다고 한다) 이를 위해서는 모니터, SD카드, 마우스, 키보드, HDMI선이 필요한데 여분의 모니터가 없어서 원격 연결을 시도해보고자 한다 먼저 라즈베리파이 OS 설치를 위해 공식 사이트에 접속하자 https://www.raspberrypi.com/software/ Raspberry Pi OS – Raspberry Pi From industries large and small, to the kitchen table tinkerer, to the classroom coder, we make computing accessible and affordable for everybody. www.raspberr..
[DL Basic] RNN, LSTM, GRU
나한테는 정말 애증관계인 RNN(뭔가 중요한 거 같으면서도 맨날 까먹고 정리해야지 정리해야지 했던 부분) 오늘 끝장을 봐보자 RNN -> RNN은 주어지는 입력자체가 Sequential이다(ex, 음성(말), 비디오, 동작) 입력의 차원을 알 수 없다(길이가 언제가 끝인지 모른다) Fully connected layer, Conv layer 사용 불가 몇개의 입력이 들어오든 상관없이 동작하는 방법이 필요하다 Naive sequence model 이전 데이터들을 전부 고려하여서 다음을 찾아보자 (초기에는 모든 과거를 고려하기 때문에 정보량이 계속 늘어남) Autoregressive model 최신 과거로 부터 타우만큼의 최신데이터를 보겠다 (갱신의 개념) 대표적인 예시가 Markov(마르코브 모델이다) M..
[Robotics] ROS에 관하여
ROS는 무엇일까?? 로봇 운영체제(ROS,Robot Operating System) 라는 뜻으로 우리가 컴퓨터에서 OS (Window, Linux 등등)을 다루 듯이 로봇의 운영체제는 ROS이다 로봇과 로봇 사이의 통신을 만들어주거나 로봇과 센서의 통신을 이어주거나 사람들의 코드(오픈소스)와 쉽게 연결(통신)시켜주는 도구 즉, 위와 같은 성질을 사용하고 싶어서 OpenCR를 사용한다고 생각하면 된다 단일 로봇을 위한 솔루션이다 -> 애초에 디자인 타겟이 되었던 로봇이 존재한다 높은 PC 연산능력을 요구한다 높은 네트워크 의존성 -> 와이파이 꺼지면 망한다 보장되지 않는 실시간성 임베디드 시스템에서의 사용이 어렵다 Linux 위주의 개발 그래서 ROS 2 가 개발되고 있다 Open source Robot..
[Robotics] OpenCR 보드 와 Dynamixel
Open-source Control Module for ROS 즉, 이름 그대로 ROS를 지원하는 보드이다 공식문서의 설명 즉, 이 보드를 통해 opensource hardware 와 software를 사용할 수 있다고 한다 https://github.com/ROBOTIS-GIT/OpenCR GitHub - ROBOTIS-GIT/OpenCR: Software for ROS Embedded board (a.k.a. OpenCR). OpenCR means Open-source Control Module for ROS. Software for ROS Embedded board (a.k.a. OpenCR). OpenCR means Open-source Control Module for ROS. - GitHub ..
[아두이노] 기초문법 다지기
제일 먼저 아두이노는 C언어 기반이기 때문에 C언어와 큰 차이가 없다 또한 오픈 소스 플랫폼이여서 공식홈페이지에서 문법을 확인할 수 있다 https://www.arduino.cc/en/Guide Getting Started with Arduino products Open-source electronic prototyping platform enabling users to create interactive electronic objects. www.arduino.cc 제일 먼저 아두이노를 실행시키면 다음과 같은 화면이 나온다 제일 기초 // 와 /* */ 는 주석을 표현할 때 사용한다 ('#' 아닙니다) void setup() put your setup code here, to run once 적혀있는 것..
[환경설정] 아두이노 다운로드
공식 홈페이지 다운로드 링크 www.arduino.cc/en/software Software Open-source electronic prototyping platform enabling users to create interactive electronic objects. www.arduino.cc 돈 내라는 거는 기부 개념이므로 쫄지말고 JUST DOWNLOAD 클릭 다운로드된 실행파일을 실행해줍니다 나만 작업할 것이므로 전용 클릭 설치경로를 지정해주고 설치 진행 완료하고 열어보면 정상적으로 실행된 것을 확인할 수 있다
[Data Scraping] Error : Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
Error 내용 Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same -> data는 다음과 같이 use_cuda = torch.cuda.is_available() device = torch.device("cuda" if use_cuda else "cpu") image = np.array(cv2.imread('./sample_data/Black_porgy.JPG')) image = transform(image=image)['image'] image = image.unsqueeze(0) image = image.to(device, dtype=torch.float32) device 즉, cuda에 올..
[환경설정] window에서 가상환경 만들기(venv)
먼저 cmd를 연다음 가상환경을 만들고 싶은 곳에 접근을 한다 cd 디렉토리명 mkdir 작업폴더이름 cd 작업폴더이름 venv를 이용하여 가상환경을 만들 것이므로 venv 실행 (python 과 python3의 명령어 차이는 다음 포스팅에서) python -m venv /path/to/new/virtual/environment python3 -m venv /path/to/new/virtual/environment 가상환경 이름을 지정해주기 (test_env) python -m venv test_env 위의 코드가 실행이 된다면 해당 디렉토리에 가상환경 폴더가 생기고 내부는 다음과 같다 가상환경 실행을 위해 Scripts에 접근 cd 가상환경명\Scripts 가상환경을 실행시킴 activate 저 act..
[Data Scraping] 구글에서 고화질 이미지 스크래핑(크롤링) - selenium
Selenium 에 관해 배웠던 것을 이용하여 구글에서 고화질 이미지를 스크래핑 해보고자 한다 Before Running Data_Scraping.py 1. 먼저 본인의 크롬 브라우저의 버전을 확인한다 크롬창 우측 상단 더보기 -> 도움말 -> Chrome 정보 본인 :버전 108.0.5359.126(공식 빌드) (64비트) 2. 본인의 버전에 맞는 chromeDriver를 설치 https://chromedriver.chromium.org/downloads 에 들어가서 자신에게 맞는 OS를 선택 (맨뒤의 126 등은 무시 가능) ex) 본인 :버전 108.0.5359.126 -> 버전 108.0.5359 3. 본인의 Chromedriver를 저장해주자 압축을 풀고 Sashimi안에 있는 chromedri..
[P stage][Final Proj] Something went wrongcannot get client for: Jira
Something went wrong cannot get client for: Jira 라는 에러를 마주하였다 Login To JIRA Cloud 버튼도 활성되어 있지 않고 이슈도 만들어지지 않는다 다음 공식 사이트에서 해결법을 찾았다 https://community.atlassian.com/t5/Jira-Software-questions/I-can-t-auth-jira-in-vs-code/qaq-p/1710110 I can't auth jira in vs code I install extension for vs code Atlassian (Jira and Bitbucket official) and can't auth in jira. I success auth in bitbucket, but not in..