인공지능 개발자 수다

논문: Improving Language Understanding by Generative Pre-Training논문 링크1. Introduction이전 연구의 어려운점기존의 딥러닝 모델은 지도학습, 레이블링된 데이터를 구하는데 한계가 있음Text representation을 학습시키는 것에 어떤 optimization objective가 효과적인지 불분명unsupervised pre-training과 supervised fine-tuning을 합친 semi=supervised learning을 제안최종 목표: 일반적으로 높은 성능을 낼 수 있는 특성을 학습, 이 후 조금의 변화를 통해 다양한 task에 적용데이터: 대량의 unlabeled data, task에 알맞는 labeled data가 있다고 가..

1. AWS Lambda 란 무엇인가 기능 실행단위 '함수' 트리거를 설정하여, 조건이 충족되면 함수를 실행 EC2와 다른 점 서버 없이 실행 실행이 종료되면 함수가 종료되어 비용이 발생하지 않음 배치 작업에 적합 2. 세팅 방법 2.1. 함수를 생성해 준다 2.2. 실행환경 4가지 중 선택 새로작성 AWS Lambda는 RedHat Amazon Linux(OS) 에서 동작 python 버전을 선택 할 수 있음 필요한 라이브러리는 직접 올려야 함 컨테이너 이미지 Docker 이미지를 사용 할 수 있음 서버리스 앱은 리포지토리 찾아보기 누군가 만들어놓은 환경을 사용할 수 있음

글을 작성하는 데에 아래 자료를 참고하였습니다. 블로그 글 딥러닝의 정석 (한빛미디어) 1. 활성화 함수 사용 이유¶ 선형 뉴런 선형으로 이루어진 $z$에 적용 되는 함수 $f$ $f(x) = az + b$ 계산하기는 쉽지만 은닉층이 없는 신경망으로 표현될 수 있음 은닉층이 없다면 복잡한 관계를 학습하기 어렵다는 문제가 있다 활성화 함수는 딥러닝에 비선형성을 도입하기 위한 방법이다. 바람직한 활성화 함수 Gradient Vanishing 문제가 없어야한다 활성화 함수는 결과값이 0~1사이 값이라면, 역전파 과정에서 여러번 곱해지다보면 초기 학습되던 값이 소실되는 문제가 생겨 학습이 재대로 되지 않을 수 있다. Zero-Centered 활성화 함수의 출력은 기울기가 특정 방향으로 이동하지 않도록 0에서 대..

방법 1. 1단계 HTML의 Head 부분에 script를 추가 해야 함 아래 사이트에 들어가면 스크립트가 있음 https://www.mathjax.org/ MathJax Beautiful math in all browsers. www.mathjax.org 2. 2단계 글을 쓸 때 , $$ 달러 사이에 수식을 넣으면 끝 미리보기를 통해서 적용 되었는지 확인 가능

1. 개요 딥러닝 학습시 OverFitting을 해결하기 위한 다양한 방법에 대해 공부해보자 2. Overfitting 이란 모델이 데이터에 과하게 맞추게 되어, 앞으로 들어올 데이터는 맞지 않도록 학습된 형태 Test 데이터 셋의 Loss값은 작지만, Validation 데이터 셋의 Loss값이 커질때 3. 해결방법 개념 Overfitting을 해결하기 위해서는 일반적으로 모델의 복잡성을 줄이도록 해야 한다. Regularization 기법 3.1. Early Stopping 학습을 중간에 중단 Validation과 Test의 Loss를 모니터링해서 중단 시점을 정함 3.2. Weight decay 3.2.1. L1 Regularization 수식 $$ E(w) = E(w) + \frac{\lambda..

1. 데이터 레이크는 왜 필요할까? 데이터의 양이 많지 않고 앞으로도 쌓일 데이터가 없을 것이라고 예상된다면, 데이터 레이크는 필요하지 않다. 그러나 빅데이터가 존재하는 곳이라면 데이터레이크는 필수적이다. 지금은 데이터가 곧 돈이 되는 정보화 시대이다. 생성된 데이터를 그냥 버리는 것이 아니라, 잘 정리해서 모아두는 것이 현 시대에 아주 중요한 일이 아닐 수 없다. 2. 데이터 레이크란 2.1. 목적 데이터 분석을 위해 데이터를 쌓음 인공지능 학습을 위해 데이터를 쌓음 2.2. 특징 Raw 데이터를 있는 그대로 저징해 두는 저장소 대용량 데이터 정형/비정형 데이터 모두 저장 중앙 집중식 저장소 분산 시스템 2.3. 단점 관리하기가 복잡하다 데이터 사용시 변형을 해야한다. 3. 제품 3.1. 클라우드 제품..

1. 개요 이전 페이지에서는 elements를 만들고, 여러개를 동시에 수정하는 방법에 대해 학습했다. 이번 시간에는 픽셀값을 스케일링하는 법에 대해 학습하겠다. 2. Linear Scaling 설명 값을 선형 변환 해주는 함수 d3.scaleLinear() 함수를 이용 .domain() 함수: 원래 값에 대한 범위 .range() 함수 : 결과 값에 대한 범위 예시 let width = 400; let data = [{x:10,y:15},{x:20,y:10},{x:25,y:20},{x:35,y:30}] let xScale = d3.scaleLinear() .domain([0, d3.max(data,d=>d.x)]) .range([0, 400]) let yScale = d3.scaleLinear() .d..

1. 정리 앞 장 에서는 Selection과 자주 사용되는 함수에 대해서 학습하였다. 다음으로는 D3의 더 복잡한 내용을 다루도록 하겠다. 2. 함수 2.1. Append 설명 append 함수를 이용해서 tag를 생성할 수 있음 letsvg = d3.select("#svg"); svg.append("circle") .attr("cx",10) .attr("cy",20) .attr("r",5) 2.2. Update Pattern 2.2.1. enter data함수를 통해 데이터가 저장되어 있음 데이터가 svg에는 들어가 있지 않음 2.2.2. update data함수를 통해 데이터가 저장되어 있음 데이터가 svg에 들어감 2.2.3. exit data함수를 통해 데이터가 저장되어 있지 않음 데이터가 svg..

1. 데이터 시각화와 D3 데이터를 그림, 그래프 형태로 보여주어 대략적인 데이터의 중요사항을 한눈에 알 수 있도록 함 D3는 데이터 시각화를 위한 도구, Javascript 라이브러리이다. D3를 실행한 결과는 HTML이다. 2. D3 입력 방법 html 파일에 삽입하여 사용 3. D3 기능 SVG의 요소를 ADD, modify, remove 할 수 있다. SVG (html을 활용해 그래프를 그릴 수 있는 라이브러리) 4. Selecting Elements 4.1. select 설명 하나의 element만 불러옴 # 은 html의 아이디를 불러옴 . 은 html의 클래스를 불러옴 예시 d3.select(".apple") d3.select("#apple") 4.2 selectAll 예시 d3.select..

기본개념 https://keraskorea.github.io/posts/2018-10-25-Keras%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EC%A3%BC%EC%8B%9D%20%EA%B0%80%EA%B2%A9%20%EC%98%88%EC%B8%A1/ A) 기초통계¶ A-4) 조건부 확률¶$$P(Y|X) = \frac{P(X) \cap P(Y)}{P(X)}$$$$ P(Y,X) = P(Y|X) P(Y)$$응용 $$P(Y|X, Z) = \frac{P(Y,X|Z)}{P(Y|Z)}$$$$ P(Y,X|Z) = P(Y|X, Z) P(Y|Z)$$A-2)조건부 기대값¶$$E[Y|X=x] = \sum_{i} p(Y = y_i| X=x)y_i$$설명 : 각 사건이 일어날 확률과 각 사건의..