신경망 구조62개
AI 모델 안쪽이 어떻게 생겼는지에 관한 용어예요. 뉴런, 층, 가중치, 활성화 함수, RNN, LSTM, 파라미터처럼 '모델이 크다'거나 '층이 깊다'는 말의 실제 의미를 알 수 있어요.
입력마다 곱해지는, 학습으로 정해지는 중요도
가지치기Pruning안 쓰는 연결을 잘라내 모델을 가볍게 하기
그래픽 메모리VRAM그래픽 카드가 계산할 숫자를 펼쳐 두는 자리
기울기Gradient오차를 줄이려면 어느 쪽으로 얼마나 움직일지 알려 주는 신호
기울기 소실Vanishing Gradient배우라는 신호가 층을 거치며 희미해져 사라지는 현상
깊이와 너비Depth vs Width층을 몇 단 쌓을지와 한 단을 얼마나 넓힐지
뉴런Neuron여러 값을 받아 하나의 값을 내보내는 계산 단위
다층 퍼셉트론Multilayer Perceptron단순한 판정기를 여러 층 쌓아 만든 기본 신경망
드롭아웃Dropout학습 때 일부를 무작위로 쉬게 하는 방법
딥러닝Deep Learning처리 단계를 여러 겹 쌓아 올린 머신러닝 방식
로짓Logits확률로 바꾸기 전 후보마다 매겨진 날 점수
로컬 실행Local LLMAI 모델을 내 컴퓨터에서 직접 돌리기
멀티헤드 어텐션Multi-Head Attention같은 장면을 여러 관점이 동시에 보는 어텐션
모델 구조Model Architecture층을 어떻게 쌓고 잇는지 적어 둔 모델의 설계도
모델 서빙Model Serving만들어 둔 모델을 여럿이 쓰게 내놓는 일
모델 크기Model Size모델이 지니고 있는 숫자의 개수
벡터Vector여러 항목의 값을 정해진 순서로 적은 숫자 묶음
변이형 오토인코더Variational Autoencoder점이 아니라 범위로 기억하는 오토인코더
브라우저 AIBrowser AI설치 없이 웹 페이지 안에서 도는 AI
블랙박스Black Box속이 보이지 않는 AI의 판단 과정
비전 트랜스포머Vision Transformer사진을 조각으로 잘라 글처럼 다루는 구조
셀프 어텐션Self-Attention같은 문장 안 말들끼리 서로 참고하는 방식
소프트맥스Softmax여러 점수를 합이 100%인 확률로 바꾸는 계산
시그모이드Sigmoid어떤 값이든 0과 1 사이로 눌러 담는 활성화 규칙
시퀀스-투-시퀀스Sequence-to-Sequence다 듣고 나서 다른 길이로 다시 만들어 내는 구조
신경망Neural Network여러 계산 자리를 층으로 이어 붙인 구조
양자화Quantization숫자의 눈금을 성기게 만들어 모델을 가볍게 하기
어텐션Attention어느 것에 얼마나 비중을 둘지 정하는 방식
에너지·환경 비용Environmental CostAI를 만들고 쓰는 데 드는 전기와 자원
역전파Backpropagation오차를 뒤에서 앞으로 되짚어 몫을 나누는 절차
연산량Compute모델을 한 번 돌리는 데 드는 계산의 총량
오토인코더Autoencoder줄였다가 되살려 보며 요령을 익히는 구조
오픈 웨이트Open Weights완성된 숫자 뭉치만 열어 둔 모델
온디바이스 AIOn-Device AI기기 안 부품이 직접 처리하는 AI
위치 인코딩Positional Encoding자리마다 순서 표시를 붙여 주는 방법
은닉층Hidden Layer입력과 출력 사이에서 특징을 만들어 내는 중간 층
인코더·디코더Encoder-Decoder읽는 쪽과 쓰는 쪽을 따로 둔 두 부분 구조
자기회귀Autoregressive쓴 글을 다시 읽고 다음 한 조각을 잇는 방식
잔차 연결Residual Connection층을 건너뛰어 원래 값을 그대로 넘기는 지름길
전문가 혼합Mixture of Experts필요한 담당 갈래만 골라 켜는 모델 구조
지연 시간Latency요청을 보낸 뒤 답을 받기까지 걸리는 시간
층Layer같은 입력을 나눠 받는 뉴런들을 묶은 계산 단계
층 정규화Layer Normalization층마다 숫자 눈금을 다시 맞춰 주는 장치
텐서Tensor숫자를 여러 축으로 정리해 담은 묶음
트랜스포머Transformer문장 속 단어들이 서로를 동시에 참고해 뜻을 잡는 AI 구조
특징 맵Feature Map훑은 결과를 자리 그대로 늘어놓은 그림
파라미터Parameter학습으로 값이 정해지는 모델 속 조절 손잡이
퍼셉트론Perceptron여러 입력을 저울질해 넘었는지만 답하는 최초의 신경망
편향값Bias Term입력과 상관없이 늘 더해지는 기본값
풀링Pooling구역마다 대표값만 남겨 그림을 줄이는 단계
피드포워드Feed-Forward신호가 앞으로만 흐르는 신경망 구조
필터Filter / Kernel무엇을 찾을지가 적혀 있는 작은 값 판
합성곱Convolution작은 판을 옮겨 가며 사진을 훑는 계산
행렬 곱Matrix Multiplication표의 가로줄과 세로줄을 짝지어 곱해 더하는 계산
활성화 함수Activation Function더한 값을 내보낼지 정하는 문턱 달린 함수
CNNConvolutional Neural Network사진의 무늬를 층층이 찾아내는 신경망 구조
DQNDeep Q-NetworkQ값 표를 신경망이 대신 기억하게 만든 방법
GPU같은 계산을 한꺼번에 많이 처리하는 장치
LSTM지울 것과 남길 것을 문으로 고르는 순환 신경망
ReLU음수는 0으로 막고 양수는 그대로 흘리는 활성화 규칙
RNNRecurrent Neural Network앞의 요약을 이어받아 한 마디씩 처리하는 신경망
U-Net줄였다 다시 키우며 위치를 되살리는 신경망 구조