인공지능3 03. GPT가 지나는 우매함의 봉우리 언어 모델의 병목인공지능 언어모델은 생각보다 아주 빠르게 성장했다. 그 과정에서 공급이 수요를 따라가지 못한 병목이 발생했는데, 첫번째는 인력의 병목이었다. 코로나19로 인한 재택근무 추세로 개발자 부족현상과 붐이 2020년대 초반에 잠깐 있었다. 두번째는 재료의 병목이었다. 러우 전쟁과 인플레이션으로 그래픽카드 공급망에 문제가 생겼고 그래픽카드에 대한 어마어마한 사재기로 지금의 NVIDIA가 탄생했다. 그리고 내가 생각하는 2020년대 말, 앞으로 5년쯤 뒤의 키워드는 "데이터의 병목"이다.기존의 데이터?이전 글 에서 얘기한대로 인공지능의 학습 이라는 단어를 다시 한 번 정의하자면, 행렬의 뺄셈에 의한 가중치 (weight) 의 업데이트이다. 무엇을 빼느냐는 기존의 데이터와 정답값의 기울기의 반대방향이.. 2026. 4. 13. 02. Deepseek 쇼크, 말이 안되는 3가지 이유 Deepseek라는 중국의 LLM 모델이 화제다. 인공지능의 언어모델 개발에 필요한 칩셋 개발 및 생산 회사들의 주가가 폭락했다. 엔비디아는 -17%라는 비상식적 변동성을 기록했다.1. 폭락의 이유이유를 알기 위해 인공지능 산업의 구조를 알아보자. 수익 : 사용자가 인공지능 모델을 활용한다.기술 : 데이터를 조합 (학습) 해 인공지능 모델을 만든다.비용 : 데이터는 구매하거나 웹상에서 긁어오고, 장비는 빠른 학습을 위해 GPU를 활용한다. GPU를 설계하는 엔비디아, 생산하는 TSMC, 부품의 SK하이닉스, open ai의 실소유주인 마이크로소프트가 폭락했다. 딥시크의 개발 효율성이 좋아 부품이 많이 필요하지 않기 때문이다.2. LLM의 end-point본론에 들어가기 앞서, "인공지능 산업" 의 근본을.. 2025. 2. 5. 01. 인공지능의 기본, 학습과 예측 요즘은 PS나 CP보다 인공지능 다룰 일이 더 많다. 지나가는 생각들이 잊혀지는 게 싫어서 카테고리를 만들었다. 인공지능 만들어진 지능이다. 이 단어가 간편한 대신 막연한 두려움을 주는 이상한 단어인데, 기술적으로는 "통계적 추론의 자동화" 가 더 맞는 단어인 것 같다. 인공지능의 발전은 최근의 문제가 아니다. 이미 Neural network와 perceptron에 대한 개념은 1970년대부터 논의된 내용이고, GPU와 프로그래밍 툴, 시장의 형성으로 최근 들어 주목받았을 뿐이다. 학습? 학습 = 행렬뺄셈 인공지능을 잘하고 싶다면 이것만 외워도 반은 먹고 들어가는 것 같은데 Weight 초기화 → 모의예측 → Loss 계산 → Loss가 낮아지는 방향으로 weight 업데이트 인공지능의 기본 작동 원리는.. 2024. 4. 2. 다음
