Semi Doped — 반도체·AI 인프라 팟캐스트
오픈AI가 Hot Chips 에서 공개한 자체 추론 칩 할라페뇨를 발표 열두 시간 만에 뜯은 편. 첫 RTL 부터 테이프아웃까지 아홉 달이라는 일정이 무엇을 뜻하는지, 칩 128개를 묶어도 HBM 대역폭을 다 못 쓰는 구조적 이유, 그리고 설계 기준으로 요청당 에너지를 앞에 놓은 대목까지.
진행자 둘이 오픈AI 발표 슬라이드를 처음부터 끝까지 훑는다. 눈에 남는 것은 무엇을 기준으로 설계했다고 말하는가다 — 상업 실리콘 벤더가 앞세우는 총소유비용 대신, 마지막 토큰까지 걸리는 시간과 요청당 에너지 둘을 걸고 그 둘이 상충하니 단일 수치 대신 파레토 곡선으로만 보이겠다고 했다. 첫 칩인데 첫 RTL 부터 테이프아웃까지 아홉 달이 걸렸다.
핵심 포인트
스케일업 도메인이 두 겹이다
주요 숫자
"dark silicon is cheaper than idle accelerators" 발표 슬라이드 문구다 — 쓰지 않는 실리콘이 노는 가속기보다 싸다. "because ultimately the show flops don't matter. It's how many flops you actually deliver." 중요한 것은 실제로 내주는 플롭스라는 말이다. "It is about nine months from first RTL to tape out, which is an incredibly short period of time." 첫 RTL 부터 테이프아웃까지 아홉 달이라는 대목이다.
반론 · 충돌
에이전트를 돌리는 일이 GPU 수요를 넘어 CPU 수요로 번지는 경로. GPU 를 쉬지 않게 먹이는 호스트 노드 CPU 와, 컴파일·검색 같은 여분의 일을 맡는 별도 CPU 랙이 왜 갈라지는지. 작년 말 에이전트가 나온 뒤 맥 미니가 팔린 이유까지.
그 주 나온 xAI 의 에이전트 플랫폼을 계기로 두 진행자가 비유를 하나 세운다 — GPU 가 천재이고 CPU 가 비서다. 비서가 둘로 갈린다는 것이 이 편의 요지다. GPU 바로 옆에서 다음 일감을 끊임없이 준비하는 호스트 노드 CPU 는 코어 수보다 코어 하나의 속도가 중요하고, 컴파일·웹 검색·공시 조회처럼 넘치는 일은 따로 세운 CPU 랙이 맡아야 한다는 것이다.
핵심 포인트
비서가 둘로 갈린다
주요 숫자
"The GPU is the genius." GPU 가 천재라는 비유의 출발이다. "the CPU as the assistants that once told what to do, they can go carry out all the work that the genius told them to do." CPU 는 지시를 받아 그 일을 나가서 처리하는 비서라는 말이다. "It's about the cost per employee now. How many cores can you get and how expensive is each employee in that floor plan?" 이제는 직원 한 명당 값의 문제라는 대목이다.
반론 · 충돌
수를 로그로 바꾸면 곱셈기가 덧셈기가 되고, 그만큼 빈 면적에 SRAM과 HBM을 더 넣어 프리필과 디코드를 한 시스템에서 같이 한다는 설계. 라우터 뒷면의 스케일업 패브릭을 통째로 가져다 쓰는 이유와, 아직 전원도 안 켠 시스템이라는 단서까지.
로그 연산은 목적이 아니라 자리를 비우는 수단이다. log₂(A×B) = log A + log B 이므로 곱셈기가 덧셈기가 되고, 곱셈기가 쓰던 면적이 비면 그 자리에 SRAM과 HBM이 들어간다. 그래야 프리필(입력을 한꺼번에 읽는 단계)과 디코드(토큰을 한 개씩 뱉는 단계)를 한 시스템에서 같이 한다. 스케일업 패브릭은 새로 만들지 않고 HPE 주니퍼 라우터 뒷면의 것을 그대로 가져왔다. 다만 이 시스템은 아직 전원을 켜지 않았다.
핵심 포인트
곱셈을 덧셈으로 바꾸고 되돌아오는 자리
쿼터랙 하나가 무엇을 담나
주요 숫자
"log base two A times B is log A plus log B. So multiply becomes an adder." 로그로 바꾸면 곱셈기가 덧셈기가 된다는 대목이다. "if my compute takes less space, what does it free up? It frees up space for more SRAM and more HBM." 연산이 면적을 덜 먹으면 남은 면적이 메모리로 간다. "the best scale-up fabric in the world was on the back side of a router." 세상에서 가장 좋은 스케일업 패브릭은 라우터 뒷면에 있었다는 말이다.
반론 · 충돌
레티클 84장을 이어 붙여 한 칩으로 만들면 무엇이 따라오는지 — SRAM 44기가바이트와 초당 21페타바이트, 그리고 웨이퍼 한 장 23킬로와트와 0.1밀리미터 열팽창까지. 같은 발상이 40년 전에 회사를 한 번 무너뜨린 내력도 함께.
보통은 웨이퍼를 잘라 낱개로 포장한다. 이 회사는 자르지 않고 레티클 84장을 금속 배선으로 이어 한 칩으로 쓴다. 웨이퍼에는 늘 결함이 있으니 GPU 코어의 20~100분의 1 크기로 잘게 쪼개고, 결함이 난 코어는 웨이퍼 위 배선망으로 우회한다. 그렇게 남은 것이 SRAM 44기가바이트를 초당 21페타바이트로 내주는 한 장이다.
핵심 포인트
레티클 84장이 한 칩이 된다
주요 숫자
"44 GB of on-wafer SRAM operating at 21 petabytes per second memory bandwidth." 한 장에 실린 용량과 대역폭이다. "I don't think this whole thing is about cost at all" 이것은 값을 아끼려는 이야기가 전혀 아니라는 말이다. "Open models was a gift to Groq. Groq was a gift to Cerebras." 오픈 모델이 한쪽에 선물이었고 그쪽이 다시 이 회사에 선물이었다는 정리다.
반론 · 충돌
레인 속도가 오를수록 구리가 몇 미터에서 끊기는지, 광 링크를 꽂는 자리에서 패키지 안으로 옮기면 손실과 비트당 전력이 어떻게 줄어드는지를 수치로 짚는다. 업계가 PAM4 를 두고 NRZ 로 되돌아간 이유와, 레이저 하나가 광섬유 몇 가닥을 먹이는지까지.
이 편의 축은 하나다 — 구리의 도달거리. 레인당 100기가비트에서 약 2미터 가던 직결 구리가 200기가비트에서 1미터, 400기가비트에서 0.5미터로 줄어든다. 랙 하나를 넘는 순간 광으로 갈 수밖에 없고, 그러면 광을 어디에 두느냐가 값을 정한다. 꽂는 방식은 기판 배선에서만 약 35데시벨을 잃어 그 손실을 신호처리 칩으로 메워야 하는데, 패키지 안으로 들이면 약 6데시벨로 줄고 그 칩이 통째로 사라진다.
핵심 포인트
속도가 오르면 구리가 짧아진다
꽂는 자리에서 패키지 안으로
주요 숫자
"The enemy to me right now is copper. I'm trying to beat copper, right?" 지금 나의 적은 구리라는 말이다. "So every picojoule of power that goes into the communications is one you can't use for compute." 통신에 넣은 1피코줄은 연산에 못 쓰는 1피코줄이다. "CPO has to be way more reliable than pluggables." 패키지 안에 붙이는 쪽은 꽂는 방식보다 훨씬 신뢰성이 높아야 한다는 대목이다.
반론 · 충돌
GPU 도 메모리도 광학도 만들지 않는 회사가 서버 트레이 안 30센티미터 구간 하나로 자리를 잡은 과정. 구리에서 신호가 어떻게 무너지고 그것을 되살리는 두 방법이 어떻게 다른지, 그리고 한번 설계에 들어가면 왜 잘 안 바뀌는지.
무대는 서버 트레이 안이다. GPU 가 CPU 나 네트워크 카드와 이야기하는 길은 기판 위 구리 배선인데, 폭 60센티미터짜리 판 위에서도 고속 신호는 무너진다. PCIe 5세대의 심볼 하나가 31.25피코초 간격으로 지나가기 때문이다. 그 구간에서 신호를 되살리는 칩을 만든 회사가 엔비디아 보드의 자리를 잡았다.
핵심 포인트
PCIe 세대별 전송 속도
주요 숫자
"Astera Labs doesn't even make GPUs. They don't make memory, they don't make optics." 이 회사가 만들지 않는 것들을 먼저 짚는 대목이다. "A redriver... is just an analog megaphone." 증폭만 하는 칩은 확성기일 뿐이라는 말이다. "Once you're designed in and it works, you're done." 설계에 들어가 돌아가기 시작하면 끝이라는 대목이다.
반론 · 충돌
데이터센터 네트워킹을 세 층으로 나눠 구리와 빛의 경계가 어디인지 짚는다. 랙 하나를 다 잇는 데 케이블이 몇 개나 드는지, 광 모듈 하나가 전력을 얼마나 먹는지, 그리고 그 전력 때문에 광학을 패키지 옆으로 끌어오려는 이유.
층을 셋으로 나눈다 — 랙 하나 안, 랙 여럿 사이, 그리고 캠퍼스 사이 20~50마일이다. 랙 안의 원칙은 하나다. 구리를 쓸 수 있으면 구리, 꼭 필요할 때만 빛. 이유는 전력이다. 광으로 보내려면 케이블마다 양쪽에 변환 모듈이 붙고 하나가 30와트쯤 먹는데, GPU 72개를 서로 다 잇는 랙에는 케이블이 5,000개 넘게 든다.
핵심 포인트
층을 셋으로 나눈다
주요 숫자
"Copper is a problematic medium and when you try to push these bits from one place to another, things go bad." 구리는 까다로운 매질이라는 대목이다. "I'd say" 광 모듈 30와트를 말하면서 붙인 단서이고, 랙 케이블 2킬로미터도 「어디선가 읽었다」는 값이다 — 이 편의 수치 상당수에 이런 단서가 붙는다.
반론 · 충돌
광소자 경쟁을 물량이 정한다는 논지. 단일모드 쪽은 기판 원재료부터 막혀 있고 VCSEL 은 25년째 월 수백만 개를 찍어 왔다는 주장, 1.6테라비트를 채우는 세 조합, 새 기술 없이 12.8테라비트까지 가는 경로, 그리고 실제 리드타임과 웨이퍼 한 장에서 나오는 개수까지.
이 편의 주장은 성능 비교에 있지 않다. 누가 그 물량을 찍을 수 있나이다. 실리콘 포토닉스와 EML 은 대개 인듐인(InP) 기반인데 기판 원재료부터 이미 조여 있고, VCSEL 은 늘 갈륨비소(GaAs) 기반이라 막힌 데가 없다는 것이다. 장거리용으로 크던 단일모드 업계가 익숙한 물량은 10만 개 단위인데 데이터센터가 부르는 물량은 그보다 10~50배다. 화자는 이것을 시간당 20판 굽던 피자 가게에 5,000판 주문이 들어온 것에 비유한다.
핵심 포인트
같은 1.6테라비트를 채우는 세 조합
주요 숫자
"Gallium arsenide: unconstrained." 갈륨비소는 막힌 데가 없다는 한마디다. "we're not building, we're not putting shovel to ground — we're just changing the actual VCSEL." 새 공장을 짓지 않고 소자만 바꾼다는 말이다. "So that roadmap to 12.8T, we believe, is very solid and very clear — without even having to invent any new technology." 새 기술 없이 12.8테라비트까지 간다는 대목이다.
반론 · 충돌
캐시에 맞은 토큰과 안 맞은 토큰의 값이 얼마나 벌어지는지, 에이전트가 남기는 트레이스가 얼마나 길어졌는지, 그 캐시를 어느 층에 두느냐가 NAND 등급 선택까지 어떻게 밀어내는지. 단위 캐시가 작아질수록 총 소비가 늘어난다는 역설도 함께.
추론에서 값을 정하는 것은 이미 계산해 둔 것을 어디에 두고 얼마나 다시 쓰느냐라는 이야기다. 압축 없이는 10만 토큰당 KV 캐시가 약 50기가바이트인데 최적화로 약 5기가바이트까지 내려갔다. 그런데 컨텍스트는 열 배, 동시 세션은 열 배에서 백 배로 늘었다 — 화자는 단위 캐시가 100배 줄 때마다 소비는 1만 배 는다는 경험칙을 든다.
핵심 포인트
메모리를 네 층으로 나눈다
주요 숫자
"for every 100X reduction in unit KV cache size, there's a 10,000X increase in consumption of KV cache." 단위 캐시가 100배 줄 때마다 소비는 1만 배 는다는 경험칙이다. "there's no S, there's no storage in NVMe. It's non-volatile memory express." NVMe 에 스토리지의 S 는 없다는 농담이다. "profit and loss, pricing, transparent pricing is the ultimate benchmark." 투명한 가격이야말로 궁극의 벤치마크라는 말이다.
반론 · 충돌
다이를 무한정 키우지 못하는 이유와 그 벽을 넘는 두 갈래. 실리콘 인터포저를 한 층 더 까는 쪽과 기판 안에 브리지만 심는 쪽이 층 수·재료비·수율에서 어떻게 갈리는지, 그리고 레티클 몇 배까지 담는다는 로드맵이 어디까지 나와 있는지.
노광기가 한 번에 찍는 면적이 858제곱밀리미터(26×33밀리미터)로 정해져 있다. H100 이 이미 그 한계에 닿았고, 그 뒤로는 다이를 여러 장 이어 붙여야 한다. 이으려면 가는 배선이 필요한데 방법이 둘로 갈린다 — 실리콘 인터포저를 한 층 통째로 까는 쪽(CoWoS)과, 다이가 만나는 자리에만 작은 브리지를 기판 안에 심는 쪽(EMIB)이다.
핵심 포인트
층이 셋이냐 둘이냐
레티클 한 장의 몇 배까지 담나
주요 숫자
"So I think now there is no chip without the packaging." 이제 패키징 없이는 칩이랄 것이 없다는 말이다. "EMIB predates CoWoS-L." 브리지 발상은 인텔이 먼저였다는 대목이다. "The packaging yield has to be essentially 100%... You can't lose one chip out of every ten." 패키징 수율은 사실상 100%여야 하고 열 개 중 하나를 잃을 수는 없다는 반론이다.
반론 · 충돌
노광 장비를 못 구하는 곳이 내놓은 다른 계산. 트랜지스터를 줄이는 대신 시스템 전체의 지연을 줄이겠다는 논지가 무엇을 곱해 성능을 맞추겠다는 것인지, 실제 실리콘에서 확인된 것은 무엇인지, 그리고 그 셈이 어디서 멈추는지.
화웨이가 학회에서 낸 논문을 두고 인터넷이 「EUV 킬러」라고 불렀다. 논지는 이렇다 — 트랜지스터를 작게 만든 목적이 결국 지연을 줄이는 것이었으니, 노광 장비가 없어 치수를 못 줄이면 칩 안부터 데이터센터 사이까지 전 층위의 지연을 대신 줄이겠다는 것이다. 논문은 그 지연을 타우로 부르고 세대마다 계수로 나눈다.
핵심 포인트
나란히 놓느냐 위아래로 쌓느냐
주요 숫자
"Is it real, or is it marketing?" 진짜인가 마케팅인가 — 이 편이 스스로 던지는 물음이다. "DSP is the tau killer" 신호처리 칩이 지연을 잡아먹는다는 말이다. "The gap widens. It doesn't narrow." EUV 를 가진 쪽이 같은 적층을 쓰면 격차가 벌어진다는 대목이다.
반론 · 충돌
365나노미터에서 13.5나노미터까지 온 광원의 역사와, 그 대가로 장비 한 대가 2.5억에서 4억 달러가 된 셈. EUV 를 못 구하면 왜 같은 패턴을 서너 번 반복해야 하는지, 그리고 광원을 서비스로 팔겠다는 쪽과 X선으로 가겠다는 쪽이 무엇을 걸고 있는지.
리소그래피는 빛으로 회로 모양을 그리는 일이고, 파장이 짧을수록 가는 선을 그린다. 365나노미터에서 시작해 248, 193을 거쳐 13.5나노미터까지 왔다. 그런데 그 빛을 만드는 값이 같이 뛰었다 — 장비 한 대가 2.5억 달러에서 4억 달러가 됐고 팹 하나에 열다섯 대가 든다. 그래서 이 이야기는 물리학이자 곧 진입장벽 이야기다.
핵심 포인트
광원 파장이 줄어든 폭
주요 숫자
"scaled to the size of Germany, their biggest irregularities would be a tenth of a millimeter." 미러 정밀도를 두고 든 인용이다. "something that's called two nanometers, the smallest dimension may still be on the order of 30 nanometers." 「2나노」라 불려도 실제 최소 치수는 30나노 수준일 수 있다는 대목이다. "it's very difficult to actually focus X-rays... You can't reflect them." X선은 반사가 안 되어 모으기 어렵다는 말이다.
반론 · 충돌
악성코드를 명분으로 든 수입 금지안이 실제로 무엇을 겨냥하는지. 그 부품 안에서 미국 쪽이 이미 맡고 있는 자리가 어디인지, 막았을 때 빠지는 물량이 얼마인지, 그리고 같은 편에 나온 100억 달러짜리 컴퓨트 딜이 왜 「깨끗한 대차대조표」를 빌려 쓰는 구조인지.
8월 4일 로이터 보도로 알려진 안이다. 중국산 데이터센터 부품의 신모델 수입을 막겠다는 것이고 대상은 광트랜시버 — 빛과 전기 신호를 서로 바꿔 먼 구간을 잇는 부품이다. 명분은 데이터 탈취·악성코드·서비스 방해다. 진행자들이 뜯어 보니 그 부품 안의 신호처리 칩·리타이머·드라이버는 이미 미국 회사 것이고 중국 쪽이 맡는 것은 주로 조립과 케이블 마무리였다.
핵심 포인트
막으면 얼마가 걸리나
주요 숫자
"It's very unclear that it is an attack vector." 그것이 공격 경로가 되는지가 매우 불분명하다는 말이다. "That is a significant amount of supply to just ban because you can't get these things anywhere else." 다른 데서 못 구하는 물량인데 그냥 막기엔 크다는 대목이다. "now we've traded security concerns for actually building capacity" 보안 우려와 실제 생산능력을 맞바꾼 셈이라는 정리다.
반론 · 충돌
데이터센터 지출이 잉여현금을 넘어서면서 채권 쪽에 보험이 붙는다는 관측과 그 반박. 매출이 257% 늘었는데 주가가 20% 빠진 메모리 실적의 안쪽. 그리고 중국이 내놓은 이머전 노광 장비가 어느 시점의 기술이고 어디까지 만들 수 있는지.
랙을 대량으로 사들이는 것은 오픈AI 같은 모델 회사가 아닌 대형 클라우드 사업자다. 예전에는 그 지출을 벌어들인 현금으로 냈는데 분기 지출이 커지면서 현금이 마르고 빚과 장부 밖 기구로 넘어갔다. 그러자 채권 투자자가 신중해졌고, 그것이 부도에 대비해 드는 보험의 값이 오르는 것으로 나타난다. 같은 편에서 메모리 실적과 중국 노광 장비를 함께 짚는다.
핵심 포인트
같은 비트를 만드는 데 드는 웨이퍼
주요 숫자
"the spot price for GPU rentals is much higher than these contracted rates... at times it's even 2X higher" 현물 대여가가 계약 단가보다 최대 두 배라는 반박이다. "You need three wafers of DRAM to make the equivalent number of bits in HBM." 같은 비트를 HBM 으로 만들려면 DRAM 웨이퍼 세 장이 든다는 대목이다. "It took ASML 20 years or so to engineer it without all of these supply chain restrictions." 제약이 없던 쪽도 20년쯤 걸렸다는 말이다.
반론 · 충돌
칩을 팔던 회사가 완제품을 원가 아래로 팔아 고객사를 무너뜨린 이야기와, 거기서 살아남은 쪽이 10년 뒤 되갚은 이야기. 그리고 본업이 아닌 데서 번 돈으로 본업을 산 회사와, 실물 없이 표지에 실린 목업 하나로 시작된 시장.
1970년대 초 계산기 시장에서 대부분의 브랜드는 남의 칩을 사다 키보드와 로고만 붙이는 조립업체였다. 칩을 대던 회사가 그 마진을 자기가 갖기로 하고 완제품을 부품 원가보다 싸게 팔았다. 조립업체는 값도 못 내리고 공급처도 못 바꿨다. 1975년 초에 한 곳이 무너졌고 대부분이 뒤따랐다.
핵심 포인트
값을 내려 죽이고, 산 쪽이 되갚는다
주요 숫자
"business is war" 되갚은 쪽 사장의 신조다. "People first, products and profits will follow." 사람이 먼저이고 제품과 이익은 따라온다는 말이다. "Real men have fabs." 진짜 남자는 팹을 가진다 — 그 회사는 2009년에 팹을 팔았다.
반론 · 충돌
1925년에 이미 전계효과 특허가 있었고 1922년에 결정에서 빛이 나오는 것을 규명한 사람이 있었다는 이야기. 영재 검사에서 떨어진 사람이 노벨상을 받고, 불가능하다고 증명해 놓고 두 달 뒤에 그것을 내놓은 사람도 있다.
1948년 초, 벨 연구소 변호사들이 트랜지스터 특허를 내기 전에 선행기술을 뒤지다 이미 있는 특허를 찾아냈다. 1925년 10월 22일자 캐나다 특허이고, 1928년 후속본은 오늘의 MOSFET 에 해당한다. 그래서 핵심 특허는 실물을 만든 두 사람 이름으로만 나갔다. 먼저 한 사람은 그 사실을 모른 채 1963년에 죽었다.
핵심 포인트
먼저 한 사람의 자취
주요 숫자
"I want to be RICH!" 위들러가 퇴사서에 적은 한 줄이다. "every idiot can count to one." 디지털 회로를 낮잡아 한 말이다. "It is now possible to do anything and everything with a crystal that can be done with a vacuum tube." 로세프의 소자를 소개한 편집자의 말이다.
반론 · 충돌
1787년에 돌 하나를 주운 자리에서 원소 여럿이 나왔고, 그중 몇이 지금 칩 공정에 들어간다. 그리고 2025년 수출 통제 목록에 그 이름들이 다시 올라온 이야기.
1787년 스웨덴 육군 중위가 채석장에서 검은 돌 하나를 주웠다. 새 텅스텐 광물인 줄 알았는데 여러 희토류 원소가 든 원광이었다. 그 뒤 100여 년 동안 화학자들이 그 돌과 같은 계열 광물에서 새 원소를 계속 갈라냈고, 마을 이름을 그대로 딴 것만 넷이다. 지금 그 채석장은 물에 잠겼다.
핵심 포인트
채굴과 정제에서 한 나라가 차지하는 몫
주요 숫자
원문에 인용할 만한 발언은 없다. 대신 남는 것은 목록이다 — 산화이트륨은 식각 챔버 안벽에, 스칸듐은 휴대전화 필터에, 에르븀은 광섬유 증폭기에, 질화탄탈럼은 구리 배선 아래에 있다.
반론 · 충돌
금 간 실리콘이 도핑을 알려 준 이야기, 주머니 속 초콜릿이 녹어 전자레인지가 된 이야기, 접합을 망가뜨리던 보라색 화합물이 검사 공정을 만든 이야기, 그리고 상온에서 코히런스를 잃고 그냥 빛나기만 하던 다이오드가 빨간 LED 가 된 이야기.
넷 다 잘못된 것에서 시작한다. 불량이라 버릴 실리콘, 주머니에서 녹아 버린 초콜릿, 접합을 끊어 놓던 화합물, 상온에서 제 구실을 못 하던 레이저다. 그런데 넷 다 오늘 쓰는 것으로 남았다 — 도핑이라는 개념, 전자레인지, 고온 강제 시험, 그리고 신호등과 계기판의 빨간 불빛이다.
핵심 포인트
사고가 무엇으로 남았나
주요 숫자
러셀 올이 보여 준 광반응이 너무 세서 브래튼은 처음에 속임수를 의심했다고 원문이 적는다. 홀로니악이 합금을 만들 수 없다고 말리던 화학자들의 말투를 두고 그는 "New York language" 라고 표현했다.
반론 · 충돌