AI Engineer — 컨퍼런스 발표 아카이브
에이전트를 실제로 굴려 본 사람들이 무엇에서 막혔고 무엇으로 뚫었는지. 발표 한 편을 번호글로 옮겨 담습니다.
발표 한 편이 카드 한 장입니다. 다른 장과 달리 핵심 포인트로 갈라 쓰지 않고 한 생각에 번호 하나를 매겨 순서대로 늘어놓았습니다 — 발표는 앞의 말이 뒤에 걸리는 글이라 조각으로 나누면 그 걸림이 사라집니다. 맨 끝의 「한줄 코멘트」가 이 글의 판단입니다.
자막 전문에서 옮겼고, 발표자가 자기 회사를 파는 대목은 그렇다고 밝혀 두었습니다. 숫자는 발표에 나온 것만 싣습니다.
에이전트 비용이 왜 추적이 안 되는지를 SaaS·클라우드 시대의 통제 방식과 비교해 짚고, 예산을 넘기면 죽이는 대신 시스템 지시문에 개입해 출력을 줄이는 조정형(steer) 통제를 시연함. 벤치마크에서 평균 지출은 78% 줄고 완료율은 67%에서 96%로 올랐다는 수치, 우버(Uber)의 AI 예산이 4개월 만에 바닥났다는 사례가 나옴.
한줄 코멘트. 이 발표의 진짜 값은 78%·96%라는 숫자보다 "멈추기 전에 먼저 조정한다"는 순서 자체에 있다고 보임 — 예산 초과를 죽이는 신호가 아니라 압축·캐싱·청크 축소로 흡수할 신호로 다룬 것임.
클라우드플레어 워커스를 만든 켄턴 바르다가, 사용자가 자기 앱을 AI 에이전트로 직접 고쳐 쓰게 하는 '가젯' 플랫폼을 보여줌. 앱 UI는 널 오리진 아이프레임 샌드박스에, 서버 코드는 워커 샌드박스의 듀러블 오브젝트에 가둬 둘이 서로만 통신하게 만들어 XSS 버그가 나도 새어나갈 데가 없다고 주장함. 컨테이너·데이터베이스 없이 워커만으로 복잡한 앱을 돌리고 오픈소스 런타임 워커드(workerd)로 셀프호스팅까지 가능하다는 걸 보여주며, 정작 공개 일정은 클라우드플레어 최고기술책임자(CTO)의 제동으로 미뤄졌다는 사실도 밝힘.
한줄 코멘트. 클라이언트·서버를 이중으로 가둬 XSS를 원천 차단한다는 설계는 설득력 있지만, 그 안전 주장과 별개로 최고기술책임자가 공개를 미루게 한 사실은 코드 격리만으로는 못 막는 위험이 따로 있다는 뜻임.
왜 텍스트 디퓨전이 초당 토큰 수는 자기회귀보다 훨씬 빠른데 정작 큰 모델엔 아무도 안 쓰는지, TPU·GPU의 메모리 대역폭 병목으로 설명함. 256개 토큰을 24번의 순전파로 만들면 메모리 전송이 10분의 1로 줄어 최대 10배 빨라진다는 계산과, 실제 제미나이 디퓨전이 찍은 초당 2000토큰이라는 수치가 나옴. 수학 문제를 세 번의 순전파 만에 스스로 오답을 고쳐 맞히는 데모, 위키피디아·레딧·운영체제를 그 자리에서 통째로 생성하는 데모도 함께 다룸.
한줄 코멘트. 지연시간 우위는 데모로 확실히 증명했지만 처리량 열세는 그대로 인정한 발표라, 당장은 클로드급 서비스를 대체하기보다 온디바이스처럼 배치가 필요 없는 자리부터 먼저 붙을 모델임.
MCP 서버가 수천 개 등록된 레지스트리가 있어도 기업은 관측성·접근 통제·보안이라는 세 갈래 문제를 못 푼다는 진단과, 법무팀이 기술팀을 거치지 않고 직접 계약서 MCP 서버를 만들 수 있다는 구체적 그림을 보여줌. 게이트웨이 하나로 40개 서버를 각각 손보는 대신 클라이언트마다 한 번만 연결하면 되고, 에이전트를 수십만 명 규모로 늘려도 감당할 수 있다는 근거를 짚음.
한줄 코멘트. "신뢰의 뿌리를 하나로 세운다"는 직관은 설득력 있지만, 그 뿌리를 어떻게 감사하고 검증할지는 구체적으로 안 밝히고 결국 앤트로픽이 도와주겠다는 영업으로 마무리됨.
라이트RT(Lite RT)가 텐서플로 라이트 기반 온디바이스 프레임워크로 안드로이드·iOS·리눅스·라즈베리파이까지 같은 모델 파일로 돌아간다는 것과, NPU를 쓰면 CPU·GPU 대비 3~10배, 특정 케이스에서는 최대 13배까지 빨라진다는 구체적인 배수를 알게 됨. 제미마(Gemma) 4의 2B·4B 온디바이스 모델이 함수 호출·구조화 JSON 출력·사고 사슬까지 기기 안에서 지원한다는 점과, 아이폰·픽셀의 얼굴 잠금이 이미 같은 프레임워크로 로컬에서 돌아간다는 대목도 나옴.
한줄 코멘트. 성능 배수는 화려한데 정작 시연은 그날 아침 급조한 라즈베리파이 로봇이었다는 게, 이 스택이 실제로 어디까지 와 있는지를 숫자보다 더 솔직하게 보여줌.
제미나이 나노 모델이 3~4GB인데 앱마다 따로 안 심고 AI 코어라는 시스템 서비스 하나로 기기에 얹어 모든 앱이 나눠 쓰는 구조를 설명함. 하루 10~20번 쓰는 일반적인 사용은 배터리에 문제없고, 포그라운드 요청이 백그라운드보다 대기열에서 우선한다는 것도 짚음. 임베딩 API는 아직 없고 곧 나온다는 로드맵도 나옴.
한줄 코멘트. 모델을 앱마다 심지 않고 OS 하나가 짊어지는 이 설계는 온디바이스 AI 그 자체보다 배터리·비용·유통 문제를 시스템 레벨로 옮겨 푼 것에 더 가까워 보임.
젬마(Gemma) 4의 'E2B' 모델이 왜 실제로는 40억 파라미터를 갖고도 '20억'이라 불리는지, 층별 임베딩(per-layer embeddings)이 계산이 아니라 조회 테이블처럼 동작해 GPU 대신 CPU·디스크에 올라간다는 구조를 구체적으로 알게 됨. 출시 7일 만에 베이스 모델만 다운로드 1000만 건, 젬마 계열 전체 5억 건, 파생 모델 10만 개를 넘겼다는 숫자와 함께, 노트북 한 대에서 젬마 10개를 라마.cpp로 병렬 구동해 초당 100토큰씩 SVG를 그리게 한 시연도 나옴.
한줄 코멘트. "20억 파라미터"라는 이름표 뒤에 실제로는 40억이 숨어 있다는 사실 하나가, 오픈 모델 경쟁이 이제 총 파라미터 수가 아니라 GPU에 뭘 얼마나 올리느냐는 싸움으로 넘어갔다는 걸 보여줌.
ONNX 런타임이 매달 다운로드 1000만 건을 넘고 애저 AI 파운드리는 조직 7만 곳 넘게 쓴다는 규모부터, 큐원(Qwen) 2.5 1.5B를 버보스 모드로 돌려 초당 약 90토큰이 나온 실제 수치까지 확인함. 같은 코드가 윈도우·맥에서 각기 다른 모델을 골라 돌아가는 크로스플랫폼 데모와, 파일 시스템·OCR용 MCP 서버를 붙여 영수증에서 총액을 뽑아내는 로컬 에이전트 시연까지 나옴.
한줄 코멘트. 클라우드 부족분을 메우는 게 아니라 애저·ONNX·윈도우라는 이미 있던 세 자산을 CLI 하나로 묶었다는 점이 이 발표의 진짜 내용이고, 90토큰/초라는 속도보다 그 이어붙이기가 더 눈여겨볼 대목임.
MCP 메시지를 웹소켓·gRPC·유닉스 소켓은 물론 이메일(IMAP)로도 실어 날라 보이며, 전송 방식은 몇 줄짜리 구현 디테일일 뿐이라고 짚음. 청구 모델이 제각각인 제품 네 개를 한 연동으로 묶어야 하는 상황에서 MCP의 샘플링 프리미티브가 답을 미리 마련해뒀다는 점과, 핏 오브 석세스 원칙으로 사내 모든 연동을 MCP 게이트웨이 하나로 몰아넣은 구조를 구체적으로 보여줌.
한줄 코멘트. 이메일로 MCP 메시지를 보내는 시연은 농담에 가깝지만, 그 농담이 "전송은 배관일 뿐이고 표준화는 메시지 층에서 하면 된다"는 주장을 가장 잘 증명하는 예시임.
앤트로픽 CI 엔지니어가 겪은 사고, 즉 필터 버그로 워크로드 약 200개가 90초 만에 지워지고 엔지니어 20명 몫의 작업이 날아간 사례를 출발점 삼아, 예 아니면 아니오로만 답하는 토큰 대신 얼마나·얼마나 빨리·되돌릴 수 있는지·누가 보고 있는지 네 축으로 잰 예산을 주는 법이 나옴. 크게 실패하는 동사만 맡기고, 삭제는 시간당·자원별·네임스페이스별로 다시 차오르는 한도를 걸고, 에이전트 신원은 스스로가 아니라 프록시가 찍게 만든 사내 사례가 구체적으로 나옴.
한줄 코멘트. 이 발표에서 진짜 강조점은 속도 제한·트립와이어 같은 장치 목록이 아니라 신원을 누가 찍느냐다 — 에이전트가 자기 이름을 댈 수 있는 한 어떤 한도도 결국 제안에 그친다는 것임.
깃허브 넥스트(GitHub Next)가 만드는 두 프로토타입 — 가드레일을 YAML로 못박은 마크다운 자동화 「에이전틱 워크플로우」와, 클라우드 마이크로VM 위에서 팀 채팅 기록 전체를 보고 움직이는 「에이스(Ace)」다. 왜 가드레일을 프롬프트가 아니라 설정값으로 걸어야 하는지, PR 생성을 하나로 제한해 프롬프트 주입 공격을 막는 방법이 구체적으로 나온다. 개발자 100명을 수천 시간 추적한 연구에서 키보드 타이핑은 업무의 5%뿐이었다는 수치도 담겼다.
한줄 코멘트. 가드레일을 프롬프트가 아니라 YAML로 못박고 PR을 하나로 제한하는 대목은 실제로 프로덕션에서 겪는 위협을 구체적으로 짚었다는 점에서 다른 「에이전트 만들어봤다」류 발표보다 실속 있음.
코덱스 하니스가 메시지 한 통을 처리하며 거치는 장치들이 구체적으로 나옴 — 스킬 목록을 컨텍스트 창의 2%로 묶어두는 규칙, 도구를 지연 로딩해 두었다가 도구 검색으로만 찾게 하는 방식, 파일 삭제 같은 위험한 행동을 읽기 전용 서브에이전트가 대신 판단하는 오토 리뷰 구조가 그것임. 세레브라스에서 초당 1,000토큰까지 빨라지자 병목이 추론에서 네트워크로 옮겨가 웹소켓 모드를 도입한 이야기, 슬래시 골로 돌리는 루프와 컴팩션까지 이어짐.
한줄 코멘트. 이 발표의 핵심은 코덱스 자체가 아니라 리스폰스 API로 노출된 부품들 — 지연 로딩·도구 검색·웹소켓·서버 쪽 컴팩션은 코덱스를 안 써도 자기 하니스에 그대로 옮겨 쓸 수 있다는 점으로 보임.
OpenAI에서 에이전트 인프라를 다루는 발표자가 오픈클로(OpenClaw, 오픈소스 개인 비서형 에이전트 프로젝트)에서 실제로 벌어진 이슈 다섯 건 — 상태 구멍, 겹친 기록자, 매달린 툴 호출, 승인 표류, 놓친 엣지 증명 — 을 근거로 프로덕션 실패 대부분이 모델이 아니라 하니스 문제임을 보여줌. 텔레그램 답장은 성공했는데 다음 턴엔 그 사실이 지워졌던 사고를 출발점 삼아, 상태 소유·순서 있는 커밋·행동 증명이라는 세 원칙과 프로덕션 감사에 쓸 다섯 질문을 제시함.
한줄 코멘트. 이 발표가 짚은 다섯 사고 모두 모델이 아니라 경계선 하나씩(소유·순서·시한·권한·증명)이 빠져서 터졌다는 점에서, "더 똑똑한 모델"이 신뢰성 문제의 답이 아니라는 주장은 설득력 있어 보임.
오픈AI 코덱스(Codex) 팀 발표에 이어 게스트 피터 스타인버거가 자기 워크플로가 몇 달 새 어떻게 바뀌었는지 공개함. 터미널 10개 이상을 돌려 끝난 놈을 골라 쓰던 1월에서, 지금은 매니저 에이전트 하나에 일을 맡기고 서버사이드 컴팩션·조정·트리거 셋으로 루프를 완성한 이야기가 핵심임. GPT-5.6 루나가 입력 100만 토큰당 1달러·출력 6달러라는 값, GPT-5.6 솔이 세레브라스에서 초당 750토큰을 내 PR 한 건을 10초에 써내는 속도도 나옴.
한줄 코멘트. 코덱스 팀은 층마다 자기도 쓰는 것을 그대로 공개하는 개방 전략으로 답했고, 스타인버거는 터미널 10개를 관리하다 매니저 하나에게 위임하는 쪽으로 실제 워크플로를 바꿔 같은 결론에 도달했다는 점이 이 발표를 겹치게 만듦.
라이브 AI 튜터 에이스(Ace)를 인트로·티치·체크·그레이드·어드밴스·랩 여섯 단계 상태 머신으로 쪼개, 모델에게는 한 번에 한 단계만 좁은 계약으로 넘기고 다음 단계 판단은 하네스가 맡는 구조가 나옴. 이 덕분에 오퍼스 4.7 대신 하이쿠 4.5로도 같은 신뢰도를 내면서 비용·지연을 줄였다고 밝힘. 에이전트 성공률이 동전 던지기 수준이면 모델의 결정권부터 걷어내라는 기준도 제시함.
한줄 코멘트. 모델을 작게 쓸 수 있다는 이야기가 아니라 모델에게서 상태를 뺏어야 작은 모델도 큰 모델만큼 믿을 수 있어진다는 순서가 이 발표의 핵심임.
앤스로픽이 매니지드 에이전트(Managed Agents)를 만들며 부딪힌 문제와 해법 네 가지를 정리함. 뇌(하니스)와 손(컨테이너)을 분리해야 하는 이유, 검증을 별도 컨텍스트로 떼어내야 하는 이유, 클로드가 포켓몬을 플레이하며 잘못된 위치 기억을 5번 중 5번 반복하다 꿈꾸기(dreaming)로 고친 실험까지 다룸.
한줄 코멘트. 뇌·손 분리와 검증자 분리는 같은 원리다 — 한 컨텍스트가 실행과 채점을 겸하면 무너지니 무조건 떼어놓으라는 것임.
은행 계좌 개설 에이전트가 신원 확인에 DMV(차량관리국) 등록부와 여권 검증 서비스 두 데이터 소스를 쓰는 예로, 팀마다 에이전트를 만들 때마다 데이터 배선을 처음부터 다시 하는 문제를 짚음. 비즈니스 온톨로지·기술 온톨로지·실행 추적, 이 세 층을 두면 데이터 소스 발견·신뢰 판단·DRY(같은 배선 반복 방지)·자기 학습까지 한 번에 풀린다는 청사진을 포춘 20위 은행과 베이 에어리어 대형 테크 기업 등 실제 작업 사례로 제시함.
한줄 코멘트. 이 발표의 진짜 주장은 "온톨로지를 만들자"가 아니라 "배선을 한 곳에 모아 반복하지 말자"임 — 세 기둥 중 정말 새로운 건 실행 추적으로 신뢰를 아래에서부터 쌓는다는 부분이고, 나머지 둘은 사실 메타데이터 카탈로그 얘기임.
에이전트가 "1,000달러어치를 팔라"는 지시를 1,000주 매도로 착각해 190,000달러짜리 사고를 냈는데 API는 200 OK를 30밀리초 만에 돌려줘 대시보드는 멀쩡했다는 사례로 시작함. 온도를 0으로 낮춰도 결정적이지 않은 이유를 부동소수점 연산·배치 불변성·MoE 라우팅까지 네 가지로 짚고, 발표자들이 만든 크로니클(Chronicle)이라는 도구로 노드 경계마다 입출력을 기록해 실패한 실행을 그대로 되감고 테스트 케이스로 재사용하는 법을 보여줌.
한줄 코멘트. 재현 대신 재생을 파는 접근은 옳지만, 노드 경계마다 입출력을 다 얼려서 저장·재생하는 인프라를 새로 얹는 비용이 얼마나 느는지는 발표에서 다루지 않음.
CLI(명령줄 인터페이스)에서 시작해 에디터를 관제판으로 쓰고 위임(delegate)으로 스케일하는 3단계 워크플로가 나옴. Agents.md·스킬·커스텀 에이전트라는 가드레일 세 겹을 왜 순서대로 쌓아야 하는지, 20년 경력 중 19년 반을 에디터에서 보낸 개발자가 왜 이제 에디터를 켜지 않는지, 20배 개발자가 되는 게 왜 가드레일 없이는 20배 슬롭으로 뒤집히는지가 구체적으로 나옴.
한줄 코멘트. 이 발표가 파는 건 CLI도 에이전트도 아니라 가드레일을 쌓는 순서임 — Agents.md 없이, 스킬 없이 위임부터 걸면 20배 개발자가 아니라 20배 슬롭이 된다는 경고가 핵심으로 보임.
포켓몬 1000마리 중 이름이 AW로 끝나는 건 크로코노와 드레드노 둘뿐이라는 예로 능력 과잉(capability overhang)을 설명하고, 클로드 코드 시스템 프롬프트를 80% 걷어낸 이유를 밝힘. 언노운(모르는 것)을 찾는 여섯 가지 방법—블라인드 스폿 패스·브레인스토밍·인터뷰·레퍼런스·구현 노트·사후 퀴즈—을 구체적으로 짚고, 새 모델급을 쓰며 얻은 것과 잃은 것을 함께 고백함.
한줄 코멘트. 언노운을 찾는 여섯 가지 방법은 바로 써먹을 만큼 구체적인데, 정작 "무리하게 굴기"는 자기 회사 문화 자랑에 가까워 다른 팀에 그대로 옮기긴 어려움.
MCP(모델 컨텍스트 프로토콜)가 텍스트만 돌려주던 시절엔 README에 아스키 아트와 이모지가 넘쳤다는 이야기와, 이제는 서버가 UI 리소스를 함께 돌려줘 호스트가 그걸 샌드박스 아이프레임에 렌더링하는 구조를 알게 됨. 리엄 햄프턴이 직접 짠 Go 코드를 5초 동안 프로파일링해 플레임 그래프를 iframe 안에서 바로 띄우는 데모와, 쇼피파이·익스칼리드로·피그마가 MCP 앱을 실제로 쓰는 방식도 담겨 있음.
한줄 코멘트. MCP 앱은 프로토콜 확장이라기보다 "서버가 자기 화면까지 들고 온다"는 발상 전환이고, 5초 프로파일링 데모가 그걸 가장 직접적으로 보여줌.
소프트웨어를 짜던 습관이 에이전트에서는 왜 발목을 잡는지 다섯 갈래로 짚음. 고객 상담 에이전트가 같은 프롬프트로 10번 중 1번만 성공하면 왜 못 쓰는지, 5분·15분씩 도는 에이전트가 중간에 깨졌을 때 왜 처음부터 다시 돌리면 안 되는지, 딜리트 아이템(delete item)처럼 사람에겐 뻔한 API가 왜 에이전트에겐 안 뻔한지가 구체적으로 나옴.
한줄 코멘트. 다섯 갈래 다 결국 하나로 모이는데, 결정론적 코드에 익숙한 손이 비결정적인 것을 계속 정해진 워크플로로 눌러 담으려 하는 게 시니어가 막히는 지점이라 보임.
코딩 에이전트(사람이 시킨 일을 스스로 여러 단계로 쪼개 도구를 불러가며 처리하는 프로그램) 여러 대를 한 사람이 돌리는 그림이 왜 팀 생산성과 무관한지부터 짚고, 깃허브 넥스트(GitHub Next)가 만든 프로토타입 ACE(Agent Collaboration Environment) 데모로 답을 보여줌. 팀원이 마이크로 VM 위 같은 세션에 들어와 오퍼스(Opus) 4.6에게 함께 프롬프트를 넣고 계획을 공동 편집하는 장면, 팀이 하루 다섯 개 기능을 출시하게 된 변화, 수천 명 대상 기술 프리뷰가 곧 시작된다는 사실까지 구체적으로 나옴.
한줄 코멘트. 도구가 늘려주는 건 개인 산출량인데 팀이 막힌 자리는 합의라서, ACE가 진짜 푸는지는 결국 사람들이 계획 문서에 커서를 몇 개나 띄우느냐로 갈릴 것 같음.
딥마인드 내부에서 스킬이 통제 불능으로 퍼지는 걸 다윈주의적으로 솎아내는 방식, 파워 유저가 시스템을 먹통으로 만들면 몫을 그냥 끊어버리는 방식, 에이전트가 밟은 궤적을 저장해 어디서 루프에 빠졌는지 되짚는 관측 도구를 구체적으로 알게 됨. 앤스로픽이 토큰을 많이 먹는 에이전트 때문에 구독제 모델이 안 맞기 시작했다는 지적과, 딥마인드 소속 KP조차 개인 계정엔 울트라 등급이 없어 행동을 바꿔야 한다는 대목도 나옴.
한줄 코멘트. 오케스트레이션과 관측 도구는 그럴듯한데, 스케일 문제의 실제 해법이 아직 "몫 끊기"와 "사람이 멈추라고 말하기"라는 걸 발표자 스스로 인정하고 있음.
깃허브 MCP 서버가 툴 100개를 넘기며 에이전트를 오히려 헷갈리게 만들던 시절, 툴셋과 동적 선택 같은 정교한 해법을 만들어놓고도 정작 다들 기본 설정만 썼다는 실패담부터 짚음. 목록 풀 리퀘스트 하나에서 출력 토큰 75%를 줄인 사례, 읽기 전용 모드를 쓰는 사용자가 17%인데 이를 노출하는 클라이언트가 없는 실태, 동적 클라이언트 등록을 거부한 이유, 주당 툴 호출 700만 건을 무상태 서버로 처리하는 구조까지 구체적으로 보여줌.
한줄 코멘트. 우아한 툴셋·동적 선택 기능을 다 만들어놓고도 다들 기본값만 썼다는 대목이 이 발표의 핵심임 — 설정 화면이 아니라 기본값이 실제 제품임.
MCP(모델 컨텍스트 프로토콜) 월간 다운로드가 1억 1000만 건에 이르렀다는 수치와 함께, 툴을 미리 다 컨텍스트에 넣지 않고 필요할 때만 불러오는 프로그레시브 디스커버리와 여러 툴 호출을 스크립트 하나로 묶는 프로그래매틱 툴 콜링을 클로드 코드 적용 전후 화면으로 보여줌. 스트리머블 HTTP의 확장성 문제를 풀 스테이트리스 전송 프로토콜, 크로스앱 액세스, 스킬 오버 MCP처럼 6월에 나올 프로토콜 로드맵도 구체적으로 짚음.
한줄 코멘트. 월간 다운로드 1억 1000만 건과 "우리 에이전트는 아직 별로다"라는 인정이 한 발표 안에 같이 나온다는 게, 이 프로토콜이 채택 곡선과 실전 성숙도가 따로 노는 단계에 있다는 걸 보여줌.
클라우드플레어 API 2,600개 엔드포인트를 다 노출하면 첫 호출에서만 120만 토큰이 드는데, 검색·실행 두 개 툴로 그걸 1,000토큰까지 줄인 99.9% 절감 사례와 켄턴이 캔버스에 그린 틱택토 판을 모델이 획(stroke) 배열만 보고 알아채 원을 그려 넣은 창발 행동을 담음. 아무 능력도 없이 시작해 API를 하나씩 명시적으로 열어주는 캐퍼빌리티 기반 보안(capability-based security) 샌드박스 구조까지 구체적으로 짚음.
한줄 코멘트. 툴을 백 개 나열해 컨텍스트를 채우는 대신 코드 실행 권한을 여닫는 캐퍼빌리티로 바꾸자는 이야기인데, 그 캐퍼빌리티를 누가 얼마나 넓게 열어줄지 정하는 기준은 이 발표 안에 없음.
앤트로픽이 스킬(skill)을 낸 지 다섯 주 만에 스킬 수천 개짜리 생태계가 생겼고, 곧바로 금융 서비스와 생명과학 분야 신사업까지 냈다는 발표. 세금 신고를 IQ 300짜리 천재 대신 경험 많은 세무사에게 맡기겠다는 비유로 왜 도메인마다 새 에이전트를 짓는 대신 스킬 폴더를 쌓기로 했는지 설명하고, 모델은 프로세서·런타임은 운영체제·스킬은 애플리케이션이라는 컴퓨팅 역사 비유로 마무리함.
한줄 코멘트. 세금 신고 비유는 산뜻하지만 정작 스킬 자체가 좋은지 어떻게 재는지는 이 발표에서 안 다뤘음 — 그 답은 같은 자리에 있던 다른 발표(평가 없이 스킬을 내보내지 마라)로 넘어감.
메모리 툴과 컨텍스트 편집(context editing)을 같이 썼더니 앤스로픽 내부 평가에서 성능이 39% 올랐다는 수치, 최대 100만 토큰까지 열리는 컨텍스트 창 이야기가 나옴. 클로드 코드(Claude Code)를 예로 사고 예산·MCP·메모리·컨텍스트 편집·코드 실행 도구·에이전트 스킬(agent skills)이 왜 겹겹이 필요한지, 그리고 클로드에 컴퓨터를 쥐여주고 샌드박스 안에서 자율적으로 돌리려면 어떤 인프라 문제부터 풀어야 하는지 짚음.
한줄 코멘트. 39% 성능 향상의 재료는 새 기능이 아니라 메모리와 컨텍스트 편집을 묶어 창에서 필요 없는 걸 걷어낸 것이고, 이 팀이 지금 힘을 쏟는 곳도 결국 컨텍스트를 비우는 인프라임.
안티그래비티(Antigravity)가 에이전트의 사고 과정을 문자열 그대로 보여주는 대신 마크다운 계획서·다이어그램·화면 녹화 같은 아티팩트로 바꿔 보여주는 이유와, 그 판단을 모델 스스로 내리게 만든 방식을 알게 됨. 편집기와 에이전트 매니저를 100밀리초 안에 오가는 단축키, 구글 엔지니어·딥마인드 연구자를 먼저 사용자로 삼아 컴퓨터 사용·아티팩트 같은 신기능의 빈틈을 실시간으로 찾아 고치는 리서치-제품 플라이휠 구조가 구체적으로 나옴.
한줄 코멘트. 아티팩트는 대화 로그를 안 보이게 감싼 장치일 뿐, 그 판단을 모델에 맡길 수 있다는 확신은 결국 구글 직원들이 먼저 써보며 만든 것임.
노트북에서 돌아가는 라마(Llama) 3.1 8B 다이스 롤러 에이전트를 똑같이 아마존 베드록(Amazon Bedrock) 콘솔에서 다시 만들어 클라우드 스케일로 올리는 전 과정을 실시간으로 보여줌. 에이전트의 최소 구성요소를 모델·프롬프트·루프·히스토리·도구 다섯 가지로 정리하고, 액션 그룹과 람다(Lambda)로 도구를 연결하는 법과 아마존 Q 디벨로퍼가 코드를 자동완성해주는 장면까지 담음. 클로드 3.5 하이쿠로 만든 클라우드 에이전트가 로컬 데모와 똑같이 주사위 15라는 결과를 내며 마무리됨.
한줄 코멘트. 도구 하나·파라미터 하나짜리 다이스 롤러라 클릭 몇 번으로 프로덕션까지 가는 게 매끈해 보이지만, 도구가 여러 개로 늘거나 실행이 실패했을 때 어떻게 되는지는 이 발표에 안 나옴.
프레임워크 없이 자연어로 3D 장면을 만드는 블렌더 엘엠(Blender LM)을 처음부터 만들어 본 과정을 통해, 결정론적 워크플로 대신 자율 탐색형 에이전트를 고른 이유와 능력 발견·관측 가능성·중단 가능성·비용 인지 위임이라는 네 가지 UX 원칙을 짚음. 초기 모델은 오류율 20%였다가 3개월 뒤 GPT-3.5 터보로 바꾸자 1.5%로 떨어진 사례, 멀티에이전트가 진짜 이득을 보는 일은 엔지니어링 팀 전체 작업 중 아주 작은 원 하나뿐이라는 비유가 나옴.
한줄 코멘트. 네 원칙보다 먼저 온 건 "결정론적 워크플로와 자율 탐색형 중 어느 쪽 문제인지 가르는 판단"이었고, 그 다음에야 원칙을 적용했다는 순서가 이 발표의 실제 값임 — 큰 원 안에서 멀티에이전트가 맞는 작업은 아주 작은 원 하나뿐이라는 그림이 그 순서를 뒷받침함.
파일을 읽어 요약하고 마크다운으로 쓴 뒤 소리 내어 읽어주는 데모가 기본 도구 세 개만으로 돌아가는 과정과, MCP(모델 컨텍스트 프로토콜) 서버를 붙여 3blue1brown 스타일 수학 애니메이션을 마님(Manim)으로 자동 생성하는 두 번째 데모를 코드 단위로 보여줌. 파이썬 함수에 데코레이터 하나만 얹으면 바로 에이전트 도구가 된다는 점과, 기본값으로 베드록의 클로드 3.7을 쓴다는 구체적인 세팅도 짚음.
한줄 코멘트. 두 데모 모두 시스템 프롬프트를 빼도 돌아간다는 걸 직접 지워 보이는 대신 말로만 짚고 넘어갔는데, 그 확인 자체를 생략한 채 "스캐폴딩 없다"는 주장만 반복한 셈임.
에이전트를 만들 때 핵심은 에이전시(스스로 판단해 행동하는 정도) 자체가 아니라 효과성이라는 축을 하나 더 놓고 보는 것이라는 걸 보여줌. Y 컴비네이터 소속 스타트업 중 에이전틱을 자처하는 곳이 3년 새 254% 늘었다는 수치, API 300개를 툴 300개로 그대로 등록하면 안 된다는 경고, 마이크로소프트가 낸 레드팀 도구 파이릿(PyRIT)까지 구체적으로 담음.
한줄 코멘트. 체인이 복잡해지면 에이전틱 패턴으로 넘어가라는 「쓴맛의 교훈」은 방향은 맞지만 전환 시점을 재는 기준이 감(感)에 머물러 있고, 그 판단조차 제대로 된 평가 세트 없이는 내리기 어렵다는 이 발표 자신의 조언과 부딪힘.
에이전트를 클라이언트·AI·워크플로우·도구 네 조각으로 나눠보면 실제로 막히는 지점이 어디인지 드러난다. MCP 서버를 직접 짤 때 걸리는 세 난관(전송 프로토콜·OAuth·메모리)과 신용카드 발급 승인처럼 사람이 끼는 워크플로우에서 상태를 어떻게 지키는지를 Knock 사례로 구체적으로 보여준다. 세일즈 자동화 도입 기업의 매출 20% 증가, 응답속도 90% 개선 같은 수치도 나온다.
한줄 코멘트. 네 조각 프레임은 깔끔한데 결국 그중 도구·워크플로우 두 조각을 자사 agents SDK 하나로 풀어주겠다는 제품 홍보로 이어진다는 점은 감안해서 읽어야 함. 다만 MCP 샘플링을 실제 프로덕션에서 아직 아무도 안 쓴다고 스스로 밝힌 대목은 과장 없이 정직함.
알렉사가 6억 대 기기에서 수백 개 전문가 시스템과 수만 개 파트너 서비스를 오케스트레이션하는 규모, AWS 내부 팀이 아마존 Q 디벨로퍼 CLI 에이전트를 3주 만에 만들어 낸 이야기를 다룸. 그 속도의 비결로 내놓은 것이 모델에게 계획·판단·행동을 맡기고 개발자는 '무엇을' 시킬지만 정하는 모델 중심 설계이고, 이를 코드로 편 것이 오픈소스 SDK 스트랜즈 에이전트(Strands Agents)임. 도구 6,000개를 가진 내부 에이전트가 이를 지식베이스에 넣고 검색해 필요한 것만 모델 컨텍스트로 끌어오는 방식과, MCP 서버를 람다(Lambda)로 배포해 원격에서 규모를 키우는 방법도 구체적으로 나옴.
한줄 코멘트. 3주 만에 만들었다는 속도와 6억 대·6,000개 도구라는 규모는 인상적인데, 정작 모델이 무엇을 할지 스스로 판단하게 맡긴 그 지점에서 잘못된 선택을 걸러내는 장치가 무엇인지는 이 발표에서 짚지 않음.
리드미(README) 파일 하나만 채워두고 코파일럿 에이전트 모드에 맡겨 8분 만에 동작하는 여행 예약 앱을 만드는 시연과, 포스트그레스(Postgres) MCP를 읽기 전용으로 붙여 실제 DB 데이터를 mock.json으로 뽑아 테스트를 만드는 과정을 구체적으로 보여줌. 깃허브(GitHub) MCP로 브랜치 생성부터 PR까지 한 문장으로 시키는 법과, 코파일럿 인스트럭션 파일에 변경 로그를 남기게 하는 실전 팁도 나옴.
한줄 코멘트. 읽기 전용 포스트그레스 MCP처럼 안전장치를 갖춘 사례를 보여준 건 좋은데, 정작 코파일럿이 어떤 MCP를 써야 할지 스스로 못 골라내 매번 이름을 못박아 줘야 한다고 밝힌 대목이 이 통합이 아직 손이 많이 가는 단계라는 걸 드러냄.
리서치 애널리스트용 에이전트를 400명·50개 팀이 매일 고쳐 내보내며 겪은 것. 「최근 5개 분기」에서 글자 하나가 빠져 월간 값이 분기 값으로 나간 사고, 위에서 에이전트를 바꾸면 아래가 흔들린다고 미리 가정하고 방어막부터 치는 순서, 가드레일을 언제 팀마다 두지 말고 수평으로 떼어낼지.
한줄 코멘트. 요는 에이전트를 매일 고쳐 내보내려면 다운스트림이 알아서 흔들릴 거라 가정하고 자기 쪽에서 방어막부터 치는 게 먼저고, 조직을 수평으로 쪼개는 것도 처음부터 정답이 아니라 기술이 안정된 뒤에야 할 일이라는 점임.
단일 프롬프트에서 체인, 리액트(ReAct) 루프, 워크플로 그래프를 거쳐 다시 리액트 루프로 돌아온 다섯 번의 아키텍처 전환마다 평가가 놓치는 실패 지점이 어떻게 달라졌는지 SRE 에이전트 예시로 짚음. 같은 평가를 K번 돌려 한 번이라도 성공하는지 보는 pass@K와 K번 다 성공하는 빈도를 보는 pass^K라는 지표가 왜 필요해졌는지, 브레인트러스트(Braintrust)의 토픽스(Topics) 기능이 프로덕션 데이터를 군집 분석해 팀이 몰랐던 새 실패 유형을 어떻게 찾아내는지까지 다룸.
한줄 코멘트. pass@K·pass^K로 편차까지 재는 건 맞는 방향인데, 발표 내내 강조한 「예상 못 한 실패 발굴」을 결국 브레인트러스트라는 벤더의 군집 분석 기능 하나에 기대는 순간 그 자체가 또 다른 정적 지점이 될 위험을 이 발표는 짚지 않음.
디자인·글쓰기·성격처럼 정답이 없는 일을 채점할 수 있는 것으로 쪼개는 방법. 수학에서는 여러 답의 평균이 정답에 가까워지는데 취향에서는 그 평균이 슬롭이 되는 이유와, 전문가끼리 판단이 갈릴 때 그것을 나쁜 데이터로 버릴지 좋은 데이터로 남길지 가르는 기준.
한줄 코멘트. 슬롭을 코드처럼 검증 가능하게 쪼개겠다는 틀은 설득력 있는데, 결국 그 검증의 재료가 자기 회사가 파는 전문가 1000명짜리 데이터라는 걸 잊으면 안 됨.
아라이즈(Arize) 창업자 제이슨 로파테키가 자사 에이전트 시그널(Signal)을 놓고 관측(observability)이 사람이 클릭하는 화면에서 벗어나 스스로 이슈를 띄우고 고치는 루프로 바뀌는 과정을 설명함. 트레이스와 로그를 지금의 10배쯤 남겨야 에이전트가 소프트웨어가 밟은 경로를 알아내 고칠 수 있다는 게 핵심 주장이고, 스트림 취소 오류를 한두 줄 수정으로 잡아낸 실제 사례와 우버·부킹 같은 고객사가 프로덕션 데이터를 앤트로픽에 직접 보내지 않으려고 VPC에 샌드박스를 설치하는 이유까지 구체적으로 다룸.
한줄 코멘트. 고치는 루프를 여는 열쇠가 잘 설계된 스킬이라는 지적은 맞지만, 그 스킬을 실제로 어떻게 잘 만드는지는 구체적으로 안 보여주고 결국 아라이즈 제품(AX·시그널)을 쓰라는 결론으로 흘러감.
스킬 5만여 개를 뜯어봤더니 평가가 딸린 게 거의 없고, AI가 직접 쓴 스킬은 사람이 쓴 것보다 오히려 성능을 떨어뜨린다는 스킬벤치 조사 결과. 정규식만으로 스킬을 값싸게 채점하는 방법과, 인터랙션스 API 스킬 하나로 성공률을 90%까지 끌어올린 구글 딥마인드의 실제 사례, 스킬을 은퇴시킬 때를 가르는 어블레이션 테스트까지 담김.
한줄 코멘트. 정규식 채점으로 스킬을 값싸게 평가하는 아이디어는 실용적인데, 구글처럼 스킬 변경마다 자동으로 회귀 테스트를 돌리는 체계를 갖추지 않은 팀이라면 그 값싼 평가조차 손으로 반복해서 돌려야 한다는 점은 짚어야 함.
아라이즈(Arize)의 AI 아키텍트 댓 응오가 작년 한 해 1000억에서 1조 토큰을 썼다고 밝히며, 관측 가능성·평가·실험 세 층을 오픈텔레메트리 하나로 묶어 우버·부킹·레딧 같은 대형 고객에게 쓰게 한다고 설명함. 평가를 스팬·멀티스팬·궤적·세션 네 범위로 나누고, LLM 판정과 골든 데이터셋이 어떻게 맞물리는지도 구체적으로 짚음. 회사의 최종 목표는 이 전 과정에서 사람을 걷어내 알렉스라는 AI가 알아서 평가를 만들고 문제를 진단하게 하는 것이라고 밝힘.
한줄 코멘트. 비기술 인력에게 평가를 맡기는 UI를 정성껏 만들어놓고 최종 목표는 그 UI 자체를 없애는 것이라고 밝힌 것은, 지금 파는 제품과 회사가 그리는 미래가 서로를 지우는 셈임.
브레인트러스트가 에이전트 트레이스 전용 데이터베이스를 왜 처음부터 새로 짰는지 다룸. 트레이스 하나가 1기가바이트를 넘고 스팬 하나가 20메가바이트에 이르는 사례, 클릭하우스를 버리고 러스트로 짠 Tantivy 텍스트 인덱스를 쓰게 된 배경, 임상의·간호사·자산관리사 같은 비개발자가 직접 트레이스를 들여다보는 워크플로를 구체적으로 보여줌.
한줄 코멘트. 이 발표의 설득력은 "범위가 다르다"는 주장을 스팬 20메가바이트, 트레이스 1기가바이트라는 크기로 증명한 데서 나옴.
평가가 왜 흩어지고 검증도 안 되며 소수만 만드는지 세 가지 이유를 짚고, 캐글이 해커톤·에이전트 시험·게임 아레나·벤치마크 네 갈래로 이를 고치려는 시도를 봄. 경쟁 AI 랩이 자사 API의 압축 기능만 켜서 같은 벤치마크를 더 좋은 점수로 재현한 사례, 포커에서 통계적 유의성을 얻으려 40만 판을 돌린 비용, 같은 여섯 모델이 하니스만 바꿔도 22퍼센트포인트 갈리는 문제가 나옴.
한줄 코멘트. 평가를 만드는 사람이 3만 명뿐이라는 문제의식은 날카로운데, 정작 그 해법 넷은 전부 캐글이라는 한 플랫폼 안에 있어서 폐수처리장 엔지니어 같은 사례가 앞으로 몇 명이나 더 나올지는 이 발표만으로는 확인할 수 없음.
브레인트러스트(Braintrust) 필 헷젤(Phil Hetzel)이 고객사들에서 본 평가 성숙도를 네 단계로 정리함. 예시 입력 10개로 시작하는 vibe 체크에 근거 기록을 붙이는 1단계부터, 프로덕션 트레이스를 데이터셋에 담아 도는 "플라이휠", CRUD 도구 호출이 얽힌 트레이스를 오프라인에서 어떻게 재현할지의 문제까지 구체적으로 짚음. 질의응답에서는 결정론적 채점과 LLM 판정 사이에서 "LLM 판정 자체도 평가하라"는 답을 내놓음.
한줄 코멘트. 1단계부터 근거 기록을 강제한 대목이 핵심임 - 평가 성숙도란 결국 사람 판단을 코드로 옮겨가는 과정이고, vibe 체크조차 그 첫 재료를 쌓는 단계로 다시 짠 것임.
깃허브 옥토버스 보고서와 최고운영책임자 트윗 속 커밋 증가 수치(2025년 10억 건, 2026년 예상 140억 건)를 근거로, AI가 만든 코드량이 늘어난 것과 개발자 생산성이 느는 것은 다른 문제라는 스탠퍼드 12만 명 연구를 소개함. 이어 레드-그린 TDD와 마이크로소프트가 만든 플레이라이트(Playwright) MCP 서버로 AI 에이전트가 실패하는 테스트부터 쓰고 통과시키는 코드를 짜는 과정을 코파일럿 CLI 데모로 보여줌.
한줄 코멘트. 코드베이스가 깨끗해야 AI 이득이 난다는 스탠퍼드 연구는 설득력 있는데, 그 처방이 결국 마이크로소프트 자사 제품(코파일럿·워크IQ·플레이라이트) 조합으로 좁혀지는 대목은 걸러 들을 필요가 있음.
브레인트러스트(Braintrust) 필 헷젤(Phil Hetzel)이 평가 플랫폼이 스프레드시트에서 시작해 왜 결국 시스템 문제로 커지는지를 짚음. 보통 트레이스 조각(span)은 수 킬로바이트인데 이들이 실제로 본 건 10~20메가바이트짜리였고, 자체 개발한 도메인 특화 언어 BTQL조차 감당을 못 했다고 밝힘. 노션(Notion) 같은 고객이 트레이스 전체를 상대로 한 전문(全文) 검색을 요구하면서 그 한계가 드러났다고 함.
한줄 코멘트. 화면은 바이브 코딩으로 베낄 수 있어도 스팬 하나가 10~20메가바이트에 달하는 트레이스를 담아낼 데이터 계층은 못 베낀다는 게 이 발표의 핵심임 — 평가 플랫폼의 해자는 UI가 아니라 데이터베이스에 있음.
코딩 에이전트가 실패한 이유를 LLM 판정(LLM-as-judge)으로 영어 문장 설명까지 받아내 시스템 프롬프트에 규칙으로 쌓아가는 프롬프트 러닝(prompt learning) 기법을 다룸. 스위벤치(SWEBench) 150개 예제만으로 클로드 코드(Claude Code)는 깃허브 이슈 해결률이 5%포인트, 클라인(Cline)은 15%포인트 올랐다는 실험 결과와, DSPy의 프롬프트 최적화기 GEPA보다 훨씬 적은 반복으로 같은 효과를 냈다는 비교까지 보여줌.
한줄 코멘트. 강화학습을 데이터 굶주린 눈감고 배우기로, 프롬프트 러닝을 채점표에 왜 틀렸는지 적어주는 선생으로 대비시킨 비유가 정확한데, 결국 이 선생 노릇을 하는 게 평가 프롬프트라서 프롬프트 러닝의 성패도 결국 좋은 평가를 쓰는 문제로 돌아옴.
가드레일을 다 뗀 GPT-4.1을 직접 공격하니 폭력 카테고리 공격의 25%, 복합 공격의 20%가 뚫렸고, 가드레일을 켠 GPT-4o에서는 160번 시도 중 하나도 못 뚫렸다는 실측 격차를 보여줌. 마이크로소프트 AI 레드팀이 쓰던 도구 PyRIT을 애저 AI 파운드리가 SDK와 대시보드로 감싸, 엔지니어가 자기 애플리케이션에 베이스64·시저 암호 같은 변환 공격을 자동으로 걸어볼 수 있게 만든 과정을 데모로 보여줌. 가드레일은 모델 안이 아니라 밖에서 입력·출력을 따로 거른다는 점도 질문에 답하며 확인해줌.
한줄 코멘트. 가드레일을 끄자 GPT-4.1이 시저 암호를 스스로 풀어 답한 대목이, 안전장치가 모델 안이 아니라 밖에 있다는 걸 가장 잘 보여줌.
코드는 명세(specification, 의도와 가치를 담은 문서)의 손실 압축본일 뿐이고 그 명세를 쓰는 사람이 진짜 프로그래머라는 주장을 폄. GPT-4o 사이코펀시(sycophancy, 사용자 비위를 맞추려 아첨하는 성향) 사태를 모델 스펙 조항 위반 사례로 짚고, 심의적 정렬(deliberative alignment) 기법으로 명세를 학습 자료이자 평가 자료로 함께 쓰는 법을 설명함. 미국 헌법을 국가 단위 모델 스펙에 빗대며 판례가 유닛 테스트 역할을 한다는 비유로 마무리함.
한줄 코멘트. 심의적 정렬은 명세를 채점하는 「더 큰 모델」을 필요로 하는데, 그 채점 모델 자체가 무엇을 근거로 정렬됐는지는 다루지 않아 정렬 문제를 한 단계 위로 미룬 것처럼 보임.
행사 페이지엔 참석자 수가 없었는데, 만든 에이전트가 링크를 따라간 두 번째 페이지에서 269명이라는 숫자를 찾아 붙여온 실제 데모로 자동 채점의 쓸모를 보여줌. 애저 AI 파운드리의 채점기가 폭력적인 이미지에 5점 만점에 4점을 매겨 기본 문턱값으로는 불합격 처리한 사례를 들어, 게임처럼 폭력을 허용하는 앱이면 문턱값을 올려 통과시킬 수 있다는 점도 짚음. 모델 하나 고르는 수작업 비교부터 F1·BLEU·ROUGE 같은 고전 지표, 대규모 자동 채점까지 단계를 나눠 정리함.
한줄 코멘트. 참석자 수 없는 페이지에서 링크 하나 더 타고 들어가 숫자를 채워온 그 대목이, 자동 채점기가 정작 걸러야 할 건 답의 그럴듯함이 아니라 이런 우연한 성공까지 재현 가능한지임을 보여줌.
노션(Notion)이 새 모델이 나올 때마다 24시간 안에 반영한다는 사례로 평가 성숙도의 기준을 셋으로 정리하고, 클로드(Claude) 4 소네트가 나온 지 2주 만에 전에는 10% 수준이라 못 쓰던 기능을 출시했다는 브레인트러스트(Braintrust) 자체 사례를 보여줌. 프롬프트만 최적화할 때보다 데이터셋·채점 기준까지 함께 최적화할 때 성능이 극적으로 갈렸다는 실험과, 도구 출력을 JSON에서 YAML로만 바꿔도 성능이 달라졌다는 사례도 구체적으로 짚음.
한줄 코멘트. 모델 교체는 버튼 하나로 자동화하라면서 사용자 피드백은 사람이 골라 데이터셋에 넣으라 한 것은, 브레인트러스트가 어디에는 자동화를 밀고 어디에는 사람을 남겨두는지를 보여주는 선긋기임.
XML 태그를 쓰면 거의 100% 정확도가 나오고, 긴 문서 질의응답에선 질문을 프롬프트 맨 끝에 둘 때가 맨 앞에 둘 때보다 훨씬 잘 맞았다는 앤트로픽 내부 실험을 다룸. 사고사슬이 실제 추론과 어긋날 수 있다는 문제를 분해(decomposition) 기법으로 보완하는 법, 자기일관성으로 답을 다수결로 고르는 법을 구체 프롬프트와 함께 보여줌. 클로드 2는 2023년 8월 9일에 나왔고 클로드 인스턴트가 수학·코드와 탈옥 방어에서 더 강해졌다는 시점 정보도 담김.
한줄 코멘트. 2023년 클로드 얘기지만 XML 태그·질문 위치·분해·자기일관성 같은 기법은 지금 프롬프트에도 그대로 먹힘.
훈련 스택이 쥐고 있던 것을 한 겹씩 바깥으로 내주는 순서. 한 턴짜리 문답에서 합성 환경으로, 남의 하니스로, 배포 뒤 자기개선으로 넘어갈 때마다 무엇을 놓고 무엇을 얻나. 네트워크 탓에 도구 호출 10%가 실패하자 모델이 답을 점점 짧게 내놓은 사례가 왜 리워드 해킹과 같은 문제인지도 나온다.
한줄 코멘트. 결국 이 발표가 그리는 건 리워드 함수를 정교하게 짜는 싸움이 아니라 모델이 실패를 어떻게 우회하는지를 계속 뒤쫓는 싸움이라, 데이터 형식을 통제할 수 없는 프로덕션 환경으로 갈수록 어플라이드컴퓨트 같은 회사가 팔 자리가 넓어진다는 점이 눈에 띔.
오픈AI가 새로 연 에이전트 강화 파인튜닝(agent RFT)이 프롬프트·과제 최적화 다음에 쓰는 마지막 카드로 어떻게 작동하는지, 코그니션·코드투·코사인·매코 네 회사 사례로 봄. 코그니션은 예제를 100개에서 1000개로 늘려 개선폭을 5점에서 10점으로 끌어올렸고, 매코는 파이토치 프롬프트 100개만으로 GPU 커널 생성에서 기존 최고 기록을 72퍼센트 앞질렀음.
한줄 코멘트. 네 사례 다 파트너사 자체 집계라 외부 검증은 없지만, 예제 100개를 1000개로만 늘려도 5점이 10점 되고 파이토치 프롬프트 100개로 최고 기록을 72퍼센트 앞지른 숫자는 파인튜닝에 필요한 데이터 문턱을 확 낮춘 사례로 봄직함.
AI 발전사를 병목 하나씩 뚫어온 역사로 다시 읽고, 지금 병목이 요청마다 고정된 테스트타임 컴퓨트(질문을 받아 답을 내기까지 모델이 쓰는 계산량)라는 걸 보여줌. 강화학습으로 모델이 씽킹 루프를 몇 번 돌릴지 스스로 배우게 만든 과정과, 딥 싱크(Deep Think)가 미국 수학 올림피아드 성적을 50퍼센타일에서 65퍼센타일까지 끌어올린 사례가 나옴.
한줄 코멘트. 섀넌부터 라마누잔까지 병목을 풀어온 역사로 그렸지만, 씽킹의 실체는 결국 문제 하나에 계산을 얼마나 태우느냐의 문제라 딥 싱크의 65퍼센타일도 비동기로 얼마나 오래 돌렸는지, 그래서 얼마를 썼는지는 언급하지 않은 채 나온 숫자임.
코딩 어시스턴트를 AI 인턴에 빗대며 왜 코드 짜기 전에 요구사항·설계 문서부터 써야 하는지 설명함. AWS가 만든 IDE 키로(Kiro)는 공개 직후 다운로드 수만 건이 몰려 게이트를 걸어야 했던 사례를 들고, 요구사항→설계→태스크 3단계 흐름과 속성 기반 테스트(property-based test)를 무비 데이터베이스 데모로 보여줌. 태스크 목록에서 "상위 네 개만 먼저 MVP로 만들어달라"고 시키는 실전 팁도 소개함.
한줄 코멘트. 골디락스 존을 지키라면서도 그 경계가 어디인지는 안 알려주는데, 결국 사람이 설계·요구사항 문서를 계속 들여다봐야 한다는 그 앞의 조언과 같은 말임.
파이어폭스가 월평균 20건이던 보안 버그 수정이 4월엔 400건으로 평소 평균의 20배까지 뛴 사례를 앤트로픽 유진 얀이 소개하며, 프론티어 모델이 실제로 방어자 편에서 취약점을 찾고 고치는 데 쓰이고 있음을 보여줌. 앤트로픽 자체도 오픈소스 저장소 1000여 곳을 스캔해 2만3000개 후보 중 6200개를 고·치명 등급으로 골라 1600건을 메인테이너에게 보고했고 그중 100건이 실제로 패치됐다고 밝힘. 취약점을 찾는 일은 쉬워졌고 병목은 검증·분류·패치와 조직 프로세스로 옮겨갔다는 여섯 단계 실전 지침을 정리함.
한줄 코멘트. 파이어폭스 월간 패치 20배 급증과 앤트로픽의 6200건 고·치명 취약점 스캔이 같이 말해주는 건, 발견은 이미 상품화됐고 이제 조직이 감당해야 할 건 검증·분류·패치라는 사람 쪽 병목이라는 것임.
로컬·백그라운드·클라우드 에이전트를 손 대는 정도로 나누고, 한 코드베이스에서 셋을 동시에 돌려 테스트·프런트엔드·문서를 각각 맡기는 실제 시연 흐름을 구체적으로 보여줌. 오토파일럿(Autopilot) 기능이 도구 호출마다 묻지 않는 대신 위험할 수 있다는 경고, 클라우드 에이전트가 깃허브 액션즈 위에서 네트워크 화이트리스트·메인 브랜치 접근 차단으로 격리된다는 안전장치가 나옴.
한줄 코멘트. 로컬·백그라운드·클라우드로 손 대는 정도를 나눈 틀은 쓸 만한데, 시연에서 정작 백그라운드 에이전트가 알려준 테스트 방법이 틀려 결국 사람이 다시 개입했다는 대목이 이 구분의 한계를 보여줌.
에이전트를 모델과 하네스(harness, 모델을 감싸 도구를 쓰게 만드는 실행 틀) 두 겹으로 나눠서, 새 모델이 나올 때마다 프롬프트와 도구를 다시 맞추던 문제를 하네스 쪽에서 흡수하자는 논리가 나옴. GPT-5 출시 때 다른 모델용 프롬프트를 그대로 써서 모델이 파일을 필요 이상으로 뒤지느라 느려졌던 사례와, 오픈AI가 모델에 직접 물어봐서 원인을 찾아낸 과정이 구체적으로 나옴. 코드엑스 맥스(Codex Max)는 이제 사용량 기준 가장 빨리 크는 모델로 주당 수십조 개 토큰을 처리하며, 이는 데브데이 이후 두 배로 늘어난 수치임.
한줄 코멘트. 하네스를 판다는 건 결국 프롬프트 튜닝을 대신 해준다는 뜻이고, 그 값어치를 하려면 모델이 어떤 습관으로 훈련됐는지까지 같이 쥐고 있어야 한다는 게 코드엑스와 다른 래퍼의 차이임.
클로드 코드(Claude Code) 창시자 보리스 체르니(Boris Cherny)가 제품을 일부러 최소한으로 두는 이유를 설명함. 앤트로픽이 신입 온보딩을 2~3주에서 이틀로 줄인 사내 도입 사례, 벽에 붙여둔 비터 레슨(the Bitter Lesson), 이날 새로 나온 플랜 모드(shift+tab)까지 구체적인 사례로 짚음.
한줄 코멘트. "제품이 뭐가 맞는지 모른다"는 고백을 반복하는데, 실제로는 터미널·IDE·GitHub·SDK 네 겹을 다 만들어놓고 각각에서 뭐가 먹히는지 관찰하는 전략이라 무의견이라기보단 저비용 다중 실험에 가까움.
컨텍스트 그래프가 RAG용 지식 베이스와 어떻게 다른지, 결정 흔적과 선례를 그래프로 엮어 에이전트가 승인·거절과 그 이유까지 답하게 만드는 원리를 봄. 명령 한 줄로 22개 도메인 중 하나를 골라 그래프·프런트엔드·백엔드를 통째로 만드는 create-context-graph 도구와, 단기·장기 기억·추론을 담당하는 Neo4j 에이전트 메모리 패키지가 나옴.
한줄 코멘트. 결정 흔적을 그래프로 남기자는 방향은 맞는데, 정작 새 흔적을 누가 언제 써넣을지는 발표자도 아직 못 풀었다고 인정한 대목이 이 발표에서 제일 정직한 부분임.
같은 지식그래프에 벡터 검색 2단계로 물으면 재키슨(Jackson) 라이브러리의 XML 인젝션 취약점 정보가 짧게 나오지만, 같은 그래프를 클로드 코드+MCP로 에이전트가 스스로 순회하며 캐묻게 하면 CVE 번호·공격 유형·심각도·수정 버전까지 훨씬 상세하게 나오는 대조를 보여줌. 그래프 질의어 Cypher가 ISO가 채택한 GQL 표준의 사실상 부분집합이라는 점과, 역할 기반 접근 제어를 그래프에 얹어 의사만 진단 정보를 보게 만드는 활용법도 짚음.
한줄 코멘트. 같은 그래프, 같은 질문인데 벡터 검색 2단계로 물을 때와 에이전트가 스키마부터 파악해 순회하며 캐물을 때의 답 상세도가 이렇게 벌어진다는 게 이 발표의 진짜 논점임 — 그래프RAG는 데이터 구조 얘기고, 얼마나 캐묻게 하느냐는 검색 방식 얘기임.
코드용 그래프RAG로 10만 줄·231개 파일짜리 둠(Doom) 코드베이스에 점프 기능을 추가하는 데 성공한 사례와, 파이썬-러스트 번역이 그래프 없이는 컴파일도 안 됐다가 그래프를 쓰자 바로 동작한 대조를 보여줌. 새로 공개한 벤치마크QED로 레이지 그래프RAG를 벡터RAG와 비교하니 8K·120K·100만 토큰 컨텍스트 창 전부에서 92%·90%·91%의 비율로 이겼고 비용은 100만 토큰 방식의 10분의 1이었다는 수치도 나옴.
한줄 코멘트. 200줄짜리 장난감 게임과 10만 줄짜리 둠에서 같은 패턴이 반복됨 — 코드를 그대로 컨텍스트 창에 밀어 넣으면 규모와 무관하게 막히고, 그래프로 구조를 얹어야 번역도 기능 추가도 뚫림.
AWS의 마니 카누자가 여행 에이전트·사내 챗봇·마케팅 애플리케이션 세 사례로 생성형 AI마다 필요한 데이터가 어떻게 다른지 보여주고, 베드록 데이터 오토메이션·지식 베이스·가드레일로 RAG를 만드는 순서를 짚음. 청킹 전략을 잡은 뒤에도 평가 없이는 뭐가 잘못됐는지 모른 채 최적화할 수 없다고 못박고, 정확도·비용·지연 세 기둥을 시맨틱 캐싱과 컨텍스트 관련성 평가로 다스리는 순서를 제시함.
한줄 코멘트. 베드록 기능 나열은 결국 AWS 홍보이고, 남는 알맹이는 "검색 결과부터 평가하고 나서 모델에 넘겨라"는 순서 하나임.
에코스크립트(EchoScript) 데모에서 API 요청 한 번으로 화자 이름표·타임스탬프·언어·감정까지 뽑아내는 과정과, 기본 목소리 30개 안팎에 감독 노트(director's note)를 얹어 아일랜드·싱가포르 억양을 입히는 보이스 라이브러리(Voice Library) 데모가 나옴. 실시간 음성 모델 제미나이 3.1 플래시 라이브로 카메라를 보며 대화하고, 리라 3(Lyra 3)로 즉석에서 노래까지 만드는 과정도 이어짐.
한줄 코멘트. 전사·음성 생성·실시간 대화·음악까지 네 갈래가 전부 하나의 오디오 이해 모델에서 갈라져 나온다는 게 이 발표의 뼈대이고, 데모마다 그 이해가 어떻게 다른 산출물로 갈아치워지는지를 보여주는 방식임.
제미나이로 PDF·영상·음성 메모를 한꺼번에 읽혀 요약을 뽑고, 함수 호출로 나노 바나나(이미지)·음성 생성 모델을 부르는 에이전트 루프를 코드로 보여줌. 오디오 1분이 토큰 1920개로 환산돼 100만 토큰 한도면 9시간 넘게 넣을 수 있다는 계산과, 지도에 화살표만 그려도 금문교 사진을 정확히 그려내는 나노 바나나 데모가 나옴.
한줄 코멘트. "애니투애니"라고 부르지만 실은 텍스트만 내놓는 이해 모델 하나에 이미지·음성 생성 모델을 함수 호출로 이어 붙인 구조이고, 라이브 API의 오디오투오디오 단일 모델만이 그 이어붙임을 정말로 없앤 사례임.
VEO·나노바나나(NanoBanana)를 만드는 구글 딥마인드 팀 안쪽 이야기임. 잠재공간 압축으로 텐서 크기를 100배 가까이 줄이는 원리, 이미지 생성을 저주파에서 고주파로 가는 "스펙트럴 자기회귀"로 보는 관점, 그리고 언어 모델보다 작은 파라미터로도 통하는 비결인 가이던스 기법까지 정리함.
한줄 코멘트. 가이던스 하나가 디퓨전 모델을 작게 만들면서도 세게 만드는 비결이라는 게 이 발표의 핵심임.
소닉2(Sonic 2)가 초기 모델보다 2.5배 빨라져 모델 지연시간 40밀리초를 낸다는 수치와, 기기 안에서 도는 로컬 모델이 클라우드 왕복보다 약 5배 빠르다는 수치가 나옴. 트랜스포머가 입력이 길수록 메모리·연산이 제곱으로 늘어나는 것과 달리 상태공간모델(SSM)은 추론 시 연산량이 고정된다는 구조 설명과, 클로드를 붙이면 왜 느리게 느껴지는지를 묻는 청중 질문에 TTS 쪽 여유로 언어모델 지연을 상쇄한다고 답하는 실전 대목까지 담김.
한줄 코멘트. 소닉2의 40밀리초·2.5배라는 숫자보다, 클로드도 느리다는 청중 질문에 TTS 쪽 여유로 언어모델 지연을 상쇄한다고 답한 대목이 이 아키텍처가 실전에서 버티는 이유를 더 잘 보여줌.
브레인트러스트 솔루션 엔지니어링 팀장 필 헷젤이 12년 컨설팅 경력을 거쳐, CEO가 매거진을 읽고 지시를 내리는 전통 기업과 처음부터 에이전트 중심으로 큰 AI 네이티브 기업이 왜 다르게 움직이는지 짚음. 정밀도·재현율·F1에 집착하는 습관이 에이전트 평가에는 안 맞는다는 반론과, 데이터 과학자가 가드레일·LLM 심사·파인튜닝 셋으로 값을 더할 수 있다는 결론을 함께 담음.
한줄 코멘트. 결론은 "답은 중간에 있다"는 무난한 말이지만, 정밀도·재현율·F1에 집착하는 습관이 에이전트 평가에는 안 맞는다는 반론이 이 발표에서 제일 날카로운 대목임.
구글 딥마인드가 이번 주에만 제미나이 3 프로와 나노 바나나 프로를 잇달아 내놓고 AI 스튜디오에서 라이브 데모로 실력을 보여준 자리임. 얼굴 사진 한 장으로 만화책을 만들고 스크린샷 한 장으로 자기 제품 UI를 그대로 복제하며, 현장 QR코드로 23명이 한꺼번에 접속한 멀티플레이어 레이싱 게임까지 짧은 프롬프트 몇 줄로 뽑아냄. 다음 단계로 예고한 백엔드·풀스택 런타임이 실제로 나오면 API 키 없이도 저장·결제 기능까지 자동으로 붙는 앱을 만들 수 있다는 게 핵심 주장임.
한줄 코멘트. 데모는 화려한데 정작 핵심인 백엔드·풀스택 런타임은 아직 나오지 않은 예고편이라, 지금 본 건 프런트엔드 한정판 바이브 코딩임.