'그려내는 AI'는 끝났다, '예측하는 AI' 시대

JEPA란 무엇인가?

JEPA는 “Joint Embedding Predictive Architecture”의 약자로,
프랑스 출신 인공지능 학자 얀 르쿤(Yann LeCun)이 제안한 차세대 인공지능 학습 구조이다.
우리말로 옮기면 “공동 임베딩 예측 구조” 정도로 표현할 수 있다.

AI 프론티어 국제 심포지엄 2025_얀르쿤

10월 27일, 서울 용산에서 열린 AI 프론티어 국제 심포지엄 2025에서 세계적인 인공지능 석학 이자 메타(Meta)의 수석 과학자인 얀 르쿤(Yann LeCun) 은

 

“현재의 인공지능은 고양이만큼도 똑똑하지 않다. LLM은 단어의 통계적 확률을 계산할 뿐, 현실의 원리를 모른다. 이대로 가면 AI는 인간 수준의 사고에 도달하지 못한다.” 라며 그는 언어 대신 ‘세계의 변화를 예측하는 능력’, 즉 ‘JEPA’ 같은 새로운 AI 구조의 필요성을 강조했다.

최예진 스탠퍼드대 교수

르쿤 교수에 이어 최예진 스탠퍼드대 교수가 ‘생성형 AI의 민주화: 스케일링 법칙을 초월하여‘를 주제로 연단에 섰다.

최 교수는 “이미 인터넷에 있는 데이터를 학습하는 것은 의미가 없다”라며 “이미 모든 업체가 그 데이터를 다운받았기 때문”이라고 설명했다. 이어 “인터넷에 없는, 질적으로 다른 데이터를 학습시키는 것이 중요하다”라고 밝혔다.

1. 핵심 개념: ‘예측’을 통해 세상을 이해하는 인공지능

 기존의 인공지능은 주어진 데이터를 그대로 복제하거나, 다음 데이터를 ‘그림처럼’ 예측하려고 한다.
예를 들어, 다음 문장을 예측하는 언어모델이나, 다음 이미지를 만들어내는 생성모델처럼요.

반면 JEPA는 “표면적인 데이터”가 아니라,
그 안에 숨어 있는 의미(추상적 표현, embedding) 간의 관계를 예측한다.

즉,

• 실제 영상의 픽셀 하나하나를 예측하는 대신,
• 그 영상이 압축되어 표현된 임베딩(embedding) — 즉, “의미 벡터”의 관계를 학습한다.

그래서 JEPA의 핵심은 단순한 ‘그리기’가 아니라,
“의미 사이의 관계를 예측하는 지능”이다.

 

2. ‘Joint Embedding’이란 무엇인가?

‘임베딩(embedding)’은 인간이 인식하는 복잡한 정보를 인공지능이 이해할 수 있도록 압축해 표현한 추상적 벡터이다.
예를 들어, 한 장의 사진은 수많은 픽셀로 이루어져 있지만,
임베딩은 그 사진의 핵심적 의미 — ‘고양이가 있다’, ‘밝은 분위기다’ 같은 특징 — 만을 요약한다.

Joint Embedding(공동 임베딩)은 두 개 이상의 임베딩을 서로 연결하고 비교하는 것이다.
예를 들어,

• 현재의 이미지(지금 상황)와
• 미래의 이미지(몇 초 뒤 상황)의 임베딩을 연결해,
  그 관계를 배우는 것입니다.

이렇게 해서 인공지능은 “어떤 변화가 일어날지”를
의미 수준에서 이해하게 된다.

 

3. 왜 중요한가?

기존의 AI는 ‘데이터 자체’를 예측하려다 보니,
쓸데없는 세부 정보(예: 픽셀 노이즈)에 지나치게 집중했다.

하지만 JEPA는 ‘데이터의 의미 구조’를 예측한다.
그래서 훨씬 효율적이고, 더 인간에 가까운 방식으로 세상을 이해한다.

• 데이터를 압축된 의미로 받아들이고,
• 그것들 사이의 관계를 추론적으로 예측한다.

즉, JEPA는 세상을 “어떻게 변하는가”의 관점으로 학습한다.
이것이 바로 인간의 학습 방식과 닮아 있다.

제미나이_언어를 해석해 이미지를 짜내는 존재

 

4. 예시로 이해하기

컵이 테이블 끝으로 굴러가는 장면을 본다고 해보자.

• 기존 AI는 “다음 프레임의 이미지를 그대로 만들어내려고” 한다.
• JEPA는 “컵이 떨어질 것이다”라는 상태 변화의 의미를 예측한다.

즉, 눈에 보이는 형태가 아니라
그 뒤에 있는 원인과 결과, 의미적 흐름을 학습하는 것이다.

5. 인간처럼 배우는 인공지능

얀 르쿤은 JEPA를 통해 “AI가 인간처럼 세상을 예측하고 이해하도록 만들자”고 말한다.
즉, 라벨(정답)이 없어도,관찰과 예측을 반복하면서 세상의 구조를 스스로 배우는 인공지능.

JEPA는 바로 그런 철학을 담고 있다.

 

💬 한 문장 요약

JEPA는 데이터를 그대로 모방하지 않고,
데이터가 지닌 ‘의미의 관계’를 예측함으로써
인간처럼 사고하려는 인공지능의 새로운 접근이다.

캔바ai