일간 논문

단일 대규모 언어 모델(LLM)이 모든 쿼리와 예산 제약 조건에서 최적일 수는 없으므로, 비용 효율적인 배포를 위해서는 모델 라우팅이 필수적이다. 기존 라우터들은 다양한 정식화와 구현 방식을 채택하고 있어 공정한 비교와 확장이 어렵다. 우리는 LLM 라우팅을 다섯 가지 구성 요소, 즉 컨텍스트 인코더, 모델 인코더, 점수 함수, 결정 규칙, 학습 신호로 특징지어지는 순차적 의사 결정 과정으로 통합 정식화를 제시하며, 이는 단일 턴, 다중 턴 및 개인화 라우팅을 모두 포괄한다. 이 정식화에 기반하여, 우리는 라우팅 지도 신호를 구축하고 응답 품질과 추론 비용을 동시에 평가하는 자동화된 파이프라인을 개발한다. 그 결과로 만들어진 벤치마크인 xRouteBench는 일반 LLM, 메모리 증강, 비전, 시계열 및 개인화 라우팅 작업을 아우른다. 또한 우리는 16개 이상의 대표적인 라우터를 포함하는 오픈소스 모듈식 인프라인 LLMRouter를 소개한다. 실증 연구 결과, 학습된 라우터는 가장 강력한 고정 모델 기준선을 상대적으로 14.6% 능가하며, 경량 라우터는 엄격한 비용 제약 조건에서 더욱 경쟁력이 높아지고, 사용자 조건부 라우팅은 개인화를 일관되게 향상시킨다.

인터랙티브 세계 모델은 지속적 메모리, 반응적 상호작용, 장기 생성을 지원해야 하지만, 이러한 요구 사항은 모델에 상충되는 요구를 부과한다. 디노이저 컨텍스트나 키-값 캐시에 기록을 유지하면 비용이 증가하여 세션 길이와 유지 메모리 사이의 절충을 강제하며, 저지연 상호작용은 교사 모델에 의해 능력이 제한되는 소수 단계 생성에 의존한다. Evoke는 지속적 세계 상태를 외부화하고 장기 인터랙티브 생성을 위해 교사 모델을 재설계함으로써 두 한계를 모두 해결한다. 장면 지오메트리는 외부의 카메라 인덱스 기반 세계 상태 뱅크에 유지되며, 현재 시점에 관련된 정보만 검색되므로 세션이 길어져도 디노이저 컨텍스트가 제한된 범위로 유지된다. 교사 모델을 고정된 생성기로 취급하는 대신, 우리는 이를 장기 감독에 적합하도록 설계한다. 교사 모델의 희소 어텐션은 청크 단위 그룹화, 선택된 원거리 프레임 검색, 선형 어텐션 전역 상태를 결합하여 메모리와 계산 비용이 선형적으로 증가하면서도 긴 지평에 걸친 감독을 가능하게 한다. 이러한 감독은 짧은 윈도우 내에서만 국소적으로 그럴듯한 콘텐츠 드리프트를 드러내며, 청크별 조건화는 시퀀스 전체에 걸쳐 프롬프트 변경과 이벤트 제어를 가능하게 한다. 자가 강제 롤아웃 하에 적용되는 30초 분포 정합 목적 함수는 두 능력을 모두 분류기 없는 유도를 사용하지 않는 3단계 학생 모델에 전이하여, 반응적 조건화를 유지하면서 장기 드리프트에 대한 저항성을 개선한다. 제한된 컨텍스트와 순환적 외부 메모리를 통해 Evoke는 개방형의 지속적으로 진화하는 생성을 지원하며, 단일 H200 GPU에서 384×640 해상도로 각 1.5초 청크를 2.11초에 생성한다. 3단계 세계 모델로서 Evoke는 WBench에서 최고 성능을 달성하고, VBench-Long 및 VBench-2.0에서도 경쟁력 있는 성능을 유지한다.

우리는 DreamX-Phi 1.0을 제시한다. 이는 로봇 조작을 위한 행동 조건부 비디오 세계 모델로, 관측된 프레임, 언어 지시, 그리고 엔드이펙터 자세와 그리퍼 상태로 구성된 지정된 행동 시퀀스가 주어졌을 때, 그 결과로 나타날 미래 관측을 예측한다. 그러나 사실적인 영상만으로는 충실성이 보장되지 않는다. 그럴듯한 롤아웃이 잘못된 팔을 움직이거나 조작 대상 물체를 놓칠 수 있기 때문이다. 예측이 각 팔의 명령된 경로를 따르도록 보장하기 위해, 우리는 PRoPE 스타일의 기하학적 인코딩을 통해 어텐션에 팔별 SE(3) 변환을 주입하여 팔의 정체성과 강체 운동 구조를 보존한다. 행동 제어만으로는 장면 기하학이나 작은 조작 물체의 변화를 완전히 제약하지 못한다. 따라서 우리는 장면 수준의 기하학을 위한 경량 깊이 분기를 추가하고, 파지 과정 전반에 걸쳐 객체 일관성을 유지하기 위해 고정된 V-JEPA 티처와 함께 SAM3 마스크를 사용한다. 또한 효율적인 배포를 위해 분포 정합 증류를 통해 다단계 생성기를 소수의 단계를 사용하는 학생 모델로 증류한다. 이 글을 작성하는 시점에, DreamX-Phi 1.0은 WorldArena 2.0 Challenge의 Track 1에서 1위, Track 2에서 2위를 달성하였다. 우리의 모델과 코드는 공개적으로 제공될 예정이다.

LLM 에이전트의 능력은 모델 가중치뿐만 아니라 하네스(프롬프트, 도구, 스킬, 제어 흐름)에 의존한다. 자기 개선 루프는 이미 하네스를 편집하지만, 단일 계통 탐색은 경로 의존적이며 국부적 개선이 다른 작업의 성능을 퇴보시키는 경우가 많다. 우리는 모델을 고정한 채 하네스 개체군에 대한 선택으로 자기 진화를 다루는 DarwinX를 소개한다. 유지-확장 계약은 성능 퇴보 없이 커버리지를 확장하는 변이만 수용하며, 아카이브는 재조합을 위한 대체 계통을 보존하고, 실패, 교사, 자기로부터 비롯된 증거는 하나의 편집 인터페이스를 공유한다. 적합도는 각 벤치마크 자체의 검증기에서 나온다. 정답 솔루션도, 수동으로 선별된 우승자도 없다. 진화 신호를 테스트에서 점진적으로 분리하는 네 개의 벤치마크에 걸쳐, 한 번의 루프는 평균 약 17포인트를 더한다. Terminal-Bench 2.1은 일치하는 베이스 모델에서 +7.7포인트 상승한 83.2%, 더 강력한 모델에서는 검증된 최고 수준인 84.7%에 도달한다. TerminalWorld의 홀드아웃 분할은 68.3%로 모든 기성 에이전트를 앞선다. WebArena-Infinity의 실제 작업 pass@1은 43.5%에서 감사 무결 93.0%로 상승한다. 그리고 Terminal-Bench 2.1 하네스는 변경 없이 SWE-bench Verified로 전이된다. 진화하는 것은 벤치마크 특화 패치가 아니라 일반적인 에이전트 역량이므로, 이는 작업, 검증기, 베이스 모델의 변화에도 살아남는다. 고정된 모델이 고정된 에이전트일 필요는 없다. 하네스 선택은 평가 컴퓨팅을 지속 가능한 능력으로 전환한다.

과학적 발견은 점점 더 이질적 양식의 과학적 증거에 대해 추론하고, 과학적 도구 및 환경과 상호작용하며, 긴 작업 지평에 걸쳐 지속적으로 진전을 유지할 수 있는 AI 시스템을 요구한다. 본 논문에서는 멀티모달 과학적 이해, 추론, 생성 및 장기 지평 작업을 지원하도록 설계된 과학적 에이전틱 기반 모델 시리즈인 Intern-S2-Preview를 제시한다. 훈련 파이프라인은 렌더링된 과학 문서, 인터리브된 이미지-텍스트 데이터, 다양한 과학 말뭉치에 대한 과학적 멀티모달 사전학습으로 시작된다. 사전학습된 체크포인트에서 출발하여 지도 미세조정, 확장 가능한 다중 작업 강화학습(RL), 블랙박스 및 화이트박스 에이전틱 RL, 온폴리시 증류로 구성된 통합 사후 훈련 파이프라인을 적용한다. 이 파이프라인은 오프폴리시 보정을 통한 부분 롤아웃, 적응형 길이 정규화, 온라인 추측 디코딩, 강건한 다중 작업 최적화, 에이전틱 작업을 위한 추적 인지 경험 조립 등 롤아웃 및 훈련 안정성과 효율성을 개선하는 실용적 기법들에 의해 뒷받침된다. 아키텍처 수준에서 Intern-S2-Preview-397B는 시계열 모델링을 효율적인 장기 시퀀스 이해에서 수치 예측으로 확장하며, 메모리 디코더는 고정된 397B 백본을 수정하지 않고 빠른 과학적 특화를 위한 별도의 메모리 증강 경로로 연구된다. 과학, 멀티모달, 에이전틱 및 범용 벤치마크에 걸친 평가는 Intern-S2-Preview-397B가 다양한 설정에서 경쟁력 있거나 선도적인 결과를 달성함을 보여준다. 시계열 모듈은 SciTS에서 과학적 신호 이해와 예측을 개선하며, 별도의 Intern-MemDec-4B 확장은 고정된 397B 백본을 수정하지 않고 Biology-Instructions 평균 점수를 56.92에서 60.32로 향상시킨다.

대규모 언어 모델(LLM)이 과학적 평가에 참여하는 비중이 점점 커짐에 따라, 본 연구는 보상 해킹(reward hacking)의 잠재적 형태를 조사한다. 구체적으로, 보고된 과학적 내용이 보존될 때 수사적 선택이 AI 리뷰 판단을 어떻게 형성하는지, 그리고 이러한 효과가 평가 조건에 따라 어떻게 달라지는지를 분석한다. 120개의 익명화된 ICLR 2026 제출 논문에서 파생된 4,200개의 전체 논문 원고로 구성된 통제 코퍼스를 구축하였다. 두 개의 LLM 재작성 모델이 여섯 가지 수사적 차원을 반대 방향으로 변형하고, 다섯 개의 LLM 평가자가 표준 및 엄격 프로토콜 하에서 결과 원고를 평가한다. 또한 결합, 재귀, 평가자 안내 재작성 방식도 테스트하였다. 실험 결과, 수사적 민감성은 균일하지 않고 구조화되어 있음이 확인되었다. 증거 프레이밍과 참신성 입장이 종합 평가(OA)에서 가장 큰 긍정-부정 대비를 보였으며, 범위 프레이밍은 이보다 약한 두 번째 계층을 형성하였다. 나머지 차원들은 더 작거나 덜 안정적인 효과를 보였다. 이러한 위계는 인간 평가 품질 수준에 걸쳐 유지되었지만, 점수 변동은 AI 평가자의 원래 점수에 크게 의존하였다. 낮은 점수는 상승하는 경향이 있고, 높은 점수는 하락하는 경향이 있으며, 방향성 대비는 중간 점수대에서 가장 뚜렷하게 나타났다. 더 정교한 워크플로우가 확실히 더 큰 이득을 가져오지는 않았다. 결합 재작성은 사용된 재작성 모델에 크게 의존하였고, 평가자 안내 방식은 안내 없는 두 번째 재작성보다 일관되게 우수하지 않았으며, 반복적 재작성은 구성에 따라 달라지는 체감 효과를 보였다. 모든 조건에 걸쳐, 재작성 모델은 반대 변형 간의 분리를 주로 결정한 반면, 평가자는 점수 효과의 크기와 방향을 결정하였다. 엄격 리뷰는 평균 OA를 1.36점 낮추었지만, 수사적 민감성에는 일관된 변화를 주지 않았다. 본 연구는 수사적 표현이 AI 과학 리뷰에 영향을 미치는 조건을 식별함으로써, 과학적 글쓰기의 내용 보존적 변형에 강건한 평가 시스템의 필요성을 제기한다.

비디오 세계 모델은 현재 관찰과 사용자 행동에 조건화된 미래 상태를 시뮬레이션한다. 최근 시스템들은 긴 시퀀스에 걸쳐 인상적인 비디오 일관성과 행동 제어 가능성을 입증했다. 그러나 이러한 상호작용 모델들을 공정하게 비교하는 것은 여전히 어려운 과제로 남아 있다. 실제로 인간 플레이어는 장기 목표를 추구하기 위해 상호작용함으로써 세계 모델을 평가한다. 예를 들어, 사용자는 환경이 일관성을 유지하는지 확인하기 위해 360도 회전하거나, 물속으로 걸어 들어가 현실적인 물결이 생성되는지 관찰할 수 있다. 동일한 목표를 달성하는 데 필요한 행동 시퀀스는 모델 간에 상당히 다를 수 있으므로, 고정된 행동 조건부 평가는 모델 간 비교에 적합하지 않다. 이를 해결하기 위해 우리는 멀티모달 에이전트 플레이어를 활용하여 지정된 장기 목표를 향해 세계 모델과 상호작용하게 한다. 이 패러다임을 기반으로 우리는 171개의 시나리오를 제공하는 벤치마크인 PlayWorld를 소개하며, 각 시나리오에는 명시된 목표가 포함된다. 성능을 철저히 평가하기 위해 우리는 기하학적 일관성, 상호작용 충실도, 시야 밖 진화, 통찰 진화라는 네 가지 핵심 차원을 따라 모델을 평가한다. 또한 비디오 품질과 제어 가능성을 위한 기본 능력 지표도 포함한다. 아홉 개의 최첨단 세계 모델에 대한 실험은 현재 모델들이 특히 공간 일관성 유지와 지속적인 상태 진화 측면에서 장기 상호작용 목표에 대해 여전히 불안정함을 보여준다. 코드와 데이터는 https://github.com/kxding/PlayWorld에서 확인할 수 있다.

멀티모달 소스를 압축되고 구조화된 미디어 출력물로 변환하는 것은 근본적으로 모델-하네스 시스템을 중심으로 한 장기적 에이전트 프로세스로 개념화할 수 있다. 이상적인 하네스 시스템은 인간의 설계 사전 지식과 정렬되어야 하며, 경험적 탐색을 통해 재사용 가능한 경험을 축적하여 재귀적 자기 개선을 추진해야 하지만, 기존 패러다임은 정적이어서 이러한 능력에 미치지 못한다. 본 논문에서 우리는 인간의 설계 사전 지식과 정렬되는 프레임워크인 AutoDesign을 제시한다. AutoDesign에서 메타 하네스 최적화기는 코드 에이전트를 안내하여 롤아웃 피드백에 기반해 하네스를 재귀적으로 개선한다. 이 프레임워크를 구현하고 평가하기 위해, 우리는 학술 논문-포스터 생성 작업에 초점을 맞추고, 5개 분야에 걸친 100편 논문 메인 트랙으로 구성된 PosterBench와 통제된 평가를 위한 공유 10편 논문 하위 집합인 PosterBench-mini를 소개한다. PosterBench 메인 트랙에서 AutoDesign은 최고 점수 78.32를 달성하여 폐쇄형 상용 시스템인 Claude Design을 7.45점 차로 능가한다. 7가지 통제된 코드 에이전트-모델 구성 전반에 걸쳐, 학습된 DesignHarness를 통합하면 성능이 일관되게 향상되어 평균 PosterBench 점수가 54.99에서 67.39로 (+12.4%) 증가한다. 완전 자율적인 장기 루프에서 AutoDesign은 3달러 미만의 비용으로 40분 이내에 253번의 도구 호출과 11번의 편집 턴을 실행하며, 인간 평가에서 평균적인 학회 포스터 품질에 도달한다. 시스템 블라인드 인간 연구는 AutoDesign이 평가된 시스템 중에서 가장 높은 인간 선호도를 달성함을 추가로 입증한다.

공간 지능은 구현형 에이전트, 로봇 계획, 멀티모달 어시스턴트의 기반이 되어가고 있다. VLM 에이전트의 공간 추론 능력을 향상시키기 위해 기존 연구는 주로 두 가지 방향을 따라 진행되었다. 하나는 지도 미세 조정과 강화 학습과 같은 사후 학습(post-training) 방법을 사용하는 것이다. 다른 하나는 모델이 깊이 추정 및 3D 재구성 도구와 같은 외부 공간 도구를 호출하여 중간 공간 증거를 수집하는 에이전트 패러다임을 채택하는 것이다. 본 연구는 이와 보완적이면서도 충분히 탐구되지 않은 경로를 다룬다: 동결된(frozen) VLM 에이전트가 추론 시점에 외부 전문 공간 도구에 의존하지 않고, 파라미터 업데이트가 없는 자기 진화를 통해 공간 추론을 향상시킬 수 있는가? 우리는 검증된 공간 경험을 재사용 가능하고 전이 가능한 교훈으로 변환하는 경험 기반 런타임 프레임워크인 SMA(Spatial Memory Agent)를 제시한다. 검증 가능한 공간 환경에서 SMA는 동결된 VLM을 질의하여 예측 답변과 보상을 얻고, 검증기 기반 반성(verifier-guided reflection)을 통해 공간 경험에서 간결하고 전이 가능한 교훈을 증류해 낸다. SMA는 각 교훈에 전이 신뢰도 점수(TRS: Transfer Reliability Score)를 추가로 할당하는데, 이 점수는 균일하게 초기화된 후 이후 검색 결과로부터 보정되어 향후 전이 신뢰성에 대한 방문 증거로 기능한다. 읽기 전용 배포 단계에서 SMA는 의미론적 필터와 유사도-TRS 결합 순위를 통해 교훈을 검색하며, 검색된 기억이 동결된 모델의 추론을 안내할 수 있게 한다. 다섯 개의 대표적 공간 벤치마크와 네 개의 기본 VLM에 걸친 평가에서 SMA는 모든 기본 모델 블록에서 가장 높은 매크로 평균을 달성했고, 20개 평가 중 대부분에서 평가 대상 방법 중 최고의 정확도를 기록하여, 평가된 동결 모델 규모와 환경 전반에 걸쳐 공간 자기 진화를 위한 실용적인 파라미터 업데이트 없는 경로를 확립한다.

우리는 층간 인터리브된 HLA LLM에서 Massive activations(MA, 대규모 활성화)에 대한 최초의 체계적 연구를 제시하며, 아키텍처와 정렬된 두 가지 형태를 밝혀낸다. MA는 전체 어텐션 계층 직전에 일관되게 스파이크하여 어텐션 전 스파이크(PAS)를 형성하며, 그 사이에 있는 선형 어텐션 계층들을 통해 지속되어 스파이크 간 평탄 구간(ISP)을 만들어 낼 수 있다. 전체 어텐션 계층이 더 조밀해질수록 연속적인 PAS는 ISP를 통해 점점 더 연결되며, 궁극적으로 전체 어텐션 LLM의 안정적인 MA 형태를 복원한다. 우리는 5가지 선형 어텐션 아키텍처, 6가지 하이브리드 구성, 5가지 데이터 도메인, 그리고 총 파라미터 수 1.2B에서 397B에 이르는 대표적인 오픈소스 하이브리드 모델 전반에서 이러한 구성이 반복적으로 나타남을 입증한다. GDN 기반 하이브리드 모델을 최대 1.3B 규모로 통제된 사전학습을 수행한 결과, 두 형태 모두 초기에 나타나며 출력 게이팅에 비대칭적으로 반응한다는 것을 보여준다. 즉, 전체 어텐션 출력 게이팅은 이들의 절대 크기를 크게 감쇠시키지만 층별 구성을 제거하지 않는 반면, GDN 게이트를 제거하면 비교적 작은 증폭이 발생한다. 메커니즘 측면에서, 우리의 체계적 이상치 분석은 MA 상쇄 시점에 의해 결정되는 공통된 수명 주기 설명을 지지한다. PAS는 국소적인 기록-흡수-상쇄(write-sink-cancel) 과정을 따르는 반면, ISP의 지속성이 길게 나타나는 것은 지연된 상쇄와 일치한다. 전체 어텐션 극한에서 이 설명은 전체 어텐션 LLM의 특징인 안정적인 MA 형태를 복원한다. 우리의 코드는 https://github.com/StartluxLabs/Massive-Activations-HLA 에서 확인할 수 있다.

토킹 비디오 캐릭터 교체는 소스 동작, 장면, 언어적 내용 및 시청각 타이밍을 보존하면서 외형과 음성의 조율된 전송을 요구한다. 기존 방법들은 두 양식에 대해 개별적으로 최적화된 모델을 사용하므로 시청각 일관성을 확보하기 어렵다. 본 논문은 토킹 비디오에서 스트리밍 방식의 통합 시청각 정체성 교체를 위한 최초의 프레임워크인 UniSwap을 제시한다. 소스 비디오, 참조 이미지, 참조 음성 클립이 주어지면 UniSwap은 단일 시청각 확산 트랜스포머 내에서 참조 외형과 음성 음색을 전송하면서 소스의 내용과 역동성을 보존한다. 정렬된 교차 정체성 학습 쌍의 부족 문제를 해결하기 위해, 실제 클립에서 시각적 및 음성 정체성을 제거하고 원본 클립을 재구성 대상으로 사용하는 스왑-앤-재구성 파이프라인을 도입한다. 양방향 백본에서 출발하여, 통합 교체를 위한 인컨텍스트 사전학습, 블록 인과적 KV 캐시 생성을 위한 조건부 스트리밍 적응, 노출 편향 완화 및 블록당 디노이징 단계를 30회에서 3회로 줄이는 효율적 셀프포싱 DMD를 통해 모델을 점진적으로 적응시킨다. 효율적 멀티-LoRA 스위칭은 세 가지 DMD 역할이 단일 동결 백본을 공유할 수 있게 한다. Feature-RoPE 분해는 캐시된 위치를 학습 범위 내에 유지하여 안정적인 장시간 추론을 지원한다. 실험 결과는 강력한 시청각 동기화, 경쟁력 있는 정체성 보존, 효율적 스트리밍 및 안정적인 장시간 생성을 입증한다.

포즈 기반 인간 애니메이션은 단일 참조 이미지와 구동 포즈 스트림으로부터 대상 인물의 비디오를 합성한다. 실시간 생성은 라이브 스트리밍, 텔레프레즌스, 가상 아바타와 같은 대화형 응용에 필수적이지만, 확산 기반 시스템은 클립 하나를 생성하는 데 수십 분에서 수시간이 걸려 반응형 상호작용을 불가능하게 한다. 우리는 14B 파라미터 비디오 Diffusion Transformer(DiT)를 기반으로, 실시간 스트리밍과 십억(빌리언) 규모의 안정적인 장기(long-form) 생성을 결합한, 우리가 아는 한 최초의 애니메이션 시스템인 LiveAnimate를 제시한다. 2단계 훈련 파이프라인은 먼저 사전 훈련된 양방향 DiT를 참조-고정 교사 강제 적응(Reference-Anchored Teacher-Forcing Adaptation)을 통해 블록-인과적 자기회귀 생성기로 변환하고, 이어서 블록 단위 자기 강제 증류(Block-wise Self-Forcing Distillation)를 통해 샘플링 예산을 3단계로 줄인다. 장시간 스트림에서 외형을 보존하기 위해, 우리는 포즈 검색 싱크 어텐션(Pose-Retrieval Sink Attention, PR-Sink)을 도입한다. 이는 첫 번째 생성 블록을 영구적으로 고정하는 정적 싱크(Static Sink), 포즈 검색된 과거 블록을 보관하는 동적 싱크(Dynamic Sink), 그리고 3슬롯 롤링 윈도우를 결합한 제한된 KV-캐시 메커니즘이다. 포즈가 반복되면 PR-Sink는 전체 시퀀스를 유지하지 않고도 관련 외형 컨텍스트를 복원하므로, 스트림 길이와 무관하게 메모리와 블록당 지연 시간이 일정하게 유지된다. Ulysses 시퀀스 병렬 처리 및 연산자 융합과 함께, 이러한 설계는 NVIDIA H100 GPU 2개에서 19.63 FPS 스트리밍 추론을 가능하게 한다. 3분 벤치마크에서 LiveAnimate는 처음 30초부터 마지막 1분까지 거의 일정한 지각 품질과 정체성을 유지하는 반면, 기존 시스템은 동일한 롤아웃에서 상당한 성능 저하를 보이거나 수시간의 오프라인 연산을 요구한다. 이러한 결과는 대화형 전신 애니메이션의 품질, 지연 시간, 지속 시간 측면에서 새로운 동작점을 확립한다.

자기회귀 트랜스포머는 두 축을 따라 계산을 수행한다: 생성된 토큰을 가로지르는 수평 축과 모델 깊이를 관통하는 수직 축이다. 밀집 어텐션은 각 토큰이 과거에 대해 넓은 수평적 접근을 갖게 하지만, 디코딩 단계 사이의 수직 피드백 채널은 여전히 좁다. 즉, 샘플링된 토큰만 스택의 최하단으로 돌아가고, 최상위 계층의 은닉 상태는 폐기된다. 우리는 잠재 피드백으로 이 채널을 넓히는 전대역폭 트랜스포머를 제안한다. 각 디코딩 단계에서 이전 최상위 계층의 은닉 상태는 게이트 선형 유닛을 통해 샘플링된 토큰 임베딩과 융합된 후 다음 입력으로 피드백된다. 잠재 피드백은 언어화되지 않은 계산이 새로운 깊이 예산을 가지고 스택에 다시 들어갈 수 있게 하면서도, 표준 트랜스포머 아키텍처, KV 캐시, 언어모델링 목적 함수를 유지한다. 병렬 교사 강제를 잃지 않으면서 전대역폭 트랜스포머를 학습시키기 위해, 우리는 사전 학습 후반에 잠재 피드백을 도입하고 안정성을 위해 소량의 더 깊은 피드백 패스를 혼합하는 스케줄된 다중 패스 목적 함수를 사용한다. 우리는 1B 파라미터의 전대역폭 트랜스포머를 최대 400B 토큰까지 학습시켰고, 잠재 피드백이 검증 손실, 5샷 언어모델 평가, 수학 및 코딩 생성, 명령어 튜닝 성능을 향상시킨다는 것을 발견했다. 무시할 수 있는 토큰당 디코딩 오버헤드로, 전대역폭 트랜스포머는 약 1.5배 더 많은 토큰으로 학습된 표준 트랜스포머와 일치하거나 그에 접근하며, 동일하거나 더 나은 정확도로 더 짧은 추론 궤적을 생성한다.

시각 토큰 프루닝은 다중모달 대규모 언어 모델(MLLM)의 추론 비용을 크게 줄일 수 있지만, 기존 방법들은 대부분 고정된 수작업 휴리스틱과 비용이 많이 드는 전문가의 시행착오에 의존한다. 프루닝 목표, 예산, 모델 아키텍처가 다양해짐에 따라 수동으로 확장되는 설계 공간을 탐색하는 것은 점점 더 어려워진다. 본 논문은 "대규모 언어 모델이 효과적인 시각 토큰 축소 알고리즘을 자동으로 설계할 수 있는가?"라는 자연스러운 질문에 답함으로써 시각 토큰 프루닝을 위한 AI4AI 프레임워크를 구축하는 것을 목표로 한다. LLM은 광범위한 알고리즘 지식과 강력한 추론 능력을 갖추고 있지만, 이러한 일반 지식을 특수 작업에 대한 효과적인 해결책으로 변환하는 것은 여전히 사소하지 않다. 우리는 핵심이 LLM의 내부 지식을 시각 토큰 프루닝의 구조적 요구사항 및 제약 조건과 연결하는 적절한 탐색 상태 표현을 설계하는 데 있다고 주장한다. 이러한 통찰에 기반하여, 우리는 LLM 기반 시각 토큰 프루닝 정책 설계를 위한 학습 없는 프레임워크인 AutoPrune을 제안한다. AutoPrune의 핵심은 예산 제어, 토큰 점수화, 선택 제약, 토큰 재조립을 위한 131개의 재사용 가능한 원자로 구성된 토큰 프루닝 도메인 특화 언어(TPDSL)를 도입하는 것이다. TPDSL의 핵심 속성은 각 탐색 상태를 강력한 기본 정책의 잔차 변형으로 표현한다는 점이다. 이 잔차 공식화는 탐색 공간을 축소하고 LLM의 주의를 성능에 가장 중요한 정책 구성 요소로 유도한다. 14개의 다중모달 벤치마크와 3개의 MLLM 백본에 대한 실험은 AutoPrune의 효과성, 효율성, 전이 가능성을 입증한다. AutoPrune은 시각 토큰의 94.4%를 제거하더라도 전체 토큰 성능의 99% 이상을 유지하면서 FLOPs를 9.9배, 프리필 지연 시간을 6.4배 줄인다.

대규모 조작 데이터는 로봇 학습에 필수적이지만, 로봇 시연 데이터를 수집하는 것은 여전히 비용이 많이 들고 확장이 어렵다. 한편, 풍부한 1인칭 인간 조작 비디오는 다양한 행동 경험을 제공하지만, 인간의 손과 로봇 엔드 이펙터 간의 차이로 인해 이를 다른 엠보디먼트로 전이하는 것은 여전히 어려운 과제로 남아 있다. 최근 비디오 월드 모델의 발전은 인간의 관찰로부터 로봇 중심의 조작 비디오를 합성할 수 있는 유망한 경로를 제시하지만, 이들의 교차 엠보디먼트 전이 능력은 아직 충분히 탐구되지 않았다. 이에 우리는 모델이 1인칭 인간 시연을 지정된 엠보디먼트 조건에서 로봇 조작 비디오로 변환하는 교차 엠보디먼트 인간-로봇 조작 비디오 생성을 평가하기 위한 벤치마크인 H2R-Bench를 제안한다. 각 벤치마크 인스턴스는 인간 시연 비디오, 대상 엠보디먼트 제약 조건, 그리고 작업 목표, 행동 이벤트, 기능적 접촉, 객체 반응을 포괄하는 소스 기반 주석으로 구성된다. H2R-Bench는 목표 상태 달성, 행동 이벤트 달성, 기능적 접촉 전이, 엠보디먼트 정확성, 일반 비디오 품질의 다섯 가지 차원을 통해 생성된 비디오를 평가한다. 우리는 여섯 가지 조작 유형과 두 가지 로봇 엠보디먼트에 걸쳐 열한 개의 최신 비디오 생성 모델을 평가한다. 평가 결과, 현재의 비디오 월드 모델은 인간-로봇 조작 전이에 있어 여전히 한계가 있음이 드러났다. 선도적인 모델조차도 엠보디먼트 일관성, 기능적 상호작용, 작업 실행에서 실패하는 경우가 많다. H2R-Bench는 비디오 월드 모델이 인간-로봇 간 엠보디먼트 격차를 해소하고 인간 조작 관찰을 로봇 중심의 훈련 자원으로 변환할 수 있는지 평가하기 위한 체계적인 진단 프레임워크를 제공한다.

창의적 에이전트는 여전히 고품질 인간 영화로부터 학습할 효과적인 수단이 부족하여, 영화 수준의 비디오를 생성하는 능력이 제한된다. 핵심 과제는 영화 콘텐츠에 충실하면서도 에이전트의 추론과 조작에 직접 사용할 수 있는 구조화된 비디오 표현이 없다는 점이다. 이러한 과제를 해결하기 위해, 우리는 에이전트형 자동 인코딩을 통해 에이전트 고유의 비디오 표현을 학습하는 프레임워크인 에이전트형 비디오 오토인코더(AVA-Encoder)를 제안한다. AVA-Encoder는 비디오를 지식 그래프(KG) 표현으로 변환한 후 다시 비디오로 재구성한다. KG의 계층 구조 및 상태 노드는 구조화된 텍스트를 저장하고, 연결된 에셋 레이어는 생성된 이미지, 오디오, 비디오를 보유한다. 유형화된 엣지는 이러한 텍스트 설명과 에셋 간의 관계를 에이전트가 쉽게 이해하고 질의하며 편집할 수 있는 형태로 보존한다. 비디오 재구성 차이는 텍스트 그래디언트 최적화 프레임워크를 구동하며, 이 프레임워크는 평가 피드백을 외부 루프에서 데이터 독립적 인코딩 정책 의사 훈련(Data-Independent Encoding Policy Pseudo-Training)을 위한 자연어 업데이트 방향으로 표현하고, 테스트 시 내부 루프에서 선택적으로 데이터 종속 KG 표현 정제(Data-Dependent KG Representation Refinement)를 수행한다. 광범위한 실험을 통해 AVA-Encoder는 가장 강력한 외부 베이스라인 대비 20.7퍼센트 포인트의 성능 향상을 보였다. 통제된 정책 전용 설정에서, 의사 훈련된 샷 수준 에이전트형 비디오 인코더 정책은 인간이 세심하게 튜닝한 정책을 능가하면서도 시스템 프롬프트 토큰을 74.3% 적게 사용했다. 우리는 완전한 AVA-Encoder 프레임워크, 신뢰할 수 있는 에이전트형 비디오 재구성 벤치마크, 그리고 고품질 영화 KG 표현으로 구성된 최초의 데이터셋을 공개한다.

대화형 자기회귀 비디오 생성은 저지연 롤아웃과 정밀한 온라인 제어를 모두 요구한다. 소수 스텝 증류는 잡음 제거 스텝을 줄여 생성을 가속화하는 반면, 온라인 제어는 인과적 제약을 부과한다. 즉, 프레임과 블록은 생성 중에 이용 가능한 과거 이력과 제어에 의존해야 한다. 그러나 기존의 비디오 분포 정합 증류(DMD) 파이프라인은 종종 전체 클립을 스코어링하는 양방향 교사 모델을 사용하여 인과적 소수 스텝 학생 모델을 지도한다. 따라서 특정 대상에 대한 스코어는 학생 모델이 해당 대상을 생성할 때 이용할 수 없었던 미래 프레임과 제어에 의존할 수 있으며, 그 결과 교사 모델의 지도 신호는 학생 모델의 인과적 정보 집합과 정렬되지 않게 된다. 우리는 각 대상이 생성될 때 이용 가능한 정보에 교사 모델의 지도 신호를 정렬하는 인과적 DMD 프레임워크인 컨텍스트 정합 증류(CMD)를 도입한다. CMD는 양방향 전체 클립 스코어링을, 미래 프레임이나 제어에 접근하지 않고 각 대상을 평가하는 인과적 교사 모델로 대체한다. 동일한 인과적 교사 모델이 소수 스텝 학생 모델을 초기화함으로써, 교사 모델 훈련, 학생 모델 증류, 추론 전반에 걸쳐 일관된 인과적 정식화를 확립한다. 시간적 정보 경계를 정렬하는 것 외에도, 프리픽스 스코어링(Prefix Scoring)은 각 대상이 생성된 캐시된 학생 생성 프리픽스 하에서 해당 대상을 평가함으로써 지도 신호를 학생 모델의 실제 롤아웃 컨텍스트에 일치시킨다. 프리픽스 오염(Prefix Corruption)은 대상-컨텍스트 정렬을 유지하면서 훈련 초기에 생성된 불안정한 프리픽스를 교란함으로써 훈련을 더욱 안정화한다. 단순한 인과적 정식화를 통해 CMD는 프레임 단위 및 청크 단위 생성, 장기 비디오 증류, 카메라 조건부 증류로 자연스럽게 확장된다. 실험 결과, 단기 및 장기 비디오 벤치마크 모두에서 자기회귀 방법들 중 최고 수준의 종합 성능을 달성했으며, 시간에 따라 변화하는 카메라 제어 준수 능력도 크게 향상되었음을 입증한다.

최근 기초 모델의 발전으로 AI 과학자들은 가설 생성, 코드 실행, 원고 작성에 이르기까지 점점 더 완전한 연구 워크플로우를 자동화할 수 있게 되었다. 그러나 워크플로우의 포괄성만으로는 과학적 발견의 기반이 되는 전체 증거에 대한 접근이 보장되지 않는다. 기존 시스템은 일반적으로 텍스트, 코드, 레이블 또는 사전 계산된 요약 위에서 추론하며, 과학적으로 결정적인 공간적, 시간적, 교차 채널적, 절차적 관계를 에이전트가 활용하지 못하게 한다. 우리는 OmniScientist를 소개한다. 이는 이질적인 원시 증거로부터 직접 다분야 연구를 수행하는 종단 간(end-to-end) 옴니-모달(omni-modal) AI 과학자이다. 지각 계층(perception layer)과 발상(ideation), 실험(experiment), 집필(writeup)을 담당하는 3개의 자율 에이전트가 결정론적 파이프라인 내에서 작동하여, 관찰이 연구 수명주기 전반에 걸쳐 연구 질문, 실험 결정, 최종 주장을 형성할 수 있게 한다. 아이디어 검증, 엄격성 검증, 주장 검증을 코드로 실행함으로써, 이 시스템은 참신성 심사, 통계적 타당성, 실행 추적성(execution provenance), 수치 추적 가능성을 강제한다. 우리는 5개 학문 계열, 4가지 과학적 증거 유형, 그리고 이미지, 신호, 오디오, 비디오, 3차원 구조, 궤적, 표, 수식, 그래프를 포함하는 양식에 걸친 36개의 실제 데이터 사례에서 OmniScientist를 평가한다. 이 시스템은 36개 전체 사례에서 원시 데이터부터 편집된 원고까지의 전체 경로를 완료하며, 참조 추론 백본(reference reasoning backbone)을 사용하여 평균 종합 논문 점수 6.3을 달성한다. 사전 계산된 스칼라 특징만을 입력으로 받는 맹검(blind) 변형과의 쌍별 비교에서, 직접 지각은 7개 평가 차원 모두에서 우수했으며 일대일 판단의 85%에서 승리하였다. 이러한 결과는 수명주기 전반에 걸친 지각이 증거 기반 과학적 발견에 필수적이며, 광범위하게 유능한 AI 과학자를 향한 실용적 경로를 제공함을 보여준다.

에이전트 스킬은 절차적 지식과 도메인 전문 지식을 패키징하는 표준화된 형식으로, 에이전트 하네스 시스템 내에서 언어 모델의 행동 공간을 지속적으로 제약하여 반복 가능하고 고품질의 작업 실행을 보장하는 핵심 메커니즘으로 기능한다. 그러나 강력한 폐쇄형 소스 모델은 높은 추론 비용을 수반하므로, Codex 및 OpenClaw와 같은 현재 널리 사용되는 에이전트 하네스는 이러한 스킬을 실세계 작업에 배포할 때 여전히 사용하기 어려울 정도로 높은 비용이 든다. 소비자용 GPU에서 실행 가능한 오픈소스 모델의 급속한 역량 향상은 스킬 기반 행동 제약을 활용하여 이러한 비용을 획기적으로 줄일 수 있는 매력적인 기회를 제공한다. 그럼에도 불구하고, 그러한 소형 모델에 특화된 효과적인 스킬을 자동으로 생성하는 것은 여전히 중요한 실질적 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 소형 모델을 위한 실행자 특화 스킬을 자동 생성하도록 설계된 자연어 기반 강화 학습 프레임워크인 SKILLER를 제안한다. SKILLER는 강력한 모델을 행위자(actor)와 비평가(critic)로 사용하고, 소형 모델 에이전트 시스템을 환경으로 간주하며, 모든 강화 학습 신호를 전적으로 자연어를 통해 전파한다. Qwen3.5-9B 및 Qwen3.5-4B를 사용한 다섯 개의 관련 벤치마크에 걸친 광범위한 실험 평가를 통해, SKILLER가 세 가지 오픈소스 및 한 가지 폐쇄형 소스 스킬 생성 또는 진화 방법을 능가함을 입증했다. 구체적으로 9B 모델의 경우 4.3~20.4퍼센트 포인트, 4B 모델의 경우 1.8~13.3퍼센트 포인트의 절대적 성능 향상을 달성했으며, SkillsBench의 단일 스킬 작업에서는 강력한 폐쇄형 소스 모델의 성능에 놀랍도록 필적하는 결과를 보였다. 프로젝트는 https://github.com/DANG-ai/SKILLER에서 확인할 수 있다.

대규모 언어 모델(LLM)은 자연어 작업 전반에 걸쳐 놀라운 성능을 달성하지만, 정적 말뭉치로 학습되므로 급변하는 세계에서 그 지식은 빠르게 구식이 된다. 이는 관련 없는 다른 지식은 변경하지 않으면서 LLM의 특정 지식을 갱신하는 지식 편집(KE)의 동기를 부여한다. 최근 연구들은 구조화된 지식 트리플에서 비구조화 지식 편집(UKE)으로 이동하고 있으며, 여기서 편집은 여러 사실을 동시에 진술할 수 있는 자유 형식의 텍스트 구절이다. 그럼에도 불구하고 기존 편집기들은 그러한 구절을 주입하면서도 이를 활용하지 못한다. 편집된 모델은 구절을 회상할 수 있지만, 그 사실들에 대한 원자적 질문에 답하거나 다중 홉 추론으로 구성하지 못한다. 우리는 구성 가능성(composability)이라 부르는 이 결여된 속성이 고정된 구절을 유일한 학습 원천으로 수동적으로 의존하는 편집기들의 태도에서 비롯된다고 본다. 이에 대응하여, 우리는 편집을 외부 감독이 필요 없는 동일 모델의 특권적 맥락 내 상태로부터의 능동적 자기 증류로 재정의한다. 나아가 주입된 지식의 신규성으로 인해 사전 편집 모델 자체의 롤아웃이 이를 거의 포괄하지 못하며, 이는 순수 온-폴리시 증류의 효과를 제한한다는 점을 밝힌다. 이러한 격차를 해소하기 위해 우리는 HPSE를 제안한다. HPSE는 하이브리드 롤아웃을 구축하여 학생 모델 자신의 궤적에서 적용 범위가 실패하는 지점에 정확히 누락된 사실을 배치하고, 다른 곳에서는 온-폴리시를 유지한다. 우리는 순수 온-폴리시 증류 대비 HPSE의 이점을 이론적으로 분석하고, 다양한 시나리오에서 네 개의 LLM 백본과 두 개의 KE 편집기 전반에 걸친 플러그 앤 플레이 개선을 실증적으로 입증한다.

Long-horizon LLM 에이전트는 향후 작업을 지원하기 위해 과거 상호작용의 정보를 보존해야 한다. 기존 메모리 시스템은 일반적으로 즉시 통합(eager consolidation) 방식에 의존하여, 각 상호작용 후 LLM을 호출해 메모리를 추출·요약·업데이트한다. 이러한 설계는 대화가 길어질수록 메모리 구축 비용을 증가시킨다. 조잡한 요약은 구축 비용을 줄일 수 있지만 세밀한 맥락 증거를 폐기할 위험이 있으며, 더 큰 검색 컨텍스트나 다단계 LLM 추론은 오버헤드를 쿼리 시간으로 전가한다. 본 논문에서는 턴 수준 통합을 의미 세그먼트 수준 통합으로 대체하는 효율적인 장기 메모리 프레임워크인 LycheeMemory V2를 제시한다. LycheeMemory는 모든 상호작용을 통합하는 대신 여러 교환을 세그먼트로 배치하고, 각 확정된 세그먼트를 맥락 독립적인 유형화된 메모리 레코드로 인코딩한다. 세그먼트 수준 배칭은 LLM 인코딩 빈도를 낮추며, 의미 경계 탐지는 고정 창 배칭과 비교하여 일관된 이벤트 수준 및 시간적 증거를 보존하는 데 도움을 준다. 생성된 레코드는 쿼리 계획 기반 증거 검색을 위한 경량 구조화 인덱스로 구성된다. GPT-4.1-Mini를 사용한 실험에서 LycheeMemory는 최첨단 성능을 달성하여 LoCoMo에서 89.22%, LongMemEval-S에서 92.20%를 기록했다. A-Mem과 비교하여 LoCoMo에서는 구축 토큰을 86.0%, LongMemEval-S에서는 75.9% 절감하면서도 쿼리 시간 토큰 사용량은 증가시키지 않았다. 더 넓게는, 본 연구 결과는 장기 에이전트 메모리의 정확도-비용 트레이드오프가 어떤 정보가 유지되는지에만 의존하는 것이 아니라, 정보가 통합되는 세분성(granularity)에 따라 달라진다는 것을 시사한다.

대규모 언어 모델은 능력을 초과하는 과업에서 계산 비용이 높으면서도 의미론적으로 공허한 추론을 생성하며, 그럴듯하게 들리지만 부정확한 유도가 사용자를 오도할 수 있는 위험을 초래한다. 본 연구는 체계적 분석을 통해 이러한 무의미한 추론 현상을 규명하고, 보편적인 능력 초과와 능력-행동 간의 체계적 보정 오류를 밝힌다. 지배적인 실패 양상은 그럴듯한 추론으로, 출력물은 표면적으로 타당해 보이나 미묘한 오류를 포함하며 과업 난이도가 높아짐에 따라 증가한다. 이를 해결하기 위해 우리는 CaRL(Capability-aligned Reinforcement Learning, 능력 정합 강화학습)을 제안한다. CaRL은 무의미한 추론보다 거절을 장려하는 보상 설계를 통한 능력 경계와 행동의 정렬, 그리고 실패를 거절 지도 신호로 변환하는 사후 거절 증강을 통해 모델의 행동을 능력 경계에 맞춘다. 실험 결과, 과업 난이도 전반에 걸쳐 성능을 유지하면서 무의미한 추론을 실질적으로 감소시켜 효용성을 희생하지 않고 능력 정합 행동을 효과적으로 달성함을 입증한다. https://github.com/icip-cas/Knowing-When-to-Quit

테스트-타임 컴퓨트 확장은 대형 추론 모델(LRMs)의 성능을 결정하는 주요 동력이지만, 현재 접근 방식은 극심한 비효율성에 의해 제약을 받으며, 핵심 질문이 "얼마나 많은 컴퓨트를 사용할 것인가"에서 "어디에 할당할 것인가"로 이동하고 있다. 우리는 테스트-타임 추론을 부분 궤적에 대한 제약적 컴퓨트 할당 문제로 정식화한다. 고정된 하드웨어 예산 하에서 기존 패러다임들은 컴퓨트를 가장 유망한 부분적 진전에 능동적으로 할당하지 못한다. 전통적 병렬 샘플링은 궤적들을 독립적으로 처리하여 심각한 메모리 병목을 유발하는 반면, 감산적 프루닝은 하드웨어 활용을 저하시키고 출력 분포를 능동적이고 충분히 전환하지 못한다. 이 이분법을 극복하기 위해, 우리는 사고-수준 빔 서치를 수행하는 추론 알고리즘인 Gambit을 제안한다. Gambit은 주기적으로 유망하지 않은 궤적을 프루닝하고 고품질 프리픽스에서 즉시 분기함으로써, 히든 스테이트를 탐침하는 경량 스코어러를 통해 컴퓨트를 가장 유망한 추론 궤적에 동적으로 집중시키면서 지속적인 높은 하드웨어 활용도를 유지한다. 여러 모델과 벤치마크에 걸친 광범위한 평가는 Gambit이 기존 베이스라인들을 엄격히 지배함을 보여준다. 동일한 하드웨어 제약 하에서, 우리의 방법은 프루닝 베이스라인 대비 HMMT-24에서 최대 +6.7%p의 절대 정확도 향상과 AIME-25에서 +3.3%p의 향상을 달성하고, 궤적 완성에서 2배 이상 높은 처리량을 제공하며, 표준 병렬 샘플링 대비 총 토큰 소비를 최대 68.5%까지 감소시킨다.

우리는 학습 중 병렬화가 가능하면서 슬라이딩 윈도우 어텐션을 일반화하는 고정 크기 메모리를 가진 순환 트랜스포머 아키텍처인 ...을 소개한다. 이 아키텍처는 두 개의 결합된 모델, 즉 전체 어텐션을 활용하여 메모리 타깃 m'_t를 생성하는 프리필러 Q(실제로는 Q에 대해 전체 어텐션과 슬라이딩 윈도우 어텐션을 번갈아 사용하는데, 이는 더 강력한 성능을 내기 때문이다. 필수 요건은 Q가 P보다 더 표현력이 높아 전체 히스토리에 접근할 수 있어야 한다는 것이다)와, 슬라이딩 윈도우 어텐션과 순환 K/V 주입만을 사용하여 다음 토큰 예측을 위한 디코더 메모리 m_t를 생성하는 디코더 P로 구성된다. 우리는 m_t를 m'_t와 정렬시키는 메모리 일관성 손실로 ...을 훈련하며, 이를 통해 추론 시 P만 사용할 수 있게 된다. 경험적으로, ...은 슬라이딩 윈도우 및 잠재 순환 트랜스포머 기준 모델들에 비해 검증 손실과 다운스트림 사전학습 벤치마크를 개선한다. 또한, P와 Q 간의 파라미터 공유는 대부분의 성능 향상을 유지하면서 파라미터 메모리를 줄인다.

대규모 오디오-언어 모델(LALM)은 다양한 오디오 입력을 이해하는 데 강력한 성능을 입증해 왔다. 이러한 다양성에는 인간이 들을 수는 없지만 모델에 입력되어 생성 과정에 영향을 미칠 수 있는 저주파 신호도 포함된다. 그러나 이러한 저주파 입력이 LALM에 미치는 실질적 영향은 대체로 탐구되지 않은 상태이다. 본 논문에서는 블랙박스 환경에서 보편적 파형 템플릿을 사용하여 이러한 위험을 평가하는 비가청 레드 팀 공격 기법인 간헐적 저주파 차단(ILL)을 제안한다. ILL은 문장 주의 규모 추정(Sentence Attention Scale Estimation)을 사용하여 활성 구간을 결정하고, 주파수 혼동 전이(Frequency Confusion Transfer)를 통해 말뭉치 스펙트럼 변이로부터 연속 위상을 갖는 저주파 파형을 구성한다. 이러한 위험을 완화하기 위해 분포 기반 재요청 보호(DRG)를 제안하여 저주파 분포 변화를 탐지하고 조건부로 두 번째 녹음을 요청하여 의미를 복구한다. 여섯 개의 LALM과 다양한 오디오 이해 과제에서 ILL은 최대 67퍼센트 포인트까지 정확도를 감소시켰으며, 인간 청취 가능성 평균 등급은 1.33으로 청정 오디오의 1.17에 근접하였다. DRG는 청정 재획득 후 공격받은 평균 정확도를 28.5%에서 46.1%로 향상시켰다. 이러한 발견은 LALM에 대한 기존에 간과되었던 안전 위험을 식별하고, 견고한 오디오 이해를 위한 향후 연구의 기초를 제공한다.

본 논문은 명세 우선 프로토콜 하에서 AI 코딩 에이전트가 수행한 대규모 아키텍처 리팩토링에 대한 단일 사례 연구를 보고하며, 생성된 코드에 대한 인간의 검토나 목표 동작을 검증할 사전 오라클 없이 완전한 계측(instrumentation)이 이루어졌다. 대규모 상호의존적 코드베이스에서 핵심 불변식(invariant)을 제거하는 작업은 저자가 평가하기에 점진적 리팩토링으로는 사실상 불가능한, 통상적으로 재작성(rewrite)이 요구되는 유형의 변경이었다. 본 논문에서 기술하는 프로토콜 하에서 에이전트는 이 작업을 성공적으로 완료하였다. 대상 시스템은 3,648개 파일에 걸친 717,725줄 규모의 프로덕션 TypeScript 애플리케이션이다. 작업은 핵심 수명주기 불변식, 즉 AI 요청이 진행되는 동안 UI 패널이 열린 상태로 유지된다는 보장을 제거하는 것이었다. 목표 동작은 스트리밍 생성이 패널 닫힘 이후에도 존속하고, 패널을 다시 열면 손실이나 중복 없이 동일한 라이브 스트림에 재연결될 수 있는 것이었다. 프로토콜은 다음과 같다: 에이전트에 의한 공식 명세 작성, 14회의 정제 주기(refinement cycle)를 통한 소스 코드 대비 명세 감사, 원자적 구현, 컴파일/테스트 피드백 루프, 이후 17회의 검증 주기를 통한 동결된 명세 대비 코드 감사. 총 31회의 감사 패스에 걸쳐 어떤 인간도 프로그램을 실행하기 전에 201개의 결함이 수정되었다. 수렴 기준은 경험적이었는데, 연속된 두 차례의 검증 패스에서 발견 사항이 0건으로 반환되는 것이었다. 이 변경은 189개 파일(신규 31개)에 영향을 미쳤으며, 추출 단계를 포함하면 두 커밋은 총 288개 파일, 34,770줄의 삽입, 16,422줄의 삭제로 구성된다. 첫 번째 세션과 이후 약 30회의 후속 세션에 걸쳐 소프트웨어는 명세대로 동작하였고 관찰된 버그는 없었다. 소요 시간은 3일, 비용은 미화 2,430달러였다. 전체 명세와 원시 세션 로그(프랑스어 1,500페이지 이상)는 증거 자료로 공개되어, 프로세스에 대한 검토와 일관성 확인을 위한 언어 모델 제출이 가능하다.

지시 튜닝된 언어 모델은 다양한 생성 작업에서 우수한 성능을 달성하지만, 최근에는 언어화된 과신을 보이는 것으로도 나타났다. 질문 응답에서 모델의 언어화된 과신은 생성된 지지 근거의 일관성과 연관될 수 있다. 본 논문에서는 지시 튜닝으로 유도된 모델 신뢰도의 변화에 수반하여, 생성된 답변 근거의 어휘적 다양성에 상응하는 변화가 나타나는지 연구한다. 질문 응답 벤치마크들에 걸쳐 세 쌍의 매칭된 기본 및 지시 튜닝 모델을 평가한 결과, 예측 정확도의 제한된 변화와 우도 기반 캘리브레이션의 감소에도 불구하고, 지시 튜닝이 답변 신뢰도를 일관되게 변화시킨다는 것을 발견했다. 둘째, 지시 튜닝이 근거 다양성에 미치는 영향은 비균일함을 관찰했다: 근거 간 다양성은 일관되게 감소하는 반면, 표면적 어휘 다양성은 모델과 벤치마크에 따라 방향과 크기 모두에서 달라졌다. 마지막으로, 답변 선택과 근거 길이를 통제한 후에도 이러한 차이가 지속됨을 확인했으며, 이는 신뢰도와 근거 다양성이 지시 튜닝의 서로 다른 효과를 포착함을 보여준다.

기계 번역(MT) 시스템은 특히 영어와 같은 성중립 언어에서 루마니아어와 같은 문법적 성을 가진 목표 언어로 변환할 때 성별을 올바르게 번역하지 못하는 경우가 많다. 이러한 편향은 번역 결과가 남성형을 기본값으로 사용하거나 성별 고정관념을 강화하는 결과를 초래한다. 우리는 대규모 언어 모델(LLM) 기반의 성별 분류와 신경망 기계 번역(NMT)을 결합한 하이브리드 파이프라인을 제안한다. 우리 시스템은 미세 조정된 LLM을 사용하여 영어 문장에서 대상 단어의 의도된 성별을 감지하고 인라인 성별 힌트 태그를 삽입한다. 그런 다음 태그가 부착된 문장은 형태론적으로 올바른 루마니아어 번역을 생성하도록 미세 조정된 Transformer 모델에 전달된다. 이를 지원하기 위해 성별 중의성 해소 및 번역을 위한 세 가지 새로운 데이터셋을 도입한다. 우리의 접근 방식은 기준 MT 시스템과 비교하여 WinoMT 및 WinoGender 벤치마크에서 성별 정확도를 40퍼센트 포인트 이상 향상시킨다. 이 방법은 LLM 추론과 태그 인식 번역을 모두 사용하여 영어-루마니아어 MT의 성별 편향을 명시적으로 다루고 평가하는 최초의 방법이다.

늑골 골절은 컴퓨터 단층촬영(CT)에서 흔하게 발견되지만 위치를 특정하는 데 많은 시간이 소요된다. 본 연구에서는 두 개의 직교 CT 유도 영상(전후방 및 측방)에서 각각 독립적으로 검출된 골절이 영상 간 대응을 통해 짝지어지고 통제된 위양성 출력률로 신뢰할 수 있는 3차원 점으로 삼각측량될 수 있는지 여부를 묻고, 단계적 진단 연구를 통해 이에 답한다. 투영 기하학은 정확하며, 올바른 대응이 주어질 경우 위치 특정은 정밀하다(중앙값 4.0mm, 10mm 이내 88%, 늑골 정확도 93.6%). 밀봉된 55증례 코호트에서 골절의 상당 부분이 원칙적으로 복원 가능하지만(양방향 가용성 61.1%, 후보 그래프에 올바른 쌍이 존재하는 비율 58.4%), 제한 요인은 기하학이나 위치 특정이 아니라 신뢰도에 의해 제한되는 교차 영상 대응이다. 통제된 검출기-대응 요인 설계는 작동상의 이득이 테스트된 매칭 방법이 아닌 측방 검출기의 품질에 기인함을 보여주며, 측방 검출기의 재훈련을 통해 최초의 0이 아닌 통제 예산 재구성이 산출된다. 의도적으로 보수적인 확약 정책 하에서, 사전 지정된 밀봉 패스는 601개 골절 중 15개를 증례당 0.436개의 위양성 점(종단간 확약 수율 2.50%)으로 올바른 3차원 위치 특정으로 승격시키며, 확약된 점들은 정확하다(중앙값 1.49mm, 늑골 정확도 93%). 낮은 수율은 기하학이나 검출의 결과가 아니라 신뢰도 게이트에 의한 기권의 결과이다. 본 연구는 선택적 3차원 위치 특정을 위한 재현 가능한 프레임워크를 확립하고 교차 영상 대응이 지배적인 운영상의 병목 지점임을 규명한다.

준지도 의미론적 분할은 오랫동안 하나의 질문, 즉 어떤 의사 레이블을 신뢰할 것인가에 달려 있었으며, 선택 규칙, 동적 임계값, 클래스별 커리큘럼, 소프트 신뢰 가중치로 구성된 한 세대의 기법들은 당시 노이즈가 많고 신뢰도가 낮은 ResNet 교사 모델의 문제에 답을 주었다. 자기지도 파운데이션 인코더는 이러한 체제를 바꾼다. DINOv2 교사를 사용하면 신뢰도가 포화하므로, 약한 교사에게 도움이 되던 필터링이 강한 교사에게는 오히려 해가 될 수 있다. 우리는 CW-BASS v2를 제안한다. 이는 한 가지 규칙에 고정하지 않고 교사의 신뢰도 체제를 읽는 포화 인식 의사 레이블 선택 방법이다. CW-BASS v2는 홀드아웃 보정, 즉 비편향 클래스별 노이즈 추정을 보유율이 1에 도달하지 않도록 증명 가능하게 제한하는 자기적응형 신뢰도 하한과 결합하고, 이를 단일 패스 게이트로 통합한다. 즉, 홀드아웃 슬라이스에서 교사의 신뢰 집합의 신뢰도를 π_kept = Pr[정답 | c ≥ τ]로 측정하고, 요구되는 신뢰도(π_kept ≥ τ)를 충족하면 엄격하게 필터링하며, 그렇지 않으면 적응형 하한으로 폴백한다. 경계는 mIoU에 맞춰 조정된 값이 아니라 기존의 운영 임계값이며, 여섯 개의 DINOv2 교사에 걸쳐 엄격 필터링 대 하한 선택을 블라인드로 정확히 수행한다. 이로써 CW-BASS v2는 포화된 벤치마크에서 엄격 선택을 통해 UniMatch V2의 작동점을 회복한다(Pascal VOC 1/8에서 보고된 87.9 대비 87.4, Cityscapes에서는 0.5 이내). 또한 신뢰 집합이 신뢰할 수 없는 경우(π_kept ≈ 89%, ADE20K)에는 하한이 더 앞서며(+1.5 mIoU, 단일 시드) 이를 개선한다. 이 게이트는 회피하는 실패가 가정이 아니라 측정되기 때문에 원리적으로 타당하다. 신뢰할 수 있고 포화된 교사에서는 신뢰도 분포의 동적 범위가 붕괴하므로(Pascal 픽셀의 98%가 ≥ 0.95), 적응형 컷오프는 보유 마스크를 범람시키고 자기학습은 확증 편향으로 퇴화한다.

항공 운송에서의 극단 사건, 예컨대 심각한 도착 지연이나 비정상적 비행 시간은 연쇄적 네트워크 교란을 유발하며, 이는 상당한 운영·경제·안전 비용을 초래한다. 이러한 사건은 역사적 기록에서 드물게 발생하므로, 기계 학습 모델에 충분한 학습 신호를 제공하지 못한다. 합성 데이터 증강은 이에 대한 원리적인 해결책을 제공하지만, 기존의 생성 모델은 분포의 꼬리 부분을 과소 대표하며, 짧은 비행 시간과 긴 비행 거리가 짝을 이루는 경우처럼 운영상 실행 불가능한 사례가 생성되지 않을 것이라는 보장도 없다. 혼합형 테이블 데이터 레코드에 대해 두 가지 한계를 모두 해결한 기존 접근법은 없다. 본 연구는 생성 모델링과 두 개의 이상 탐지 계층을 결합한 이중 계층 생성 프레임워크인 TailBooster를 제안한다. 통계적 계층은 사분위 범위를 통해 극단값을 추출하여, 전용 생성 모델(본 연구에서는 테이블형 변분 오토인코더)에 꼬리 집중 학습 신호를 공급한다. 이후 딥러닝 계층은 오토인코더 기반 정제를 적용하여, 과거 데이터로부터 학습된 운영 범위를 위반하는 합성 레코드를 폐기한다. 본 프레임워크는 미국 항공편 기록을 대상으로 다양성, 통계적 유사성, 충실도, 운영 타당성, 효용성의 다섯 가지 차원에서 평가되었으며, 후자의 두 가지가 주요 개선 목표이다. 데이터 기반 정제는 운영 타당성을 현저히 개선했고, 표적 증강은 극단 사건 예측의 효용성을 향상시켰다. 여섯 가지 회귀 알고리즘에 걸쳐, 프레임워크의 레코드로 훈련한 결과 기존 합성 데이터 대비 극단 비행 시간 예측의 평균 절대 오차가 47~49%, 극단 도착 지연 예측의 평균 절대 오차가 29~57% 감소했으며, 실제 레코드에 합성 극단값을 추가로 보강했을 때에도 유사한 성능 향상이 관찰되었다. TailBooster는 완전히 데이터 기반이며 모델에 구애받지 않으므로, 극단 사건 예측이 중요하고 도메인별 규칙을 이용할 수 없는 영역으로 확장 가능하다.

점수 증류 샘플링(SDS)은 사전 학습된 확산 prior를 이용해 렌더링된 이미지를 최적화함으로써 텍스트-3D 생성을 가능하게 한다. 그러나 잠재(latent) SDS는 종종 구조적 색상 아티팩트와 고주파 텍스처 노이즈를 생성한다. 우리는 VAE로 인한 픽셀 드리프트(pixel drift)가 잠재 SDS의 실패 모드를 유발함을 식별한다. 최적화된 이미지가 VAE 인코더에 의해 약하게 제약된 픽셀 공간 방향으로 이동할 수 있으며, 이 경우 잠재 표현은 깨끗하고 의미론적으로 유의미한 상태를 유지하는 반면 이미지 자체에는 가시적인 아티팩트가 축적된다. 이러한 진단은 통제된 2D SDS 실험, VAE 전용 최적화, 그리고 픽셀로의 역매핑이 과소 제약될 때 인코더와 유사한 잠재 목적 함수가 이미지 공간 노이즈를 증폭할 수 있음을 보여주는 단순화된 분석을 통해 뒷받침된다. 이 관찰에 착안하여, 우리는 확산 모델을 재학습하거나 렌더러를 변경하거나 SDS 목적 함수를 교체하지 않고도 VAE와 일치하지 않는 방향으로의 이동을 줄이는 경량의 VAE와 일관된 기울기 복구 방법인 PixSDS를 제안한다. PixSDS는 잠재 SDS lookahead 단계를 디코딩하고, 디코딩된 이미지를 픽셀 공간 최적화를 위한 깨끗한 방향으로 사용한다. 2D 최적화 및 텍스트-3D 생성 실험은 PixSDS가 의미론적 내용을 보존하면서 구조적 아티팩트를 상당히 줄임을 보여준다. 코드는 https://sevashasla.github.io/pixsds-webpage/에서 공개적으로 이용 가능하다.