Subliminal Learning:Language models transmit behavioral traits via hidden signals in data https://arxiv.org/pdf/2507.14805 최근에는 모델이 생성한 데이터를 활용해 또 다른 모델을 학습시키는 self-bootstrapping, 즉 자기 증식 구조가 널리 쓰인다.하지만 Anthropic에서 발표한 이 논문은, 이런 구조가 생성된 데이터와 겉으로 아무 연관이 없는 특성이나 성격(trait)을 다른 모델에게 전파할 수 있다는 가능성을 보여준다. 이를 막기 위해서는 마치 백신처럼 작용하여 특성 전파를 억제하는 방어 기법이 반드시 필요하다는 경고를 하고있다. Introduction Subliminal Learni..

Large Language Diffusion Models link : https://arxiv.org/pdf/2502.09992 Overview 기존 대부분의 LLM은 Autoregressive 방식을 따른다. 즉, 주어진 이전 토큰들을 기반으로 다음 토큰을 순차적으로 예측하며 문장을 생성하는 방식이다.이 논문의 저자들은 LLM의 핵심 능력은 Autoregressive 구조에만 의존하지 않으며 다른 생성 방식으로도 기존 SOTA LLM에 필적하는 성능을 낼 수 있다고 주장한다. 이에 따라 저자들은 새로운 접근 방식인 LLaDA (Large Language Diffusion Models)를 제안한다. LLaDA는 전체 문장을 순차적으로 예측하지 않고,일부분이 마스킹된 토큰 시퀀스를 입력으로 받아마스킹된 ..

Cursor를 활용해 코드 한 줄 작성하지 않고, 앱 기본 구조나 동작 함수 아무 것도 생성하지 않고자연어 명령어만으로 슬랙 봇을 개발해보았다.   [Cursor] 커서로 Slack 액션 아이템 생성 봇(feat.llm) 만든 후기Cursor로 Slack 액션 아이템 생성 봇 만든 후기   Cursor는 VSCode에 AI를 결합한 형태의 개발툴이다Slack 봇은 처음 만들어보는 데 Cursor로 개발하니까 1-2시간 정도 걸린 것 같다  만들게 된 배경 Cursorebbnflow.tistory.com  프로그래밍 방식의 변화  위 작업을 통해 AI 도구를 활용한 프로그래밍 방식의 변화를 느낄 수 있었는데  기존에 코딩하던 방식은, 무엇을 만들지 먼저 생각하고 → 필요한 개념이나 기술을 검색하고→ 관련된..

Cursor로 Slack 액션 아이템 생성 봇 만든 후기   Cursor는 VSCode에 AI를 결합한 형태의 개발툴이다Slack 봇은 처음 만들어보는 데 Cursor로 개발하니까 1-2시간 정도 걸린 것 같다  만들게 된 배경 Cursor로 얼마나 빠르게 무언가를 만들어볼 수 있을지 궁금했음.슬랙 봇처럼 외부 API와 연동하는 작업은 문서나 예제를 찾아보면서 만들 수는 있지만, 평소에 하던 작업이 아니다 보니 꽤 귀찮게 느껴졌음.게다가 메신저에서 "~~해주세요" > "네 알겠습니다" 식으로 대화가 지나가면, 나중에 뭘 하기로 했는지 기억 안 나는 경우가 많았음.그래서 이런 요청들을 자동으로 정리해주는 봇이 있으면 좋겠다고 생각했음.마침 Cursor로 실험해보기 좋은 주제라고 판단해서 시작하게 되었음. ..

GRPO(Group Relative Policy Optimization)  link : https://arxiv.org/pdf/2402.03300   DeepSeekMath는 Gemini나 GPT-4 레벨의 성능과 다른 open LLM보다 뛰어난 MATH bechmark 성능은 달성하면서 외부 toolkits나 voting techiniques를 사용하지 않았다고 한다.  여기서 사용된 RL tuning알고리즘은 GRPO(Group Relative Policy Optimization)이며 해당 논문에서 처음 제안하는 알고리즘이다. GRPO는 PPO(Proximal Policy Optimization)의 variant 중 하나로 PPO의 메모리 사용량을 최적화하면서 mathmatical reasoning ..

The Case for Co-Designing Model Architectures with Hardware link : https://arxiv.org/pdf/2401.14489  ✲ Introduction 딥러닝 모델을 설계할 때 GPU 구조의 영향을 간과하는 경우가 많으며 모델을 하드웨어에 더 적합하게 수정하면 학습 및 추론 능력을 향상시킬 수 있다고 제안하는 논문이다. 이를 위해 Transformer 성능을 극대화하기 위한 가이드라인을 제공한다. 이 가이드라인은 다양한 하이퍼파라미터가 GPU의 기본 계산 커널의 효율성에 미치는 영향을 고려하여 작성되었다고 한다. GEMM(General Matrix Multiplication) 최적화의 기본 원리를 사용해 Transformer 모델의 개별 부분을 최적..

원문 : https://darioamodei.com/machines-of-loving-grace Anthropic CEO 다리오 아모데이가 AI가 어떻게 세상을 더 나은 곳으로 변화시킬 수 있는지에 대해 작성한 에세이이다. 아모데이가 강조하는 것 처럼 AI가 가져올 세상을 급진적이면서 동시에 자세하게 논의한다. AI 기술이 대두된 이후로 AI 기술이 가져오는 미래에 대해서 '급진적으로만' 다뤄지는 경우가 많았다. 즉 이를 진지하게 분석하는 것이 아닌 'SF적'으로 표현해왔다는 것이다. 이를 경계하고 앞으로는 AI 기술이 가져올 미래에 대해 실질적인 기술 목표와 비전을 보다 자세하게 논의하여야 한다고 주장한다. 그리고 이 에세이가 이를 위한 시작의 계기로 봤으면 좋겠다고 아모데이는 말한다.  Machine..

ChatGPT Is A Blurry JPEG Of The Web By Ted Chiang, Feb 09, 2023 Link : https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web  ChatGPT는 웹의 흐릿한 JPEG이다. OpenAI 챗봇은 paraphrase(다른말로 바꾼 말)을 주는 반면 Google은 인용문을 준다. 우리는 어떤 걸 더 선호할까? 2013년도에, 독일 건설회사의 근로자들이 Xerox 복사기에서 이상한 점을 하나 발견했다. 집의 평면도 사본을 만들었을 때 사본은 원본가 미묘하지만 중요한 방식으로 달랐다. 원본 평면도에서는, 집의 각 3방에 면적이 표시된 정사각형이 붙어 있었는데 ..