（＊日本語は英文の後に）
The Current and Future State of Artificial Intelligence
Current AI systems are extraordinary. They can write and converse expertly on almost any topic, compose music, generate video, program entire applications, and have even started providing insights into long-standing mathematical problems. Given this trajectory, it’s reasonable to ask if the current paradigm (scaling the Transformer architecture with even more data and even more compute) is “all you need” to take us all the way to AGI. This is exactly what Llion Jones, our CTO and one of the inventors of the Transformer, questioned in the recent Transformer vs Post-Transformer debate. Spoiler: we think there’s more to do.
The most popular components of modern AI systems, such as the most popular architecture, optimiser, training objectives, and so on, work so well that we can maintain progress by continuing to tweak them. However, current systems still have fundamental problems that we haven’t been able to address yet: they confidently hallucinate false information, falter badly in the face of genuinely novel situations, and require significant amounts of energy to run. Many researchers are incentivized to try and fix these problems within the current paradigm, but maybe we should be looking for other paradigms.
Nature shows us that alternatives exist. In contrast to current AI, biological intelligence learns continuously, requires far less data to generalise robustly, and can even explore through self-directed, open-ended curiosity. And even though our current AI systems are built upon “artificial neurons”, the way that artificial neural networks are structured and updated is a long way from our current understanding of the brain. While we don’t expect that we need to replicate a real brain in silico, it may be that these gaps are telling us something important about general intelligence.
Given all these differences between current AI and biological intelligence, we think it would be surprising if there were no more major breakthroughs left. What’s less obvious is how to go looking for one. As current systems improve, a natural option is to rely on recursive self-improvement, allowing AI to bootstrap itself. But it may also come from somewhere else — and fostering a research environment where this can emerge is important. As Llion argued in his 2025 TED Talk, the strength of the current paradigm has stifled the kind of research freedom that allowed for its very inception. We need to deliberately create and protect the right environment for this kind of long-term speculative research, and that is what we are trying to do at Sakana AI. Here in Japan, where many fundamental advances in artificial neural networks were developed, and where other researchers are still investigating alternative pathways to intelligence, we’re explicitly setting out to find the next big thing.
The Frontier Intelligence Group
Today we are announcing the existence of FIG, a collective that has been growing inside the company. We hold regular meetings where we discuss ideas that challenge the mainstream, invite external researchers from different backgrounds to propose alternative views on intelligence, and promote an environment where people are given the time and freedom to work on long-term, speculative ideas.
FIG starts from the position that intelligence is not yet “solved”, and we should actively explore alternative paradigms. And even if the current paradigm can achieve AGI through scale, we would still want systems that can learn with the data and/or energy efficiency of the human brain. This means looking honestly at the shortcomings of today’s technology, and treating those as research directions that should be tackled head-on, rather than as details that perhaps could be engineered away later.
The FIG Philosophy
To reach the next big thing, we have to take a leap of faith. And given the strength of the current paradigm, where we end up after one jump may end up looking worse. Artificial neural networks have existed since the 1970s, but it wasn’t until the mid 2010s that their performance started surpassing alternatives across a wide range of domains. What this required was researchers with the conviction to pursue the path they believed in, against the prevailing opinion.
At FIG, we recognise that the path to the next breakthrough may not be straightforward, but hold several core principles that guide us on our way.
Research freedom: the freedom to explore different ideas, and most importantly, the freedom to fail. To enable great research, researchers should be given the time and freedom to explore ideas openly, without the pressure of pushing up benchmark numbers. FIG is a space to pursue ambitious directions, even if we are not sure how they will work out.
Uniqueness: “You should only work on research that wouldn’t happen if you weren’t doing it”. We encourage researchers to work on what they personally believe is interesting and important, even if it goes against current trends. In a trend-driven industry, researchers are often worried about another group publishing the same ideas they are working on before they can. Uniqueness protects against that.
“Greatness Cannot Be Planned”: a core philosophy at Sakana AI. Many of the greatest discoveries in science and technology were not planned. For example, liquid crystals were discovered by a botanist studying cholesterol derivatives in carrots! Thus, to find breakthroughs one should foster an environment that encourages exploration of ideas rather than enforcing a rigid plan.
Nature-inspired: as our name and logo suggest, Sakana AI often looks to nature for insights. Whilst we’re best known for research in collective intelligence — primarily using evolutionary algorithms — we also have researchers with backgrounds in disciplines such as computational neuroscience and cognitive psychology that can study intelligence from other angles. This doesn’t mean that everything we do is nature-inspired, though - being overly prescriptive goes against our core principles!
Understanding intelligence: we are the Frontier Intelligence Group because we also aim to study and understand intelligence directly. Improving performance on benchmarks doesn’t necessarily inform us about how intelligence works - and as researchers, we believe that this knowledge has its own intrinsic value.
While these values apply within Sakana AI as a whole, in FIG we try to turn up these values up to 11.
Research
We want to showcase some of the fruits of the freedom and creativity that FIG enables. Here we highlight some research that has come from some of the members of the FIG collective, where our inspiration from nature is clear:
- Continuous Thought Machines: Current artificial neurons abstract away much of the richness of biological neurons. The CTM re-introduces some of this structure, in the form of separate synapses and “neuron-level models” that perform iterative computation over their inputs. It also represents information via synchronization between sets of neurons, resulting in more diverse and dynamic representations of data than standard recurrent neural networks.
- Augmented Lagrangian Predictive Coding: The method by which current artificial neural networks are trained, backpropagation, is biologically impossible. If we could work out how credit is assigned in the brain via purely local updates, we could potentially unlock a new level of scaling AI through distributed processors. Neuroscientists have long proposed a method known as predictive coding, but so far it has struggled at optimising very deep neural networks. Building on top of our prior work in distributed optimization for multi-agent coordination, we’ve come up with a novel variant of predictive coding that can successfully optimize neural networks with up to 1,000 layers. This research could enable not just novel AI models, but also feed back into our understanding of how the brain works.
- Sparser, Faster, Lighter Transformer Models: Sparsity is a common motif in the brain, enabling more energy-efficient computation by only activating the specific neurons needed for a thought. However, current hardware is natively designed for dense, not sparse, computation. In collaboration with NVIDIA, we developed a new sparse format and CUDA kernels that unlock the performance of sparse neural networks on GPUs, with speed, memory and energy improvements demonstrated on billion-parameter scale LLMs.
- The AI Picbreeder Experiment: Biological evolution is an open-ended process that has produced an incredible amount of diverse lifeforms on this planet. Could AI systems also perform such open-ended search? By recreating the famous Picbreeder website and comparing the discoveries of frontier VLMs to that of humans, we could find how creative they are. Whilst we were able to find interventions that increased the quality and diversity of their outputs, we found that current AI systems struggle to take inventive detours.
- Smart Cellular Bricks: Groups of cells possess remarkable self-organizational abilities. Through local communication they can assess whether they have correctly formed a target object, such as an organ, and even remodel the body following injury. Inspired by this, we developed physically-embodied smart “cellular” bricks that can understand what object they belong to (e.g., a chair or a table), and even detect and reorganize to repair from damage.
At FIG, our diverse research portfolio is naturally maintained by researchers’ different interests and beliefs. Some focus on novel architectures, some on novel optimizers, some on novel objectives. The level of granularity ranges from studying the dynamics of individual neurons to collectives of agents. To push the frontiers of intelligence we need to search in all of these dimensions.
Looking Forward
What started as a casual weekly chat between two researchers at the beginning of Sakana AI has now grown into a lively group that is seriously looking for the next paradigm shift. Our values (research freedom, uniqueness, exploration, understanding, and some inspiration from nature) have already produced an interesting range of discoveries as a result. We hope that these values will also spread and inspire other researchers to boldly go where no one has gone before.
At FIG, we have more questions than answers. How do humans generalise systematically from so few examples? How can neural networks learn to propagate credit over long timescales with only local learning rules? Is it possible to train AI systems without decorrelated batches of data?
If these questions sound interesting to you, please apply to join Sakana AI! In particular, we highly encourage multi-disciplinary researchers, such as those at the intersection of neuroscience and machine learning, to help us answer these problems and find the next breakthrough in AI.
Japanese
次のパラダイムを探索する：Sakana AI、Frontier Intelligence Group (FIG) の紹介
Read in English
人工知能の現在と未来
現在のAIは驚くべき水準に達しています。ほぼどんな話題についても専門家のように文章を書き、対話し、音楽を作り、動画を生成し、アプリケーションを丸ごとプログラムし、さらには長年未解決だった数学の問題の解決にも威力を発揮し始めています。この流れを見れば、現在のパラダイムである「Transformerアーキテクチャ」に、より多くのデータとより多くの計算資源を与えてスケールさせれば、それだけでAGIまで到達できるのではないか、それが “all you need” なのではないか、と問いたくなるのは自然です。これはまさに、当社CTOでありTransformerの発明者の一人であるLlion Jonesが、先日の Transformer vs Post-Transformer の討論で投げかけた問いでもあります。結論を先に言えば、私たちの考えは「まだやるべきことがある」というものです。
今のAIシステムで広く使われている主流のアーキテクチャ、最適化手法、学習目的関数などは非常にうまく機能しており、それらに改良を加え続けるだけでも進歩は維持できるでしょう。しかし現在のAIには、まだ手つかずの問題があります。誤った情報を自信たっぷりに生成してしまうこと、本当に未知の状況に置かれると大きく性能を落としてしまうこと、膨大なエネルギーを必要とすること。多くの研究者は現在のパラダイムの枠内でこれらを解決しようとしていますが、別のパラダイムを探す必要があるのかもしれません。
知能に別のやり方がありうることは、自然界を見ればわかります。現在のAIとは対照的に、生物の知能は継続的に学習し、はるかに少ないデータでよく汎化し、自発的でオープンエンドな好奇心をもって探索することもできます。また、現在のAIシステムは「人工ニューロン」を土台にしているとはいえ、人工ニューラルネットワークの構造や更新の仕組みは、私たちが今理解している脳とはかけ離れています。実際の脳をそのままコンピュータ上で再現する必要があるとは私たちも考えていませんが、こうした違いは、汎用知能について何か重要なことを示しているはずです。
現在のAIと生物の知能にこれほどの違いがある以上、大きなブレークスルーがもう残っていないと考えるほうが不自然でしょう。問題は、それをどう探すかです。現在のシステムが進歩するにつれ、自然な選択肢のひとつは再帰的自己改善、つまりAI自身に自らを改善させる方向になるでしょう。一方で、ブレークスルーはまったく別の場所から生まれるかもしれません。だからこそ、それが芽吹くような研究環境が重要になります。Llionが2025年のTED Talkで論じたように、現在のパラダイムはその強力さゆえに、そのパラダイム自体を生み出したような研究の自由を奪いつつあります。長期的で先の読めない研究を守るためには、意識してその環境をつくらなければなりません。Sakana AIではまさにそれに取り組んでいます。日本は人工ニューラルネットワークの基礎的な業績が数多く生まれた土地であり、今なお新しい知能へのアプローチを探る研究者たちがいます。この日本で、私たちは次の大きな何かを見つけることを目指しています。
Frontier Intelligence Group (FIG)
ここでは、この間、社内で育ってきたFrontier Intelligence Group（FIG）を紹介します。私たちは定期的にミーティングを開き、主流とは異なるアイデアを議論し、異なる背景を持つ外部の研究者を招いて知能についてのオルタナティブな見方を提示してもらうことなどを通して、長期的で野心的なアイデアに取り組むための環境を作ってきました。
FIGは、知能はまだ「解決」しておらず、別のパラダイムを積極的に探るべきだという立場から出発します。そして、たとえ現在のパラダイムがスケールによってAGIに到達できるとしても、人間の脳と同じデータ効率やエネルギー効率で学習できるシステムを別途実現したいと考えます。今日の技術の欠点から目を背けず、それを「あとで工学的に何とかなる細部」として片付けるのではなく、研究として正面から取り組むということです。
FIGの哲学
次の大きな何かにたどり着くには、ある種の信念をもって飛躍しなければなりません。現在のパラダイムが強力なため、そのジャンプの先の着地点は、今より劣って見えることもあります。人工ニューラルネットワークは1970年代から存在していましたが、その性能が幅広い領域で他の手法を上回りはじめたのは2010年代半ばのことでした。それを可能にしたのは、周囲の大勢に逆らってでも自分が信じる道を進んだ研究者たちでした。
FIGでは、次のブレークスルーへの道が一筋縄ではいかないことを認めたうえで、道しるべとなるいくつかの基本原則を掲げています。
- 研究の自由: さまざまなアイデアを探る自由、そして何より、失敗する自由。優れた研究を生むには、ベンチマークの数値を上げるというプレッシャーから離れて、研究者が自由にアイデアを追える時間と余裕が必要です。FIGは、うまくいくかどうか確信が持てなくても、野心的な方向を追いかけられる場所を目指しています。
- 独自性: 「自分がやらなければ生まれなかったはずの研究だけをやるべきだ」という原則。私たちは研究者に、たとえ今の流行に反していても、自分自身が面白く重要だと信じることに取り組むよう促しています。流行に駆動される業界では、研究者は自分が取り組んでいるのと同じアイデアを他のグループに先に発表されることを心配しがちです。独自性は、それを防いでくれます。
- 「Greatness Cannot Be Planned」: Sakana AIの中核にある哲学。科学技術における最も偉大な発見の多くは、計画されたものではありませんでした。たとえば液晶は、ニンジンに含まれるコレステロール誘導体を研究していた植物学者によって発見されました。ブレークスルーは、厳格な計画を押しつけるよりも、アイデアの探索を促す環境を育てることによって生まれる、という考え方です。
- 自然に学ぶ: 当社の社名やロゴが示すとおり、Sakana AIはしばしば自然界にヒントを求めます。私たちは主に進化的アルゴリズムを用いた集合知の研究で知られていますが、計算神経科学や認知心理学といった分野を背景に持ち、別の角度から知能を研究できるメンバーもいます。とはいえ、私たちのすべてが自然に着想を得ているわけではなく、それによってアプローチを狭めてしまうことは意図していません。
- 知能を理解する: 私たちがFrontier「Intelligence」Groupを名乗っているのは、知能そのものを研究し理解することも目指しているからです。ベンチマークでの性能を上げることは、知能の理解には必ずしもつながりません。私たちは理解そのものに価値があると考えています。
これらの価値観はSakana AI全体に当てはまるものですが、FIGではとりわけ強く、これらを追求しています。
研究事例
こうしたFIGの文化が、これまでどのように実を結んできたかをいくつか紹介します。
- Continuous Thought Machines (CTM): 現在のAIで使われている人工ニューロンのモデルは、1980年代からほとんど変わっていません。ニューロンは「今どれくらい発火しているか」というひとつの値を出すだけで、生物のニューロンが持つ「いつ、他のニューロンとどんなタイミングで発火するか」という情報は捨てられています。CTMは、この「時間」をニューロンレベルに取り戻す試みです。各ニューロンが自分の過去の活動履歴を参照しながら反復的に計算を行い、さらにニューロン同士の発火の同期そのものを情報の表現として使います。その結果、通常の再帰型ニューラルネットワークよりもはるかに多様で動的な振る舞いが現れ、たとえば迷路を解くときには、モデルが経路を目で辿るように「考えている」様子を可視化できます。
- Augmented Lagrangian Predictive Coding (PC-ALM): 現在のニューラルネットワークの学習を支える誤差逆伝播（backpropagation）は、脳では実現できないと考えられています。順伝播が終わるのを待ち、逆伝播が終わるのを待ってから重みを更新するという、ネットワーク全体での厳密な同期が必要だからです。脳が局所的な情報だけでどのように credit assignment（どのニューロンが誤りに責任を持つかの割り当て）を行っているのかは、神経科学における未解決問題のひとつです。神経科学者たちは長らく、隣り合う層のあいだの予測誤差だけで学習を進める予測符号化（predictive coding）という枠組みを提案してきましたが、層が深くなると誤差信号が途中で減衰してしまい、深いネットワークの学習には苦戦してきました。私たちはマルチエージェント協調のための分散最適化に関する以前の研究を土台に、各層に一種のフィードバック制御器として働く「双対ニューロン」を加えた新しい変種を考案し、最大1,000層のニューラルネットワークを、隣の層とのやりとりだけで誤差逆伝播にほぼ匹敵する精度で学習できることを示しました。この研究は分散プロセッサやニューロモーフィックハードウェア上での新しいAIの学習方法につながるだけでなく、脳の働きについての理解にも還元されうるものです。
- Sparser, Faster, Lighter Transformer Language Models: 脳が省エネなのは、ひとつの思考に必要なニューロンだけを活性化させる、つまりスパースに動いているからです。実は現在のLLMも似た性質を持っていて、フィードフォワード層のニューロンの95%以上は、ある単語を処理する際には沈黙しています。ところがGPUは密で規則的な行列計算のために設計されているため、この性質を素直に活かそうとすると、計算量が減っているのに逆に遅くなるという逆説的なことが起きます。私たちはNVIDIAとの共同研究で、GPUをスパース性に合わせるのではなく、スパース性の形をGPUに合わせて整える新しいデータ形式「TwELL」と専用のCUDAカーネルを開発しました。10億パラメータ規模のLLMで、速度・メモリ・エネルギーのいずれも改善できることを実証しています（ICML 2026採択）。
- The AI Picbreeder Experiment: 生物の進化はオープンエンドなプロセスであり、この地球上に信じがたいほど多様な生命を生み出してきました。AIシステムも、そのようなオープンエンドな探索を行えるのでしょうか。私たちは、目標を与えられないまま多くの人が「面白い」と感じた画像を選んで進化させ、顔や動物や頭蓋骨といった予期しない形が自然と現れた有名なPicbreederのウェブサイトを再現し、その「ユーザー」を最先端のVLMエージェントに置き換えて、人間による発見と比較しました。エージェントは似たような画像に何度も戻ってきてしまう傾向があり、多様な人格を持つエージェント集団を導入すると探索は大きく改善しましたが、それでも、偶然見つけたものの価値に気づき、そこから大きな概念的飛躍につなげるという点では人間に届きませんでした。現在のAIシステムは、創意に富んだ寄り道をするのが苦手なようです。
- Smart Cellular Bricks: 細胞の集団は、驚くべき自己組織化の能力を持っています。局所的なやりとりだけで、器官などの目標とする構造が正しくできているかを判断し、損傷を受けたあとに身体をつくり直すことさえできます。ここから着想を得て、私たちは200個近い物理的なブロックからなるシステムを開発しました。各ブロックは同じ小さなニューラルネットワークを動かし、物理的に接続された隣のブロックとだけ通信します。自分の位置も、全体が何の形なのかも知らされていないにもかかわらず、集団として「自分たちは椅子の一部だ」「テーブルの一部だ」と正しく認識でき、どこが欠けているかを検知し、欠けた方向に新しいブロックを足していくことで自己修復もできます。これまでソフトウェアの中で研究してきた集合知を、物理世界に持ち出した最初の一歩です（Nature Communications掲載）。
FIGの研究ポートフォリオは、研究者それぞれの関心と信念によって自発的に作られています。新しいアーキテクチャに取り組む人、新しい最適化手法に取り組む人、新しい目的関数に取り組む人がいます。扱うスケールも、個々のニューロンの挙動からエージェントの集団までさまざまです。知能のフロンティアを押し広げるには、これらすべての次元で探索する必要があります。
FIGのこれから
Sakana AI創業当初、研究者2人のちょっとした週次の雑談として始まったものが、今では次のパラダイムシフトを本気で目指す、活気あるグループに育ちました。研究の自由、独自性、探索、理解、そして自然からの着想という私たちの価値観は、すでに興味深い発見をいくつも生み出しています。この価値観が広がり、他の研究者たちが誰も行ったことのない場所へ大胆に踏み出すきっかけになればと願っています。
FIGには、答えよりも問いのほうが多くあります。人間はなぜ、こんなに少ない事例からこれほど汎化できるのか。局所的な学習則だけで、長い時間スケールにわたって学習できるニューラルネットワークはいかにして作れるか。相関を取り除いたデータのバッチを用いずに、AIシステムを学習させることは可能なのか、などです。
こうした問いを面白いと感じる研究者の参加をお待ちしています。とくに神経科学と機械学習の交差点にいるような、複数の分野にまたがる研究者の方に、これらの問いに一緒に答え、AIの次のブレークスルーを見つける仲間として加わっていただきたいと考えています。