（English Job Description Below.）
Sakana AIではSakana NamazuをはじめとするLLM（大規模言語モデル）の開発を行っています。私たちが開発するLLMは、Sakana AIが提供するプロダクトやソリューションの基盤であると同時に、Sakana AIが重点的に取り組むRSI研究を支える技術的な礎の一つとなることを目指しています。
このLLM開発の取り組みの拡大に伴い、この取り組みをともに推進するMember of Technical Staffを募集します。本ロールでは、Member of Technical StaffとしてResearch Engineerに相当する役割を担います。
役割と責任
チームは、事前学習、中間学習、事後学習、評価など、LLM開発のあらゆる段階を担います。その中で、モデルアーキテクチャの改善、学習データの構築・改善、小規模実験を通じた法則や不確実性の推定、大規模学習へのスケール、学習効率の最適化など、幅広い課題に取り組みます。本ロールでは、このLLM開発の全体像を深く理解しながら、1つ以上の領域（能力ドメインや技術要素など）に主体的に責任を持ちます。担当領域では、その取り組みをリードすることが期待されます。
入社時点で担当領域に必要な知識や技術をすべて備えている必要はありません。LLM開発は技術の進歩が速く、経験者であっても新しい技術や知見を素早く吸収し続けることが求められます。必要なことを素早く学びながら、自ら主体的に仮説立案・実装・検証・改善のループを回し、その領域における成果と、それが最終的なLLMや開発プロセス全体に与える影響に責任を持ちます。
例えば、ある能力ドメインを担当するエンジニアは、チームメンバーと連携しながら以下を推進します。
- そのドメインにおける目標の策定。典型的にはベンチマークの選定や構築。
- 目標に即した学習データの構築。典型的にはagentic中間学習、SFT、RL向けのデータ。
- 小規模モデルを用いたデータや学習手法の検証・改善
- データや学習レシピを最終的な大規模モデルに適用し、目標を確認するとともに、必要に応じて改善
必須要件
- 修士同等の学歴、またはそれに相当する経験
- 機械学習・深層学習分野の実務経験 2年以上、またはそれに相当する経験
- 複数人が利用する計算環境において、複数GPUを用いる機械学習ジョブを自ら設計・実行・デバッグした経験
- 曖昧な問題を検証可能な仮説に分解し、適切な実験を設計して意思決定につなげられること
- 新しい学びや挑戦を楽しみ、未経験の事柄についても素早く知識や技術を習得できること
歓迎要件
- 学習データの収集・選別・配合・品質評価を通じて、機械学習モデルの性能に競争力をもたらした経験
- LLMの学習経験、特に実利用されるLLMの学習に携わり、モデル品質に責任を持った実務経験
- 統計的な観点から実験を設計・評価し、ノイズや不確実性のある結果から再現性のある知見を導いた経験
- コンピュータアーキテクチャや高性能計算に関する理解があり、FLOPs、メモリ帯域、並列性、通信コストなどの観点から機械学習システムの性能を議論できること
- 機械学習分野、特にLLM分野での論文発表経験
- 広く利用されている機械学習系OSSへの貢献経験
※記載されている資格をすべて満たしていない場合でも、ぜひご応募ください。優秀な候補者が必ずしもすべての資格を満たしているとは限りません。いずれか一つでも十分です。LLMでの経験である必要はなく、他領域での同等の経験も同様に評価します。
備考
- CVとカバーレターは英文で提出してください。
- 応募者はGoogle Form上のMember of Technical Staff (LLM Development)を選択して下さい。
- カバーレターにおいてMember of Technical Staff (LLM Development)に応募していることを明記して下さい。
- 基本的に東京を拠点とし、出社とリモートのハイブリッドで業務をして頂きます。
- 書類選考後に取り組んでいただく技術課題のサンプル例（実際の問題ではありません）をこちらから確認出来ます。
English Announcement
At Sakana AI, we develop large language models (LLMs), including Sakana Namazu. The LLMs we build serve as the foundation for Sakana AI’s products and solutions, and we aim for them to become one of the technical cornerstones supporting the RSI research that Sakana AI is heavily invested in.
As this LLM development effort expands, we are hiring Members of Technical Staff to drive it forward with us. In this role, you will serve as a Member of Technical Staff in a capacity equivalent to a Research Engineer.
Main Roles and Responsibilities
The team covers every stage of LLM development: pre-training, mid-training, post-training, and evaluation. Within this, we work on a wide range of problems: improving model architecture, building and refining training data, estimating scaling laws and uncertainty through small-scale experiments, scaling up to large training runs, and optimizing training efficiency. In this role, you will develop a deep understanding of LLM development as a whole while taking ownership of one or more areas, such as a capability domain, a technical component, or something else. Within your area, you are expected to lead the effort.
You are not expected to arrive with every skill your area requires. LLM development moves quickly, and even experienced practitioners must continually absorb new techniques and findings. You will learn what you need as you go, running your own loop of hypothesis, implementation, validation, and improvement, and taking responsibility for the results in your area and for how they shape the final model and the development process as a whole.
For example, an engineer who owns a capability domain would drive the following, working with other team members:
- Defining goals for that domain, typically by selecting or building benchmarks.
- Building training data aligned with those goals, typically data for agentic mid-training, SFT, and RL.
- Validating and improving data and training methods using small-scale models.
- Applying the resulting data and training recipes to the final large-scale model, verifying against the goals, and iterating as needed.
Required Qualifications
- Master’s degree or equivalent experience
- 2+ years of practical experience in machine learning / deep learning, or equivalent
- Experience designing, running, and debugging multi-GPU machine learning jobs in a shared compute environment
- Ability to break ambiguous problems into testable hypotheses, and to design experiments that lead to decisions
- Enthusiasm for learning and for new challenges, with the ability to pick up unfamiliar knowledge and skills quickly
- Japanese: business level
Preferred Qualifications
- Experience making a machine learning model competitive through the collection, filtering, mixing, and quality assessment of training data
- Experience training LLMs, particularly hands-on experience with LLMs deployed in production, with accountability for model quality
- Experience designing and evaluating experiments from a statistical perspective, drawing reproducible conclusions from noisy or uncertain results
- Understanding of computer architecture and high-performance computing, with the ability to reason about ML system performance in terms of FLOPs, memory bandwidth, parallelism, and communication cost
- Publications in machine learning, particularly in the LLM field
- Contributions to widely used machine learning open-source software
We encourage you to apply even if you do not meet every qualification listed. Strong candidates often do not.
Notes
- Please submit your CV and cover letter in English.
- Please select “Member of Technical Staff (LLM Development)” on the Google Form.
- Please state clearly in your cover letter that you are applying for Member of Technical Staff (LLM Development).
- This role is based in Tokyo, Japan.
- A sample of the technical exercise given after the resume screening (not the actual problem) is available here.