陣内　佑 (Yuu Jinnai)

Researcher, CyberAgent AI Lab

• Email: ddyuudd [at] gmail [dot] com

研究分野

人工知能、強化学習、自然言語生成、機械学習、プランニング、グラフ探索、医用画像処理

ジャーナル論文

• Yuki Ichihara, Yuu Jinnai, Tetsuro Morimura, Kenshi Abe, Kaito Ariu, Mitsuki Sakamoto, Eiji Uchibe. 2025. Evaluation of Best-of-N Sampling Strategies for Language Model Alignment. Transactions on Machine Learning Research (TMLR).
  PAPER CODE TALK

• Jinnai Y, Fukunaga A. 2017. On Hash-Based Work Distribution Methods for Parallel Best-First Search. Journal of Artificial Intelligence Research (JAIR).
  PAPER CODE

国際会議論文

• Yuki Ichihara, Yuu Jinnai. 2025. Auto-Weighted Group Relative Preference Optimization for Multi-Objective Text Generation Tasks. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing: Industry Track (EMNLP-25 Industry).
  PAPER CODE

• Yuu Jinnai, Ukyo Honda. 2025. Annotation-Efficient Preference Optimization for Language Model Alignment. In Findings of the Association for Computational Linguistics (EMNLP-25 Findings).
  PAPER CODE TALK

• Yuki Ichihara, Yuu Jinnai, Kaito Ariu, Tetsuro Morimura, Eiji Uchibe. 2025. Theoretical Guarantees for Minimum Bayes Risk Decoding. Annual Meeting of the Association for Computational Linguistics (ACL-25).
  PAPER TALK

• Ayuto Tsutsumi, Yuu Jinnai. 2025. Do Large Language Models Know Folktales? A Case Study of Yokai in Japanese Folktales. In Findings of the Association for Computational Linguistics (ACL-25 Findings).
  PAPER CODE DATASET

• Yuu Jinnai. 2025. Document-Level Text Generation with Minimum Bayes Risk Decoding using Optimal Transport. Annual Meeting of the Association for Computational Linguistics (ACL-25).
  PAPER CODE TALK

• Yuu Jinnai, Tetsuro Morimura, Kaito Ariu, Kenshi Abe. 2025. Regularized Best-of-N Sampling with Minimum Bayes Risk Objective for Language Model Alignment. North American Chapter of the Association for Computational Linguistics (NAACL-25).
  PAPER CODE TALK

• Morimura, T., Sakamoto, M., Jinnai, Y., Abe, K., & Ariu, K. (2024). Filtered Direct Preference Optimization. The 2024 Conference on Empirical Methods in Natural Language Processing. (EMNLP-24)
  PAPER CODE

• Jinnai Y, Ariu K. Hyperparameter-Free Approach for Faster Minimum Bayes Risk Decoding. In Findings of the Association for Computational Linguistics. (ACL-24 Findings)
  PAPER CODE TALK

• Jinnai Y, Honda U, Morimura T, Zhang P. Generating Diverse and High-Quality Texts by Minimum Bayes Risk Decoding. In Findings of the Association for Computational Linguistics. (ACL-24 Findings)
  PAPER CODE TALK

• Jinnai Y, Morimura T, Honda U, Ariu K, Abe K. Model-based minimum bayes risk decoding. Proc. 41st International Conference on Machine Learning. (ICML-24)
  PAPER CODE TALK

• Ohashi A, Honda U, Morimura T, Jinnai Y. 2024. On the True Distribution Approximation of Minimum Bayes-Risk Decoding. In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics. (NAACL-24)
  PAPER CODE TALK

• Lecarpentier E, Abel D, Asadi K, Jinnai Y, Rachelson E, Littman Michael L. 2021. Lipschitz Lifelong Reinforcement Learning. Proc. 35th AAAI conference on Artificial Intelligence. (AAAI-21)
  PAPER POSTER CODE

• Y. Jinnai, J. Park, M.C. Machado, and G.D. Konidaris. Exploration in Reinforcement Learning with Deep Covering Options. Accepted, Proceedings of the Eighth International Conference on Learning Representations. (ICLR-20)
  PAPER

• Wang L*, Zhao Y*, Jinnai Y, Tian Y, Fonseca R. 2020. AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search. Proc. 34th AAAI conference on Artificial Intelligence (AAAI-20) *These authors contributed equally to this work.
  PAPER CODE

• Jinnai Y. Park JW, Abel D, Konidaris G. 2019. Discovering Options for Exploration by Minimizing Cover Time. Proc. 36th International Conference on Machine Learning. (ICML-19)
  PAPER CODE

• Jinnai Y, Abel D, Hershkowitz E, Littman M, Konidaris G. 2018. Finding Options that Minimize Planning Time. Proc. 36th International Conference on Machine Learning. (ICML-19)
  PAPER CODE

• Abel D, Arumugam D, Asadi K, Jinnai Y, Littman M, Wong L, 2019. State Abstraction as Compression in Apprenticeship Learning. Proc. 33rd AAAI Conference on Artificial Intelligence (AAAI-19).
  PAPER

• Abel D*, Jinnai Y*, Guo Y, Konidaris G, Littman M. 2018. Policy and Value Transfer for Lifelong Reinforcement Learning. Proc. 35th International Conference on Machine Learning. *These authors contributed equally to this work.
  PAPER POSTER CODE

• Jinnai Y, Fukunaga A. 2017. Learning to Prune Dominated Action Sequences in Online Black-box Planning. Proc. 31st AAAI Conference on Artificial Intelligence (AAAI-17)
  PAPER SLIDES CODE

• Jinnai Y, Fukunaga A. 2016. Automated Creation of Efficient Work Distribution Functions for Parallel Best-First Search. Proc. 19th International Conference on Automated Planning and Scheduling (ICAPS-16)
  PAPER SLIDES VIDEO

• Jinnai Y, Fukunaga A. 2016. Abstract Zobrist Hashing: An Efficient Work Distribution Method for Parallel Best-First Search. Proc. 30th AAAI Conference on Artificial Intelligence (AAAI-16)
  PAPER POSTER

国際会議ワークショップ論文

• Zhidong Ling, Yuu Jinnai. 2025. On Generating Consistent and Attractive Promotional Introduction Text for Narrative Media Arts. In Proceedings of the 5rd Wordplay: When Language Meets Games Workshop (Wordplay 2025 at EMNLP 2025).
  PAPER TALK

• Yuu Jinnai. 2024. Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models? The 2nd Workshop on Cross-Cultural Considerations in NLP (C3NLP Workshop at ACL 2024). Best Paper Award.
  PAPER TALK MODEL DATASET

• Morimura T, Sakamoto M, Jinnai Y, Abe K, Ariu K. 2024. Filtered Direct Preference Optimization. ICML 2024 Workshop on Models of Human Feedback for AI Alignment.
  PAPER CODE

• Jinnai Y, Morimura T, Ariu K, Abe K. 2024. Regularized Best-of-N Sampling to Mitigate Reward Hacking for Language Model Alignment. ICML 2024 Workshop on Models of Human Feedback for AI Alignment.
  PAPER CODE

• Jinnai Y, Abel D, Park JW, Hershkowitz DE, Littman M, Konidaris G. 2019. Skill Discovery with Well-Defined Objectives. ICLR Worshop on Structure and Priors in Reinforcement Learning.
  PAPER

• Jinnai Y, Fukunaga A. 2017. A Graph-Partitioning Based Approach for Parallel Best-First Search. ICAPS 2017 Workshop on Heuristic and Search for Domain-Independent Planning (HSDIP).
  PAPER SLIDES

ブックチャプター

• Fukunaga A, Botea A, Jinnai Y, Kishimoto A. 2018. Parallel A* for State-Space Search. Handbook of Parallel Constraint Reasoning, Youssef Hamadi, Lakhdar Sais (eds.), Springer. ISBN 978-3-319-63515-6.
  BOOK.

プリプリント

• Jinnai Y., Morimura T., Honda U. 2023. On the Depth between Beam Search and Exhaustive Search for Text Generation. arXiv 2308.13696
  PAPER
• Noda T, Jinnai Y, Tomii N, Azuma T. 2023. Blind Signal Separation for Fast Ultrasound Computed Tomography. arXiv 2304.14424
  PAPER
• Fukunaga A., Botea A, Jinnai Y., Kishimoto A. 2017. A Survey of Parallel A*. arXiv 1708.05296
  PAPER

ソフトウェア

• calm2-7b-chat-dpo: Direct Preference Optimizationによってチューニングを行った日本語LLM

研究発表

• 市原有生希, 陣内佑, 蟻生開人, 森村哲郎, 内部英治. テキスト生成における最小ベイズリスク復号の理論的な理解に向けて. 言語処理学会第31回年次大会(NLP2025) (2025/3) 優秀賞
• 堤歩斗, 陣内佑. LLM は日本の民話を知っているか？ 妖怪知識評価データセットの構築へ向けて. 言語処理学会第31回年次大会(NLP2025) (2025/3)
• 坂本充生, 陣内佑, 森村哲郎, 阿部拳之, 蟻生開人. 大規模言語モデルのためのアライメントデータ合成手法の実験的評価. 言語処理学会第31回年次大会(NLP2025) (2025/3)
• 森村哲郎, 坂本充生, 陣内佑, 阿部拳之, 蟻生開人. ベイズリスク選好最適化：報酬モデル不要のオンライン選好最適化手法. 第27回情報論的学習理論ワークショップ (IBIS2024) (2024/11)
• 市原有生希, 陣内佑, 森村哲郎, 阿部拳之, 蟻生開人, 坂本充生, 内部英治. Evaluation of Best-of-N Sampling Strategies for Language Model Alignment. 第27回情報論的学習理論ワークショップ (IBIS2024) (2024/11)
• 坂本充生, 森村哲郎, 陣内佑, 阿部拳之, 蟻生開人. Filtered Direct Preference Optimization: 選好データセットの質に基づくフィルタリング手法の提案. 第19回言語処理若手シンポジウム（YANS）(2024/5)
• 陣内佑. 英語データセットを使ったRLHFは日本語LLMの常識道徳にどのような影響を与えるか？ 第19回言語処理若手シンポジウム（YANS）(2024/5)
• 陣内佑, 森村哲郎, 本多右京. Decoding with Semi-Local Constraint on Information Density. 第18回言語処理若手シンポジウム（YANS）(2023/6)
• リングエコーにおける深層学習による腫瘍の自動検出. K. Madhawa, Y. Jinnai, M. Suzuki, T. Azuma, S. Akashi-Tanaka, T. Doi. 第32回日本乳癌検診学会学術総会 (2022/11)
• リングエコーにおける深層学習を用いた乳腺比率測定. S. Fukagawa, Y. Jinnai, K. Madhawa, T. Azuma, M. Suzuki, N. Tomii, S. Akashi-Tanaka, T. Doi. 第32回日本乳癌検診学会学術総会 (2022/11)
• Deep learning-based model for tumor detection in ultrasound computed tomography. K. Madhawa, Y. Jinnai, M. Suzuki, T. Azuma, S. Akashi-Tanaka, T. Doi. Computer Assisted Radiology and Surgery Proceedings of the 36th International Congress and Exhibition (2022/6)
• Automated Breast Density Assessment using B-mode Ultrasound Computed Tomography. S. Fukagawa, Y. Jinnai, K. Madhawa, T. Azuma, M. Suzuki, N. Tomii, S. Akashi-Tanaka, T. Doi. Computer Assisted Radiology and Surgery Proceedings of the 36th International Congress and Exhibition (2022/6)
• Motion Artifact Correction for Ultrasound Computed Tomography. Y. Tanaka, Y. Jinnai, T. Azuma, S. Akashi-Tanaka, T. Doi. Computer Assisted Radiology and Surgery Proceedings of the 36th International Congress and Exhibition (2022/6)
• Automated Tumor Feature Classification Method for Ultrasound Computed Tomography T. Koike, Y. Jinnai, K. Madhawa, T. Azuma, M. Suzuki, N. Tomii, S. Akashi-Tanaka, T. Doi, Computer Assisted Radiology and Surgery Proceedings of the 36th International Congress and Exhibition (2022/6)
• リングエコーにおける深層学習による腫瘤の自動検出. K. Madhawa, Y. Jinnai, M. Suzuki, T. Azuma, S. Akashi-Tanaka, T. Doi. 日本超音波医学会第95回学術集会 (2022/5)
• Jinnai Y., Fukunaga A.: Learning to Prune Dominated Action Sequences in Online Black-box Planning, 第102回人工知能基礎問題研究会, JR博多シティ (2017/12)
• 陣内佑, 福永Alex: グラフ分割による並列探索の為の効率的な仕事分配手法, 第30回人工知能学会全国大会, 北九州国際会議場 (2016/6)
• 陣内佑, 福永Alex: Structured Zobrist Hashによる効率的な並列最良優先探索, 第29回人工知能学会全国大会, 公立はこだて未来大学 (2015/6)

研究助成・奨学金

• 2022年 東京工業大学学術国際情報センターTSUBAME共同利用 産業利用（成果公開） 報告書
• 2017年 東京大学大学院総合文化研究科 広域科学専攻　国際研究集会出席者資金助成 報告書 (AAAI-17)
• 2016年 東京大学情報基盤センタースーパーコンピューティング部門 若手・女性利用 (学際大規模共同利用・共同研究拠点（JHPCN） 萌芽型共同研究課題)
  成果レポート
• 2016年 財団法人 NEC C&C財団　国際会議論文発表者助成 (ICAPS-16)
• 2016年 東京大学大学院総合文化研究科 広域科学専攻　国際研究集会出席者資金助成 (AAAI-16)

書籍

• ヒューリスティック探索 合理的なAIをつくるためのアルゴリズム
  ヒューリスティック探索の教科書です。日本語で書かれたヒューリスティック探索の書籍がなかったので書きました。
  主に大学生・大学院生を想定して書いています。基礎的な理論に加え疑似コードとPython 3実装を載せており、実践的な内容になっております。

• 強化学習 (第2版)
  強化学習 (第2版)を共訳しました。なお、英語の原著は無料で公開されています。 強化学習を専門として学ぶ方は原著も読むと良いと思っています。

• みんなのデータ構造
  みんなのデータ構造はPat Morin教授が執筆しオープンソース(CC BY)で公開されているデータ構造の入門教科書Open Data Structuresを日本語に翻訳したものです。 日本語版の書籍そのものはCC BYライセンスではありませんが、原稿テキストおよび原稿のPDFをGithubでCC BYで公開しています (レイアウト・スタイルは書籍版と異なります)。
  BOOK

ティーチング

• 2016年度冬学期 (東京大学)
  TA: 寺子屋 (学際科学科に進学する文科出身の２年生の数学のフォローアップをするプログラム)

• 2016年度夏学期 (東京大学)
  TA: 情報工学実験

• 2015年度 (東京都立多摩科学技術高校)
  東京都立多摩科学技術高校にて非常勤講師。スーパーサイエンスハイスクール (SSH) 事業の一環として海外での科学技術シンボジウム (Global Science Link) での研究発表を行う高校生に研究発表の準備のためのポスター作成、口頭発表方法を教えました。

• 2015年度冬学期 (東京大学)
  TA: 寺子屋 (学際科学科に進学する文科出身の２年生の数学のフォローアップをするプログラム)

• 2015年度夏学期 (東京大学)
  TA: 理科生のための初年次ゼミナール
  TA: 情報工学実験

受賞など

• 2025年3月 言語処理学会第31回年次大会 優秀賞. 市原有生希, 陣内佑, 蟻生開人, 森村哲郎, 内部英治. テキスト生成における最小ベイズリスク復号の理論的な理解に向けて.
• 2024年8月 The 2nd Workshop on Cross-Cultural Considerations in NLP. Best Paper Award. Jinnai Y. Does Cross-Cultural Alignment Change the Commonsense Morality of Language Models?
• 2017年3月 東京大学大学院総合文化研究科 一高記念賞

特許

• 特開2023-178874 医用情報提供装置
• 特開2023-178791 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
• 特開2023-099261 医用情報提供装置、超音波CT撮像装置及び医用情報提供システム
• WO/2023/053755 IMAGE DIAGNOSIS SUPPORTING DEVICE, IMAGE DIAGNOSIS SUPPORTING METHOD, AND IMAGE DIAGNOSIS SUPPORTING PROGRAM
• WO/2023/032954 INFORMATION PROCESSING METHOD, PROGRAM AND IMAGE DIAGNOSIS DEVICE
• 特許第7233792号 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
• 特許第7187735号 撮像装置及びプログラム

学会活動

• Reviewer of International Conference of Machine Learning (ICML), Neural Information Processing Systems (NeurIPS), AAAI Conference on Artificial Intelligence (AAAI), International Conference on Learning Representations (ICLR).
• Reviewer of ACL (Association for Computational Linguistics) Rolling Review.
• Reviewer of Journal of Machine Learning Research.
• Reviewer of Journal of Artificial Intelligence Research.
• Reviewer of Knowledge-based Systems.
• Program Committee of 3rd Workshop on Cross-Cultural Considerations in NLP (C3NLP).
• Program Committee of UncertaiNLP: 2nd Workshop on Uncertainty-Aware NLP.
• 2017年度　第31回人工知能学会全国大会 学生プログラム委員
• 2016年度　第30回人工知能学会全国大会 学生プログラム委員

セミナー・トーク

• 2025年12月 大規模言語モデルで「最適な」文章を生成する. 人工知能学会 第134回人工知能基本問題研究会(SIG-FPAI)
• 2025年9月 強化学習は与えられた指標を最大化する. 第20回言語処理若手シンポジウム (YANS2025)
  POSTER
• 2025年7月 言語モデルの推論時に何が出来るか. 名古屋地区NLPセミナー
  SLIDES
• 2025年7月 大規模言語モデルのための強化学習. 人工知能学会第98回人工知能セミナー
  TALK SLIDES 1 SLIDES 2
• 2025年6月 Introduction to Minimum Bayes Risk Decoding. NLPコロキウム.
  TALK SLIDES
• 2022年2月 新しい画像診断機器のための自動診断支援AIの開発. NVIDIA Partner Solution Connect. NVIDIA Japan.
• 2018年7月 Automated Deep Learning by Neural Architecture Search. NICT.
  SLIDES
• 2017年2月 Graph search algorithms for classical planning. 北海道大学離散構造処理系プロジェクト
  SLIDES

学位論文

• 修士
  Jinnai Y., 2017. On Hash-Based Work Distribution Methods for Parallel Best-First Search. Advisor: Alex Fukunaga. University of Tokyo. PAPER

• 学士
  陣内 佑, 2015. マルチコアマシンにおける並列A*探索の探索オーバーヘッドの解析とアルゴリズムの再評価. 指導教官: 福永 Alex. 東京大学. PAPER

その他

• 超音波techno リングエコーにおける深層学習による腫瘤の自動検出.
• 映像情報Medical 2022年11月号 乳房用リング型超音波画像診断装置「COCOLY（ココリー）」と自動診断支援AIの開発.
• RadFan 2022年7月号 超音波CTのための自動診断支援AIの開発.

• 2013年9月~2016年8月 Resident assistant for international students at University of Tokyo International lodge, Komaba lodge

• プログラミング言語
  Proficient: Python 3, C++ Experienced: C, C#, Objective-C, Rust, Java, Ruby, JavaScript, Common Lisp, Scheme, Haskell, Racket, Prolog, R, bash, gawk, MATLAB, Processing, Lua

• Tools
  ML: PyTorch, TensorFlow, Huggingface’s Transformers, Jax, mlflow, weights and biases
  Others: git, Cline, Visual Studio Code, Emacs, Docker, AWS, Azure DevOps, GCP, torque job scheduler

略歴

• 2023年6月~ Researcher, CyberAgent AI Lab
• 2020年4月~2023年1月 Research Engineer, Team Leader, Project Manager, Lily MedTech
• 2017年6月~2020年1月 (Incomplete) Ph.D. student, Department of Computer Science, Brown University
• 2019年6月~2019年9月 インターン、Microsoft Research Cambridge, UK
• 2017年3月~2017年5月 テクニカルスタッフ、理化学研究所革新知能統合研究センター
• 2015年4月~2017年3月 東京大学大学院総合文化研究科広域科学専攻修士課程
• 2013年8月~2013年12月 The University of British Columbiaへ交換留学 (先頭の報告書が私のものです)
• 2011年4月~2015年3月 東京大学教養学部学際科学科
• ~2011年3月 筑波大学附属駒場高等学校