Pythonによる機械学習実験の管理

•

42 likes•12,295 views

Toshihiro Kamishima

Python をつかったアルゴリズムの実験で，実験条件の設定や，その記録など実験管理，epydoc を用いたソフトの文書化，そして gxp を使ったクラスタ環境下での実行について簡単に紹介します． Tokyo.Scipy #1 http://partake.in/events/3ab83ec0-e987-4956-b726-faf7777a2c83

Data & Analytics Technology Education

•
•
•
•
• John K. Ousterhout “Scripting: Higher Level Programming for the 21st
Century”
•
•
•
2

•
•
•
•
•
3

•
•
•
•
4

•
•
•
5

•
•
•
•
•
6

•
•
•
7

•
•
8

•
•
•
•
9

•
10

•
11

•
•
•
•
12

•
•
•
•
13

•
•
•
•
•
•
•
•
•
•
14

•
•
•
•
15

•
•
16

•
•
•
17

•
•
•
•
•
•
•
•
18

•
•
•
•
•
19

•
•
•
•
20

•
•
•
•
•
•
21

•
•
•
•
•
22

Recommended

機械学習チュートリアル@Jubatus Casual Talks

機械学習チュートリアル@Jubatus Casual Talks

機械学習チュートリアル@Jubatus Casual TalksYuya Unno

Prophet入門【Python編】Facebookの時系列予測ツール

Prophet入門【Python編】Facebookの時系列予測ツール

Prophet入門【Python編】Facebookの時系列予測ツールhoxo_m

数学で解き明かす深層学習の原理

数学で解き明かす深層学習の原理

数学で解き明かす深層学習の原理Taiji Suzuki

車両運行管理システムのためのデータ整備と機械学習の活用

車両運行管理システムのためのデータ整備と機械学習の活用

車両運行管理システムのためのデータ整備と機械学習の活用Eiji Sekiya

深層学習の不確実性 - Uncertainty in Deep Neural Networks -

深層学習の不確実性 - Uncertainty in Deep Neural Networks -

深層学習の不確実性 - Uncertainty in Deep Neural Networks -tmtm otm

BlackBox モデルの説明性・解釈性技術の実装

BlackBox モデルの説明性・解釈性技術の実装

BlackBox モデルの説明性・解釈性技術の実装Deep Learning Lab（ディープラーニング・ラボ）

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with TransformersDeep Learning JP

科学技術計算関連Pythonパッケージの概要

科学技術計算関連Pythonパッケージの概要

科学技術計算関連Pythonパッケージの概要Toshihiro Kamishima

Recommended

機械学習チュートリアル@Jubatus Casual Talks

機械学習チュートリアル@Jubatus Casual Talks

機械学習チュートリアル@Jubatus Casual TalksYuya Unno

Prophet入門【Python編】Facebookの時系列予測ツール

Prophet入門【Python編】Facebookの時系列予測ツール

Prophet入門【Python編】Facebookの時系列予測ツールhoxo_m

数学で解き明かす深層学習の原理

数学で解き明かす深層学習の原理

数学で解き明かす深層学習の原理Taiji Suzuki

車両運行管理システムのためのデータ整備と機械学習の活用

車両運行管理システムのためのデータ整備と機械学習の活用

車両運行管理システムのためのデータ整備と機械学習の活用Eiji Sekiya

深層学習の不確実性 - Uncertainty in Deep Neural Networks -

深層学習の不確実性 - Uncertainty in Deep Neural Networks -

深層学習の不確実性 - Uncertainty in Deep Neural Networks -tmtm otm

BlackBox モデルの説明性・解釈性技術の実装

BlackBox モデルの説明性・解釈性技術の実装

BlackBox モデルの説明性・解釈性技術の実装Deep Learning Lab（ディープラーニング・ラボ）

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with TransformersDeep Learning JP

科学技術計算関連Pythonパッケージの概要

科学技術計算関連Pythonパッケージの概要

科学技術計算関連Pythonパッケージの概要Toshihiro Kamishima

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1Masashi Shibata

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?Deep Learning JP

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森Masashi Komori

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方Shun Nukui

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)Takuma Yagi

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...Deep Learning JP

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門hoxo_m

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要Kenji Urai

パターン認識と機械学習入門Momoko Hayamizu

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会takehikoihayashi

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案Masanori Kado

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...Deep Learning JP

強化学習その2nishio

強化学習における好奇心Shota Imai

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜SSII

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験myxymyxomatosis

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative ModelsSeiya Tokui

Curiosity driven exploration

Curiosity driven exploration

Curiosity driven explorationTakuya Minagawa

RecSys2018論文読み会資料

RecSys2018論文読み会資料

RecSys2018論文読み会資料Toshihiro Kamishima

WSDM2018読み会資料Toshihiro Kamishima

More Related Content

What's hot

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1Masashi Shibata

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?Deep Learning JP

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森Masashi Komori

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方Shun Nukui

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)Takuma Yagi

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...Deep Learning JP

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門hoxo_m

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要Kenji Urai

パターン認識と機械学習入門Momoko Hayamizu

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会takehikoihayashi

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案Masanori Kado

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...Deep Learning JP

強化学習その2nishio

強化学習における好奇心Shota Imai

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜SSII

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験myxymyxomatosis

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative ModelsSeiya Tokui

Curiosity driven exploration

Curiosity driven exploration

Curiosity driven explorationTakuya Minagawa

What's hot (20)

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

CMA-ESサンプラーによるハイパーパラメータ最適化 at Optuna Meetup #1

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?

[DL輪読会]When Does Label Smoothing Help?

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森

社会心理学者のための時系列分析入門_小森

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方

レコメンドエンジン作成コンテストの勝ち方

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

オープンワールド認識 (第34回全脳アーキテクチャ若手の会勉強会)

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

[DL輪読会]Model soups: averaging weights of multiple fine-tuned models improves ...

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門

機械学習のためのベイズ最適化入門

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要

LSTM (Long short-term memory) 概要

パターン認識と機械学習入門

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会

『バックドア基準の入門』＠統数研研究集会

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案

優れた研究論文の書き方―7つの提案

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

【DL輪読会】Foundation Models for Decision Making: Problems, Methods, and Opportun...

強化学習その2

強化学習における好奇心

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

SSII2020SS: グラフデータでも深層学習〜 Graph Neural Networks 入門〜

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験

Transformerを用いたAutoEncoderの設計と実験

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative Models

論文紹介 Semi-supervised Learning with Deep Generative Models

Curiosity driven exploration

Curiosity driven exploration

Curiosity driven exploration

More from Toshihiro Kamishima

RecSys2018論文読み会資料

RecSys2018論文読み会資料

RecSys2018論文読み会資料Toshihiro Kamishima

WSDM2018読み会資料Toshihiro Kamishima

Recommendation Independence

Recommendation Independence

Recommendation IndependenceToshihiro Kamishima

機械学習研究でのPythonの利用

機械学習研究でのPythonの利用

機械学習研究でのPythonの利用Toshihiro Kamishima

Considerations on Recommendation Independence for a Find-Good-Items Task

Considerations on Recommendation Independence for a Find-Good-Items Task

Considerations on Recommendation Independence for a Find-Good-Items TaskToshihiro Kamishima

Model-based Approaches for Independence-Enhanced Recommendation

Model-based Approaches for Independence-Enhanced Recommendation

Model-based Approaches for Independence-Enhanced RecommendationToshihiro Kamishima

KDD2016勉強会資料Toshihiro Kamishima

WSDM2016勉強会資料Toshihiro Kamishima

ICML2015読み会資料Toshihiro Kamishima

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...Toshihiro Kamishima

Correcting Popularity Bias by Enhancing Recommendation Neutrality

Correcting Popularity Bias by Enhancing Recommendation Neutrality

Correcting Popularity Bias by Enhancing Recommendation NeutralityToshihiro Kamishima

PyMCがあれば，ベイズ推定でもう泣いたりなんかしない

PyMCがあれば，ベイズ推定でもう泣いたりなんかしない

PyMCがあれば，ベイズ推定でもう泣いたりなんかしないToshihiro Kamishima

The Independence of Fairness-aware Classifiers

The Independence of Fairness-aware Classifiers

The Independence of Fairness-aware ClassifiersToshihiro Kamishima

Efficiency Improvement of Neutrality-Enhanced Recommendation

Efficiency Improvement of Neutrality-Enhanced Recommendation

Efficiency Improvement of Neutrality-Enhanced RecommendationToshihiro Kamishima

Absolute and Relative Clustering

Absolute and Relative Clustering

Absolute and Relative ClusteringToshihiro Kamishima

Consideration on Fairness-aware Data Mining

Consideration on Fairness-aware Data Mining

Consideration on Fairness-aware Data MiningToshihiro Kamishima

Fairness-aware Classifier with Prejudice Remover Regularizer

Fairness-aware Classifier with Prejudice Remover Regularizer

Fairness-aware Classifier with Prejudice Remover RegularizerToshihiro Kamishima

Enhancement of the Neutrality in Recommendation

Enhancement of the Neutrality in Recommendation

Enhancement of the Neutrality in RecommendationToshihiro Kamishima

OpenOpt の線形計画で圧縮センシング

OpenOpt の線形計画で圧縮センシング

OpenOpt の線形計画で圧縮センシングToshihiro Kamishima

Fairness-aware Learning through Regularization Approach

Fairness-aware Learning through Regularization Approach

Fairness-aware Learning through Regularization ApproachToshihiro Kamishima

More from Toshihiro Kamishima (20)

RecSys2018論文読み会資料

RecSys2018論文読み会資料

RecSys2018論文読み会資料

WSDM2018読み会資料

Recommendation Independence

Recommendation Independence

Recommendation Independence

機械学習研究でのPythonの利用

機械学習研究でのPythonの利用

機械学習研究でのPythonの利用

Considerations on Recommendation Independence for a Find-Good-Items Task

Considerations on Recommendation Independence for a Find-Good-Items Task

Considerations on Recommendation Independence for a Find-Good-Items Task

Model-based Approaches for Independence-Enhanced Recommendation

Model-based Approaches for Independence-Enhanced Recommendation

Model-based Approaches for Independence-Enhanced Recommendation

KDD2016勉強会資料

WSDM2016勉強会資料

ICML2015読み会資料

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...

Future Directions of Fairness-Aware Data Mining: Recommendation, Causality, a...

Correcting Popularity Bias by Enhancing Recommendation Neutrality

Correcting Popularity Bias by Enhancing Recommendation Neutrality

Correcting Popularity Bias by Enhancing Recommendation Neutrality

PyMCがあれば，ベイズ推定でもう泣いたりなんかしない

PyMCがあれば，ベイズ推定でもう泣いたりなんかしない

PyMCがあれば，ベイズ推定でもう泣いたりなんかしない

The Independence of Fairness-aware Classifiers

The Independence of Fairness-aware Classifiers

The Independence of Fairness-aware Classifiers

Efficiency Improvement of Neutrality-Enhanced Recommendation

Efficiency Improvement of Neutrality-Enhanced Recommendation

Efficiency Improvement of Neutrality-Enhanced Recommendation

Absolute and Relative Clustering

Absolute and Relative Clustering

Absolute and Relative Clustering

Consideration on Fairness-aware Data Mining

Consideration on Fairness-aware Data Mining

Consideration on Fairness-aware Data Mining

Fairness-aware Classifier with Prejudice Remover Regularizer

Fairness-aware Classifier with Prejudice Remover Regularizer

Fairness-aware Classifier with Prejudice Remover Regularizer

Enhancement of the Neutrality in Recommendation

Enhancement of the Neutrality in Recommendation

Enhancement of the Neutrality in Recommendation

OpenOpt の線形計画で圧縮センシング

OpenOpt の線形計画で圧縮センシング

OpenOpt の線形計画で圧縮センシング

Fairness-aware Learning through Regularization Approach

Fairness-aware Learning through Regularization Approach

Fairness-aware Learning through Regularization Approach

Recently uploaded

Le contrôle de la recherche d'emploi en 2023

Le contrôle de la recherche d'emploi en 2023

Le contrôle de la recherche d'emploi en 2023France Travail

Bidirectional Encoder Representations from Transformers

Bidirectional Encoder Representations from Transformers

Bidirectional Encoder Representations from Transformersbahija babzine

analyse husseindey AMIROUCHE Abdeslem.pptx

analyse husseindey AMIROUCHE Abdeslem.pptx

analyse husseindey AMIROUCHE Abdeslem.pptxHadJer61

To_understand_transformers_together presentation

To_understand_transformers_together presentation

To_understand_transformers_together presentationbahija babzine

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...France Travail

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attalcontact Elabe

Recently uploaded (6)

Le contrôle de la recherche d'emploi en 2023

Le contrôle de la recherche d'emploi en 2023

Le contrôle de la recherche d'emploi en 2023

Bidirectional Encoder Representations from Transformers

Bidirectional Encoder Representations from Transformers

Bidirectional Encoder Representations from Transformers

analyse husseindey AMIROUCHE Abdeslem.pptx

analyse husseindey AMIROUCHE Abdeslem.pptx

analyse husseindey AMIROUCHE Abdeslem.pptx

To_understand_transformers_together presentation

To_understand_transformers_together presentation

To_understand_transformers_together presentation

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...

Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal

Pythonによる機械学習実験の管理

2. • • • • • John K. Ousterhout “Scripting: Higher Level Programming for the 21st Century” • • • 2

3. • • • • • 3

4. • • • • 4

5. • • • 5

6. • • • • • 6

7. • • • 7

9. • • • • 9

12. • • • • 12

13. • • • • 13

14. • • • • • • • • • • 14

15. • • • • 15

17. • • • 17

18. • • • • • • • • 18

19. • • • • • 19

20. • • • • 20

21. • • • • • • 21

22. • • • • • 22