今日はPRML復々習レーン kick-off meetingの日です

1年前に挫折したわけですが、一応もう一回来てみました。適当にメモします(キックオフなので打ち合わせ中心だと思いますが)。

ご挨拶 / @naoya_t さん

• 今日はエクストリームリーディングします
• 自己紹介タイム
• 今後は幹事役を分散したい
  • 会場安いとことか募集
• 全員に発表してもらいたい → 発表しないと身に付かない
• グループ分けして1章〜2章をエクストリームリーディングしましょう
• 暇な人は演習問題を(答え有り)
• 休憩

1章の黙読

各自15分程度目を通す。

• 1.66の導出はベイズの定理から形式的に出てくる？
  • 暗にグラフィカルモデルを考える必要がある？(以降の章で出てくる)
  • ここでαとβはハイパーパラメーターで確率変数ではない(独立性の問題)
  • 適宜、常識的な範囲で独立性を補わなければ出ないのではないか
  • 機械形式的に1.66を出せる人は教えて下さい！
• 1.6の情報量は何に使うの？
  • EMアルゴリズムで
  • ロジスティック回帰でもちらっと
• 1.68は解析的に解ける？ 最終的に求まる分散1.70と1.71はよく使う式？
  • 宿題。実際はgnuplotとかが勝手にやってくれる。導出の仕方を覚えておくことはよい。

2章1節の黙読

各自10分程度目を通す。

• 共役性の定義は？
  • パラメータを置き換えれば一致する、程度で

2章2節の黙読

• 機械学習などで事前分布に共役な分布を選ぶ理由は？
  • 悩まない、ということは1つの手
  • 自然言語処理だと頻度分布とかを選んだ方が精度が高いんじゃないか → αを非対称にすればOK
  • 計算の都合だけど、絶対そうしなければいけないという理由はない
  • 過学習と関係ある？ → 事前分布のご利益としては。ただ、他の分布でも一緒。
• 十分等計量のありがたさは？
  • 後で出てくるので割愛
• ベータ分布のμのハイパーパラメータ
  • 4〜5個のサンプルで初めて、いいところを探している
  • 極所解に落ち入らない？
  • 過学習は気をつけているけど、ベストかは不明
  • データが多くなると、パラメータチューニングで苦労するという印象はある
• β分布やディリクレ分布は事前分布以外に使い道があるのか。μを使ってるのが気持ち悪い
  • 後でxを使ってるので。
  • 知ってる範囲では使ってるところは見たことがない
• P.76 の有効観測数は α_k - 1 では？
  • 恐らくそうでしょう
  • となると、α_k が 0.1 の場合に有効観測数が負になる。これはどう解釈すべき？

2章はしっかりやりたいので、次回以降に持ち越して担当決めて腰据えてやりましょう。
来月は2.3のガウス分布から2章最後まで。3章頭もやるかも。
発表スライドであらすじ、質疑を中心で。
発表時間は5分程度でも、重要と思った箇所は長い時間でも。読んでること前提でOK。
本レーンは1枠1時間程度(今回は本レーンよりだいぶ細かく切ってる)。

来月分の割当を完了。