KGC


[ English ]
インターネット計測とデータ解析

お知らせ


科目名インターネット計測とデータ解析 [ シラバス ]
http://web.sfc.keio.ac.jp/~kjc/classes/sfc2012s-measurement/

インターネットによって、多様で膨大なデータが容易に取得できるようになった。 そこから知見を引出し、新たなサービスを作り出すことが可能になり、ビッグデータや集合知として注目されている。しかし、これらを正しく理解し、道具として使いこなすためには、その背景にある統計、機械学習、システムに関する総合的な理解が欠かせない。
本授業は、インターネット上でのデータ取得と大規模データ解析の概要について学び、情報社会で必須となる大量情報から新たな知識獲得をするための基礎能力を身につける。


担当者 長 健二朗
授業期間2012年春学期 金曜日4時限
授業レベル 学部
参考文献 参考文献リスト


授業ビデオとマテリアルFlash Player
授業ビデオの再生にはFlash Playerが必要です。
受講したい回をクリックしてください。
第01回2012/04/06 イントロダクション
- 講義スライド(pdf) (URL)
ビッグデータと集合知
インターネット計測
大規模データ解析
演習: ruby入門


第02回2012/04/13 データとばらつき
- mean.rb
- 講義スライド|(pdf) (URL)
- 演習用データ(marathon.txt) (URL)
- stddev.rb
- stddev2.rb
- median.rb
要約統計量 (平均、標準偏差、分布)
サンプリング
グラフによる可視化
演習: gnuplotによるグラフ描画


第03回2012/04/20 データの収集と記録
- 講義スライド(pdf) (URL)
- 演習用データ (sample_access_log.bz2 14MB) (URL)
- 演習用データzip版 (sample_access_log.zip 28MB) (URL)
- 演習用テストデータ (test-100lines) (URL)
ネットワーク管理ツール
データフォーマット
ログ解析手法
演習: ログデータと正規表現


第04回2012/04/27 分布と信頼区間
- 講義スライド(pdf) (URL)
- 課題1用データ (URL)
正規分布
信頼区間と検定
分布の生成
演習: 信頼区間
課題1


第05回2012/05/11 多様性と複雑さ
- 講義スライド(pdf) (URL)
ロングテール
Webアクセスとコンテンツ分布
べき乗則と複雑系
演習: べき乗則解析


第06回2012/05/18 相関
- 講義スライド(pdf) (URL)
- 演習用データ (correlation-data-1.txt) (URL)
- 演習用データ (correlation-data-2.txt) (URL)
- 講義資料2(PDF)
オンラインお勧めシステム
距離とエントロピー
相関係数
演習: 相関


第07回2012/05/25 多変量解析
- 講義スライド|(pdf) (URL)
データセンシング
線形回帰
主成分分析
演習: 線形回帰


第08回2012/06/01 時系列データ
- 講義スライド(pdf) (URL)
- 演習用データ (autocorr_5min_data.txt) (URL)
- 演習用データ (ifbps.txt) (URL)
インターネットと時刻
ネットワークタイムプロトコル
トラフィック計測
時系列解析
周波数分析
トレンド解析
演習: 時系列解析
課題2


第09回2012/06/08 トポロジーとグラフ
- 講義スライド(pdf) (URL)
- 演習用データ (topoogy.txt) (URL)
- 演習用スクリプト (dijkstra.rb) (URL)
経路制御
グラフ理論
最短経路探索
演習: 最短経路探索


第10回2012/06/15 異常検出と機械学習
- 講義スライド(pdf) (URL)
- 演習用スクリプト (naivebayes.rb) (URL)
異常検出
機械学習
スパム判定とベイズ理論
演習: 機械学習


第11回2012/06/22 ゲストトーク
- トークスライド (pdf) (URL)
- トークスライド2 (pdf) (URL)
AS Core: Visualizing the Internet.
Bradley Huffaker (CAIDA)


第12回2012/06/29 検索とランキング
- 講義スライド(pdf) (URL)
- 演習用スクリプト (pagerank.rb) (URL)
- 演習用データ (sample-links.txt) (URL)
検索システム
クローリング
ページランク
演習: PageRank


第13回2012/07/06 データマイニング
- 講義スライド(pdf) (URL)
- 演習用スクリプト (k-means.rb) (URL)
- 演習用データ (km-data.txt) (URL)
パターン抽出
クラス分類
クラスタリング
演習: クラスタリング


第14回2012/07/13 スケールする計測と解析
- 講義スライド(pdf) (URL)
大規模計測
MapReduce
分散並列処理
クラウド技術
インターネット計測とプライバシー
演習: 並列処理



Powered by SOI Copyright(c) 2002-2019, Keio University Shonan Fujisawa Campus. All rights reserved.
このサイトの著作権について