APAN NOC会合
APAN NOCにおける
キャプチャの計画
2010年10月20日
下田晃弘, 後藤滋樹
早稲田大学
APAN 10G用キャプチャサーバ
１０月２０日に後藤研に納品予定
• キャプチャサーバ本体
– メーカー: Qualest (http://www.qualest.co.jp/)
– システム型番: Qualest RS3X35R16TBRP
• 3Uサーバ
– CPU : Xeon X5650 2.66Ghz 6core x 1
– HDD: Hitachi SATA2 2TB 7200rpm 32MB x 16
※ Seagateに変更
– メモリ: DIMM 2GB DDR3 1333Mhz ECC x 6 (計12GB)
– 電源: 650W
• RAID1+0 or RAID0構成
• スペースと電源容量の検討
– 皆様のアドバイスに感謝！
ネットワークカード
• 10G NIC
– Chelsio 10Gb Ethernet NIC Card Dual Port N320e-G2-CR
– 10Gb SFP+ 光モジュール SM10G-LR
• サイバネテック社の情報によると，キャプチャ用途として実績があ
るとのこと
• 光ケーブル
– 10GBase-LR 光ファイバー 5m (両端LCコネクタ)
ファイバは納品済み
測定ポイント
• ネットワークの構成ならびにリソースを考慮し
て APAN 側コアスイッチ MS7 (Alaxala)に
10GBase-LR で収容の予定
– コアルータ T640, T1600, E600 や JGN2plus を繋ぐ
コアスイッチ
– 複数インターフェイスをミラーすることにより，多
様なフローを観測できる
引用:
http://www.jp.apan.net/noc/implementation/xpconf.shtml
第２部
キャプチャしたデータの分析（例）
２．１ 仮想センサ
２．２ 仮想ハニーポット
2.1 仮想センサ（Dark IP）
実センサ（ハードウェア）
Block all incoming packets
Anomaly packets
logging
Attacker
No response
Pass through all incomming packets
Firewall
PC
Sensor Box
(Dark IP)
7
仮想センサ
Normal Servers
No service offered
Mutual Access
Normal Hosts
One-way Access
Attackers
Unused IP space
Netflow packets
Virtual Sensors
物理的なマシンを設置しない
Netflow
AS 1000
AS 2000
Host A
Fa 1/0
ＩＰ X.X.X.X /24
port 23221
Host B
Fa 0/0
ＩＰ Y.Y.Y.Y /24
port 20
export
Netflow v5 record
Start Time
2006/3/10 12:31:15
SrcIP
X.X.X.X
DstIP
Y.Y.Y.Y
End Time
2006/3/10 12:31:18
SrcMask
/24
DstMask
/24
Protocol
6
SrcPort
23221
DstPort
20
TOS
80
SrcAS
1000
DstAS
2000
Flags
10
SrcIF
Fa 1/0
DstIF
Fa 0/0
Packets
1200
KBytes
6400
9
フローから仮想センサを抽出
Netflow Router
virtual sensors
candidates
virtual sensors
Virtual Sensor
Detection Algorithm
Anomaly Packets
Collector
Flow Attributes
Results Output
Netflow Database
Flow-tools
ヒューリスティックなアルゴリズム
状態遷移の詳細な説明は割愛
1
Not seen
or
Not communicating
Virtual Sensor
Candidates
3
4
2
8
Senders List
(cache)
6
7
5
Virtual Sensors
実証実験
Wide area network
Anomaly packets
A worm infected host
Scanning packets
Intermediate Router
(Target of flow-observation)
Autonomous System
An malicious host
実センサと仮想センサ
Port 135/tcp
２．１ まとめ
• 仮想センサ（Virtual Dark IP）はフロー情報か
ら仮想センサを抽出する提案
– 物理的な実センサの代りに使える
• 仮想センサは、多数のセンサを実現すること
ができる
２．２ 仮想ハニーポット
• Passive: 実センサ、仮想センサ
?
X
Purpose
Detect anomaly packet
 DDoS, scanning…
logging server
– Stealth observation  to detect indiscriminative attacks
– Network telescopes (CAIDA, 2004)
• Active: Honeypots
Purpose
Inspect detail of attacks
- targeted vulnerability
- malware/worm species
honeypot
– Honeypots: definitions and value of honeypots (2002)
15
仮想ハニーポット（DarkPots）
• Vacancy Checker
• Forwarder
• Analyzer
Analyzers
emulated
response
DarkPots
System
list of unused-IPs
Forwarder
Vacancy checker
mirroring
The Internet
Gateway Router
(ACLs deployed)
Enterprise / Campus
Network
16
処理の手順： DarkPots
#4 forwarding to analyzer
# 5 responding
#3 filter with unused-IP address list
Forwarder
#2 mirroring
#1 attacks
blocked by firewall
×
destination is inactive
×
Gateway
The Internet
Enterprise / Campus
Network
17
３種類の Analyzer
A: Passive Sensor
receive only for logging
B: Reflector
respond to SYN flagged packet
but other packets will not be sent.
creates TCP half connection
syn
logging
no response
iptables
Passive Sensor
syn
syn/ack response
syn/ack
reflector
iptables
Reflector
syn
C: Honeypot
Installed Npenthes software as one ofhoneypot response
the case-study of honeypots.
honeypot
service
iptables
Honeypot
18
Unused-IP address allocation
• Assign unused-IP address to each analyzer.
– Random selection without duplication.
– 2560 IPs assigned for each analyzers.
passive
reflector
honeypot
A: Passive Sensors
B: Reflector
C: Honeypots
campus network : A.B.C.D/16
x-axis :3rd octets of IPv4
y-axis :4th octets of IPv4
3つのAnalyserで観測されたIPアドレス
• The number of source IP address (unique hosts) on
passive sensors is slightly larger than others.
passive
reflector
honeypot
ほぼ同数
20
C.D.F analysis on
# of received packets per attacker
• 60% of attackers sent less than 3 packets in passive mode (A)
• 90% of attackers sent out more than 4–8 packets in the active (B) and
interactive modes (C).
Passive
Reflector
HoneyPot
21
TCPフラグの分析
BにおけるFIN/PSH/ACKが特徴的
passive
reflector
honeypot
too many duplicated packets
22
Mode Cにおける観測
top 7 heavy-hitters
• ある時間帯に活動、多くの国に分布している
23
The second experiment:
ランダムアドレスと連続アドレスの比較
• Two honeypot analyzers in parallel
– random address block
– continuous address block
• Assign 2,560 IP addresses each
• Purpose : inspecting the effect of allocation patterns
random
continuous
x-axis :4th octets of IPv4
y-axis :3rd octets of IPv4
24
連続アドレスは攻撃されやすい
分散アドレスは脅威の観測に適している
Continuous
Random
マルウェアの名前はAvastによる
attack count
Continuous
Random
25
２．２ まとめ
• 稼働しているネットワークに影響が少ない
– ミラーポートを利用してデータを収集
• 未使用のIPアドレスを活用して測定に用いる
– パケット収集とファイアウオール情報の照合
• 大規模なネットワークに適用可能
– 数種類の分析手法を同時に走行可能
– 既存手法と新手法との比較が容易
– 観測対象とするＩＰアドレスを自由に選択
Akihiro Shimoda, BEST student paper award, SAINT 2010.
26