IBM Power Systems Virtual Server
Hints & Tips
2019年09⽉30⽇
⽇本アイ・ビー・エム株式会社 Power Systems テクニカル・セールス
⽇本アイ・ビー・エム システムズ・エンジニアリング株式会社
本資料では
• Power Systems Virtual Server活⽤例に従ってPower Systems Virtual Serverを
使⽤する際に参考となる⼿順を紹介します
• Power Systems Virtual Serverを使⽤する際に必要な⼿順は要件に応じて異なり
ますので、以降の⼿順で必要となる部分をご参照ください
• 本資料は2019年9⽉30時点でのPower Systems Virtual Serverのサービスを元に
作成しています
• 参照された時点の最新版では画⾯やメニューなどが更新されている可能性があ
るのでご注意ください
© 2019 IBM Corporation
⽬次
1. IBM Power Systems Virtual Server on IBM Cloud
2. Power Systems Virtual Serverオーダー⼿順
3. Power Systems Virtual Server VM作成⼿順
4. Power Systems Virtual Server VMリソース変更⼿順
5. カスタムイメージを使⽤したVMデプロイ
6. パブリック・ネットワーク経由でのVMへのアクセス
7. VMイメージのキャプチャーとエクスポート
8. alt_disk_mksysbによるVMへのmksysbリストア
9. NIMによるVMへのmksysbリストア
10. Direct LinkによるIBM Cloudとの接続
11. 参考資料
© 2019 IBM Corporation
3
Power Systems Virtual Server
on IBM Cloud
IBM Power Systems Virtual Server on IBM Cloud 概要
サービス概要
• AIX / IBM i のPowerVM-ベースの LPAR-as-a-Service on IBM Cloud
• IBMによるOSの構築、その後はOSより上位層は、お客様によるセルフ・
マネージド
• IBMクラウドカタログより、使⽤に応じた価格モデルの提供
2019/06/15 ワシントン、ダラス GA
利⽤例
• AIX/IBM i ワークロードをクラウドへ移⾏し、クラウド・ネイティブサ
ービスによるモダナイズ
• お客様によるセルフ・マネージのPOWERの仮想イメージ
システム
CPU
メモリ
ストレージ・タイプ
ストレージ容量
ネットワーク
OS
© 2019 IBM Corporation
S922 or E880
0.25-143 cores (15 for S922, 143 for E880)
Dedicated もしくは Shared 選択可能
2-64 GB /コア
Type: Tier 3 (HDD) もしくはTier 1 (SSD)
最低 10 GB 最⼤ 2 TB (10 GB単位で追加）
Public , Private
AIX (7.1, 7.2)
IBM i (7.2 , 7.3, 7.4)
5
IBM Power Virtual Server for IBM Cloud の活⽤例 -AIX編最新バージョンでテスト/検証をしたい
例) AIX 6.1
災対環境を構築したい（万が⼀に備えたい）
基幹データの⼀部だけをクラウドアプリケーションで使いたいプ
ライベートクラウド側のデータを触るのは怖い
クラウドアプリ
ケーション
（Watson, etc.)
AIX 7.2
IBM Cloud
(IaaS)
IBM Cloud
(IaaS)
@ダラス
@ワシントンD.C.
IBM Cloud
(IaaS)
既存のアプリケーションを最新バージョンに
マイグレーションする際に検証環境を準備するための
時間、ワークロードを省⼒化
低いランニングコストで災対環境を実現
クラウドネイティブアプリケーションで更新された
データをプライベートクラウド側に連携、
IBM CloudのWatsonとの連携も可能
アプリケーションの複数バージョンを
素早く検証したい
次期インフラアーキテクチャーに
クラウドのエッセンスを取り込みたい
ITガバナンスを強化したい（コスト・テクノロジー他）
海外現地法⼈のIT資産をクラウド化
Version 1.Y
適材適所な
ハイブリッド
クラウド環境を
検討したい
Version 1.Z
Version 1.X
Version 2.W
・・・・・
IBM Cloud
(IaaS)
社内インフラリソースの調整をする事なく、
短時間且つ、短期間で提供
© 2019 IBM Corporation
セキュリティ・信頼性に実績のある
既存プライベート環境と、
スピード重視のクラウド環境の共存
⽇本のIT部⾨がIBM Cloudで契約⼀本化
6
IBM Power Virtual Server for IBM Cloud の活⽤例 -IBM i 編最新バージョンでテスト/検証をしたい
例) IBM i 7.1
災対環境を構築したい（万が⼀に備えたい）
基幹データの⼀部だけをクラウドアプリケーションで使いたい
プライベートクラウド側のデータを触るのは怖い
クラウドアプリ
ケーション
（Watson, etc.)
IBM i 7.4
IBM Cloud
(IaaS)
IBM Cloud
(IaaS)
@ダラス
@ワシントンD.C.
IBM Cloud
(IaaS)
既存のアプリケーションをパフォーマンス検証する前に、
最新バージョンで稼働確認するためのPoC環境の準備を短
時間で⼊⼿
低いランニングコストで災対環境を実現
クラウドネイティブアプリケーションで更新された
データをプライベートクラウド側に連携、
IBM CloudのWatsonとの連携も可能
他社製メインフレームで動く基幹系の
ロードマップがなく、移⾏したい
次期インフラアーキテクチャーに
クラウドのエッセンスを取り込みたい
ITガバナンスを強化したい（コスト・テクノロジー他）
海外現地法⼈のIT資産をクラウド化
2000 201x 202y . . . . .
適材適所な
ハイブリッド
クラウド環境を
検討したい
IBM Cloud
(IaaS)
クラウドなら短期間で投資も少なく、
IBM i へ移⾏/検証可能
© 2019 IBM Corporation
セキュリティ・信頼性に実績のある
既存プライベート環境と、
スピード重視のクラウド環境の共存
⽇本のIT部⾨がIBM Cloudで契約⼀本化
7
IBM Power Systems Virtual Server︓ネットワーク構成
• Power Systems Virtual ServersではPublic NetworkとPrivate Networkを利⽤することができます。
• Power Systems Virtual Serversは、IBM Cloud(x86)上のリソースとは独⽴に管理されています。
Internet
IBM Cloud
Customer Account
Public Network
IBM Cloud(x86)
Power Systems
IBM Cloud
Power Account
(IBM Managed)
External IP
Public Network
IBM Cloud(x86)
NAT
Bare Metal
Server
FW
Virtual
Server
Private Network
VRA
Private Network
Direct Link Connect
(必要に応じて利⽤者が別途
注⽂)
Private Network
Direct Link Dedicated
(IBM Managed)
Customer On-prem
https://cloud.ibm.com/docs/infrastructure/poweriaas?topic=power-iaas-about-power-virtual-server
© 2019 IBM Corporation
8
IBM Power Systems Virtual Server︓Public Network
• インスタンスのオーダー時に有効化/無効化を選択することができます。
• 外部公開⽤途ではなく、管理⽤途での利⽤のみが想定されています。
• 「External IP」という名前のGlobal IPアドレスが払い出され、インターネット側からインスタンスにアクセスする際に利⽤することが
できます。「External IP」はOSに直接割り当てられるのではなく、IBM Cloud(x86)上に割り当てられます。「External IP」へのアクセ
スは、VRAでNATされて、IBM Cloudが管理する専⽤線経由でPower VMにアクセスされます。
• VRAによりFWが構成されており、SSH、HTTPS、Ping、 IBM i 5250 terminal emulation with SSL (port 992)以外の通信はブロックされ
ています。
Internet
IBM Cloud
Public Network
Customer Account
IBM Cloud(x86)
Power Systems
Bare Metal Virtual
Server
Server
Private Network
Private Network
Direct Link Connect
(必要に応じて利⽤者
が別途注⽂)
External IP
IBM Cloud
Public Network
Power Account
(IBM Managed) IBM Cloud(x86)
NAT
FW
VRA
Private Network
Direct Link
Dedicated
(IBM Managed)
Customer On-prem
https://cloud.ibm.com/docs/infrastructure/poweriaas?topic=power-iaas-about-power-virtual-server
© 2019 IBM Corporation
9
IBM Power Systems Virtual Server︓Private Network
• デフォルトで1つのPrivate IPアドレスが割り当てられます。
• インスタンスにサブネットを割り当てた場合、各サブネットから1つのIPアドレスが⾃動で払い出されます。
IBM Cloud
Customer Account
Public Network
IBM Cloud(x86)
※構成上の注意
Power Systems
-
Bare Metal
Server
Virtual
Server
Private Network
Private Network
Direct Link Connect
(必要に応じて利⽤者が別途注
⽂)
Customer On-prem
-
Power Systemsは、IBM Cloud(x86)上のリソー
スとは独⽴に管理されています。
そのため、IBM Cloud(x86)上のリソースと接続す
る際であっても、Direct Link
Connect(MegaPort)をオーダーする必要がありま
す。
オンプレミス環境からPower System Virtual
ServersのPrivate Networkに直接アクセスすること
はできません。
接続するには⼀度IBM Cloud側のネットワークを経
由してDirect Link Connect経由でアクセスする必要
があります。
FW、LBなどのサービスはPower Systems Virtual
Serversのオファリングとしての提供は有りません。
パッチサーバーは⾃分で構築する必要があります。
https://cloud.ibm.com/docs/infrastructure/poweriaas?topic=power-iaas-about-power-virtual-server
© 2019 IBM Corporation
10
検証環境構成図
管理者
Power
Systems
Internet
us-south
Power VC
IBM Cloud
Object Storage
ダラス
IBM Cloud
IaaS
ダラス※
Power Systems
Virtual Server
オンプレ環境
Direct Link Connect
※ Power Systems Virtual ServerはIBM Cloudの
リージョンとは別のコロケーションに配置されている
© 2019 IBM Corporation
IBM Cloud
11
Power Systems Virtual Server
オーダー⼿順
Power Systems Virtual Serverのオーダー
• Power Systems Virtual Serverサービス
–
ロケーションごとにPower Systems Virtual Serverサービスのオーダーが必要
• オーダー⼿順
1.
2.
Power Systems Virtual Serverサービス作成
a. IBM Cloud のカタログから Power Systems Virtual Server を選択
b. VM を作成するロケーションを選択し、サービスを作成
Power Systems Virtual Server VM作成
a. リソースリストから上記で作成したサービスを選択
b. 仮想サーバー・インスタンス（VM）を作成
Ø
© 2019 IBM Corporation
VM 作成した時点で課⾦が発⽣します
Power Systems Virtual Serverサービス作成（1/2）
• IBM Cloud のカタログから Power Systems Virtual Server を選択
① カタログを選択
② コンピュートを選択
③ Power Systems Virtual Serverを選択
© 2019 IBM Corporation
14
Power Systems Virtual Serverサービス作成（2/2）
• Power Systems Virtual Server サービスを作成
① サービス名を変更（任意）
② ロケーションを選択
③ 作成をクリック
© 2019 IBM Corporation
15
Power Systems Virtual Server VM作成（1/3）
• Power Systems Virtual Server サービスを選択
① ナビゲーション・メニューを展開
② リソース・リストを選択
③ 作成済みのPower Systems Virtual Serverサービスを選択
© 2019 IBM Corporation
16
Power Systems Virtual Server VM作成（2/3）
• 仮想サーバー・インスタンス（VM）を作成
① 新規プロビジョンを選択
© 2019 IBM Corporation
17
Power Systems Virtual Server VM作成（3/3）
• 仮想サーバー・インスタンス（VM）を作成（続き）
リソースなどを指定してVMを作成
© 2019 IBM Corporation
18
Power Systems Virtual Server
VM作成⼿順
仮想サーバー・インスタンス（VM）の作成
• VMの作成
–
Power Systems Virtual Serverサービス画⾯から実⾏
• VM作成⼿順
1.
2.
3.
4.
5.
Virtual Server設定
プロファイル設定
ブート・ボリューム設定
接続されているボリューム設定
ネットワーク・インターフェース設定
© 2019 IBM Corporation
仮想サーバー・インスタンス（VM）作成
• Power Systems Virtual Serverサービス画⾯から実⾏
① 新規プロビジョンを選択
© 2019 IBM Corporation
21
Virtual Server設定
• Virtual Serverの名前・インスタンス数などを設定
① VM名を指定
② インスタンス数を指定※1
③ SSH鍵を指定※2 （任意）
④ VMを筐体固定にするか選択※3
※2 指定した鍵がVMの
/.ssh/authorized_keysに登録されます
© 2019 IBM Corporation
※1 1〜6まで指定可能
※3 オンにするとVMは特定のホスト上でのみ稼働します
ホスト停⽌時は別のホストにマイグレーションされません
22
（参考）コロケーション・ルール
• インスタンス数を 2以上とした場合、コロケーション・ルールを指定
• コロケーション・ルール
–
–
VMをどの筐体（ホスト）に作成（デプロイ）するかのルール
クラスターを構成する場合に物理的に別筐体にVMを作成したい場合に指定
① インスタンス数を 2以上に指定
② コロケーション・ルールを選択
※ 優先なしは任意の筐体にデプロイ
異なるサーバーはVMを別筐体にデプロイ
© 2019 IBM Corporation
③ 指定したVM名の接尾または接頭のどちらに
数字を⼊れるかを指定
23
プロファイル設定
• Virtual Serverのマシン・タイプ、CPU、メモリーなどを設定
① プロセッサー・タイプを選択
② マシン・タイプを選択※1
※1 e880またはs922から選択
③ CPUコア数を指定※2
※2 s922は最⼤15コア、e880は最⼤143コア
④ メモリー・サイズを指定※3
※3 メモリー・サイズの選択範囲はCPUコア数によって変動
s922の最⼤値は960GB、e880の最⼤値は9152GB
© 2019 IBM Corporation
24
ブート・ボリューム設定
• Virtual Serverのブート・ボリュームを設定
① デプロイするVMのOSを選択
AIXの場合
AIX7.1 TL5 SP4または
AIX7.2 TL3 SP3から選択
IBM i の場合
IBM i V7.2 TR9
IBM i V7.3 TR6
IBM i V7.4 TR0から選択
カスタム・イメージの場合
ICOS※からイメージを取得
ova形式のイメージをインポート可能
※ICOS: IBM Cloud Object Storage
© 2019 IBM Corporation
25
（参考）カスタム・イメージ
• ユーザーがカスタマイズしたOSイメージをデプロイ可能
• ICOSからイメージを取得
–
–
ICOSのエンドポイントはセキュアなprivate endpointを指定可能
ICOS上に配置するイメージ・ファイルは圧縮形式も可
① カスタム・イメージ名を指定
③ ICOSのaccess_key_idを指定
※1 パスの指定は＜ICOSのエンドポイント＞/＜バケット名＞/＜ファイル名＞
※2 カスタム・イメージの取得のため、VM作成完了まで時間を要します
© 2019 IBM Corporation
② ICOS上のイメージ・ファイルへの
パスを指定※1
④ ICOSのsecret_access_keyを指定
⑤ 作成をクリック※2
26
接続されているボリューム設定
• Virtual Serverに接続するボリュームを設定
① 新規ボリュームか既存ボリュームかを選択
② 新規の場合は追加をクリック
③ ボリュームの名前・サイズ・タイプを選択※
④ ボリュームをVM間で共有するか選択
※ サイズは10GB〜2TBで10GB単位で指定
タイプはSSDまたは標準を選択
© 2019 IBM Corporation
27
ネットワーク・インターフェース設定
• Virtual Serverに定義するネットワーク・インターフェースを設定
① パブリック・ネットワークに接続するか選択
② プライベート・ネットワーク接続するか選択※
※ プライベート・ネットワークを定義済みの場合はリストから選択
新規に作成する場合は「追加」をクリック
© 2019 IBM Corporation
28
（参考）新規プライベート・ネットワーク作成
• プライベート・ネットワークは⾃由に定義可能
• デフォルトで定義されているものはないので必要なら作成する必要がある
① 任意のサブネット名を指定
② ネットワークアドレスと
サブネットを指定※1
③ ゲートウェイアドレスを指定※2
④ IPアドレスの範囲を指定※3
※1 CIDRフォーマットで指定（例︓127.0.0.0/256）
※2 ゲートウェイはXXX.XXX.XXX.1を指定
※3 XXX.XXX.XXX.1とXXX.XXX.XXX.255は範囲から外すこと
© 2019 IBM Corporation
⑤ 作成をクリック
29
VM作成実⾏
• VM作成を実⾏
–
–
発注要約で⾦額を確認
⽉額表⽰だが実際の課⾦は時間単位
① 使⽤条件に同意にチェック
② 作成をクリック
© 2019 IBM Corporation
30
VM作成確認（1/2）
• VM作成の完了を確認
–
VMが作成されると仮想サーバー・インスタンスのリストに表⽰される
① VM名をクリックして詳細を確認
© 2019 IBM Corporation
31
VM作成確認（2/2）
• VMの詳細を確認
① VMのリソース情報
② コンソールを開くことが可能
© 2019 IBM Corporation
32
（参考）コンソール・ログイン
• 外部からVMにネットワーク接続ができなくてもコンソールからログイン可能
① VMの詳細からコンソールを開くことが可能
② デフォルトのイメージの場合
パスワードなしのrootユーザでログイン可能
© 2019 IBM Corporation
33
Power Systems Virtual Server
VMリソース変更⼿順
VMのリソース変更
• VMのリソース変更
–
オンライン（VM稼働中）もしくはオフライン（VM停⽌中）で実⾏可能
• VMリソース変更⼿順
1.
2.
仮想サーバー・インスタンスのリストからVMを選択
VMの詳細画⾯からリソースを編集
Ø
© 2019 IBM Corporation
VMのリリースをオンラインで変更するには⾃⾝の名前解決が必要です
35
VMのリソース変更（CPU・メモリー） （1/2）
• VMの詳細画⾯からリソースを変更
① 編集ボタンをクリック
② CPU・メモリーを変更※
※ オンラインでの変更可能範囲は設定値の 2倍まで
© 2019 IBM Corporation
36
VMのリソース変更（CPU・メモリー） （2/2）
• ⾦額変更を確認しオーダー
変更反映中はRSIZEと表⽰
① サービス条件に同意にチェック
② オーダーをクリック
© 2019 IBM Corporation
37
VMのリソース変更（ディスク追加） （1/2）
• VMの詳細画⾯からディスクを追加
① 新規追加をクリック
② 名前・タイプ・サイズ
を指定し次へをクリック
© 2019 IBM Corporation
38
VMのリソース変更（ディスク追加） （2/2）
• ⾦額変更を確認しオーダー
ディスクが追加される
① サービス条件に同意にチェック
② オーダーをクリック
© 2019 IBM Corporation
39
VMのリソース変更（ディスク削除） （1/2）
• VMの詳細画⾯からディスクを削除
① 既存のボリュームの管理をクリック
② 削除するディスクのチェックを外す
③ 完了をクリック
© 2019 IBM Corporation
40
VMのリソース変更（ディスク削除） （2/2）
• ディスクの削除確認
ディスクが削除される※
※ ディスクはVM削除されても実体は削除されません
既存のボリュームの管理から再度追加することが可能です
© 2019 IBM Corporation
41
カスタムイメージを使⽤した
VMデプロイ
カスタムイメージを使⽤したVMデプロイ
• VMデプロイに使⽤できるカスタムイメージ
–
–
–
ova形式のイメージファイル（gzipで圧縮可能）
カスタムイメージはICOS上に配置する必要がある
ICOSへのアクセスはプライベートまたはパブリック・エンドポイントが使⽤可能
• カスタムイメージを使⽤したVMデプロイ⼿順
1.
PowerVCに登録されているイメージをova形式でエクスポート
Ø
2.
3.
4.
/var/opt/ibm/powervc/ovaにイメージファイルのサイズ以上の空き容量が必要
ova形式のイメージファイルをICOSにアップロード
ICOS上のイメージファイルをPower Systems Virtual Serverサービスにインポート
インポートしたイメージを使⽤してVMをデプロイ
© 2019 IBM Corporation
43
カスタムイメージを使⽤したVMデプロイの概要
2. COSに
アップロード
3. Power VSサービス
にインポート※1
Internet
カスタム
イメージ
管理者
カスタム
イメージ
Power
Systems
Power VC
us-south
IBM Cloud
Object Storage
4. VMをデプロイ
ダラス
IBM Cloud
IaaS
ダラス
Power Systems
Virtual Server
カスタム
イメージ
オンプレ環境
1. OVA形式で
エクスポート
※1 パブリック・エンドポイントを指定した場合
※2 プライベート・エンドポイントを指定した場合
カスタム・イメージのインポートではDirect Linkのオーダーは不要
© 2019 IBM Corporation
3. Power VSサービス
にインポート※2
Direct Link Connect
IBM Cloud
44
PowerVCに登録されているイメージのエクスポート
• PowerVC上のイメージをova形式でエクスポート
–
PowerVC上でイメージを確認
–
PowerVC上のコマンドラインからイメージをエクスポート
# powervc-image export --image AIX72TL03SP02_secure
–
エクスポートしたイメージを確認
# ls -l /var/opt/ibm/powervc/ova
total 29360056
-r--r----- 1 root root 21474846720 Jul 15 02:36 AIX72TL03SP02_secure.ova
© 2019 IBM Corporation
45
イメージファイルをICOSにアップロード
• ova形式のイメージファイルをICOSにアップロード
–
AWS CLIでイメージファイルをアップロード
•
•
ここで「icos-psvs-01」はICOS上のアップロード先バケット名
endpoint-urlはICOSのエンドポイント※
# /opt/freeware/bin/aws --endpoint-url http://s3.us-south.cloud-object-storage.appdomain.cloud s3 ¥
> cp AIX72TL03SP02_secure.ova s3://icos-psvs-01
–
アップロードしたイメージを確認
# /opt/freeware/bin/aws --endpoint-url http://s3.us-south.cloud-object-storage.appdomain.cloud s3 ¥
> ls s3://icos-psvs-01
2019-07-23 23:12:37 21474846720 AIX72TL03SP02_secure.ova
※ Cloud Object Storage︓エンドポイントおよびストレージ・ロケーション
https://cloud.ibm.com/docs/services/cloud-object-storage?topic=cloud-object-storage-endpoints
© 2019 IBM Corporation
46
（参考）AWS CLIのインストールと構成
• AIXにAWS CLIをインストール
–
yum / pipコマンドによりインストール
# yum install python-pip
# pip install awscli
–
AWS CLIの導⼊確認
# /opt/freeware/bin/aws --version
aws-cli/1.16.225 Python/2.7.15 AIX/2 botocore/1.12.215
• AWS CLIの構成※1
# /opt/freeware/bin/aws configure
AWS Access Key ID [None]: <ICOSのaccess_key_id>
AWS Secret Access Key [None]: <ICOSのsecret_access_key>
Default region name [None]: <ICOSのプロビジョニング・コード※2>
Default output format [None]: json
※1 Cloud Object Storage︓AWS CLI の使⽤
https://cloud.ibm.com/docs/services/cloud-object-storage/cli?topic=cloud-object-storage-aws-cli
※2 Cloud Object Storage︓異なるストレージ・クラスを使⽤するバケットの作成⽅法
https://cloud.ibm.com/docs/services/cloud-object-storage?topic=cloud-object-storage-classes&locale=ja#classes-locationconstraint
© 2019 IBM Corporation
47
カスタムイメージのインポート
• ICOS上のカスタムイメージをインポート
–
Power Systems Virtual Serverサービス画⾯から実⾏※1
① インポートをクリック
※1 カスタムイメージのインポートはVM作成時の「カスタムイメージ」の選択
からも実⾏可能
※2 ターゲット・イメージ名はPower VSへの登録名
ソース・イメージ・パスは “エンドポイント/バケット名/オブジェクト名”
Cloud Object Storageアクセス・キーはICOSのaccess_key_id
Cloud Object Storage秘密鍵はICOSのsecret_access_key
© 2019 IBM Corporation
② 必要項⽬※2を⼊⼒して
インポートをクリック
48
（参考）ICOSのaccess_key_idとsecret_access_key （1/2）
• ICOS上でサービス資格情報を作成
① サービス資格情報を選択
② 新規資格情報をクリック
※ 名前は任意の名前を⼊⼒
役割はWriterを選択
サービスIDの選択（オプション）は⾃動⽣成を選択
© 2019 IBM Corporation
③ HMAC資格情報を含めるに
チェックを⼊れて追加をクリック※
49
（参考）ICOSのaccess_key_idとsecret_access_key （2/2）
• ICOS上でサービス資格情報を確認
–
作成されたサービス資格情報を表⽰
① 資格情報を表⽰をクリック
② access_key_idとsecret_access_keyを確認
© 2019 IBM Corporation
50
カスタムイメージを使⽤してVMデプロイ
• インポートしたカスタムイメージを使⽤してVMをデプロイ
–
Power Systems Virtual Serverサービス画⾯から実⾏
① 新規プロビジョンをクリック
② インポート済みのカスタムイメージは
OSごとの選択肢から選択可能
© 2019 IBM Corporation
51
パブリック・ネットワーク経由での
VMへのアクセス
パブリック・ネットワーク経由でのVMへのアクセス
• パブリック・ネットワーク経由でVMにアクセス
–
–
–
VMへのログインはsshでは可能だがtelnetでは不可
ログイン先はVMに設定されたIPアドレスではなく、VM作成時にアサインされた外部IP
デフォルトのAIXイメージはrootパスワード設定がないなどパブリック・アクセス時には注意が
必要
• パブリック・ネットワーク経由でのVMへのアクセス⼿順
1.
2.
パブリック・ネットワークへの接続をONにしてVMを作成
作成されたVMの外部IPにアクセス
© 2019 IBM Corporation
53
パブリック・ネットワーク経由でのVMへのアクセスの概要
Internet
2. VMの外部IPにアクセス
外部IP
管理者
Power
Systems
us-south
Power VC
IBM Cloud
Object Storage
ダラス
IBM Cloud
IaaS
ダラス
1. VMをデプロイ
Power Systems
Virtual Server
オンプレ環境
Direct Link Connect
IBM Cloud
© 2019 IBM Corporation
54
パブリック・ネットワークをONにしてVM作成
• パブリック・ネットワークをONにしてVMをデプロイ
–
Power Systems Virtual Serverサービス画⾯から実⾏
① 新規プロビジョンをクリック
② パブリック・ネットワークをON
© 2019 IBM Corporation
55
VMの外部IPにアクセス
• 作成されたVMにアサインされた外部IPにアクセス
① 外部IPを確認
© 2019 IBM Corporation
$ ssh -l root 52.117.58.44
② 外部IPにsshでアクセス
*******************************************************************************
*
*
*
*
* Welcome to AIX Version 7.2!
*
*
*
*
*
* Please see the README file in /usr/lpp/bos for information pertinent to
*
* this release of the AIX Operating System.
*
*
*
*
*
*******************************************************************************
#
設定されているIPは外部IPではない
# netstat -in
Name
Mtu
Network
Address
Ipkts
Ierrs
Opkts
en0
1500 link#2
fa.71.6.fb.46.20
129
0
124
en0
1500 192.168.129 192.168.129.172
129
0
124
en1
1500 link#3
4e.88.39.b8.54.31
88
0
134
en1
1500 0
0.0.0.0
88
0
134
en1
1500 fe80::4c88:39ff:feb8:5431
88
0
134
〜以下略
56
（参考）デフォルト・AIXイメージのセキュア化（1/5）
• デフォルト・AIXイメージのセキュリティ設定
–
パブリック・アクセスに備えて以下のようにセキュリティ設定を強化する
• ログイン・ユーザー追加
Ø rootログイン禁⽌のために⼀般ユーザーを作成
• sudo導⼊・構成
Ø rootへのスイッチ禁⽌・ロギングのためにsudoを構成
• sshデーモン設定
Ø rootログイン禁⽌・パスワード認証禁⽌・公開鍵認証設定を設定
• SecurityExpert構成※
Ø 不要なサービスの停⽌などセキュリティを⼀括設定
※ AIXだからできるセキュリティ・ソリューション-AIXSecurityExpert編https://ibm.biz/Bd27Ls
© 2019 IBM Corporation
57
（参考）デフォルト・AIXイメージのセキュア化（2/5）
• ログイン・ユーザー追加
–
ユーザー追加後、公開鍵認証のためにユーザーに公開鍵を登録
• ここでid_rsa.pubが事前に作成済みのログイン・ユーザーの公開鍵
# mkuser user01
# su - user01
$ cat /tmp/id_rsa.pub > .ssh/authorized_keys
–
8⽂字以上のパスワードを設定可能に修正
# chsec -f /etc/security/login.cfg -s usw -a pwd_algorithm=ssha512
© 2019 IBM Corporation
58
（参考）デフォルト・AIXイメージのセキュア化（3/5）
• sudo導⼊・構成
–
yumによりsudoインストール
# yum install sudo.ppc
–
sudo設定
# vi /etc/sudoers
# cat /etc/sudoers
〜中略〜
user01 ALL=(root) ALL
© 2019 IBM Corporation
ログイン・ユーザーに対する設定を追加
59
（参考）デフォルト・AIXイメージのセキュア化（4/5）
• sshデーモン設定
–
sshd_configにrootログイン禁⽌・パスワード認証禁⽌・公開鍵認証許可を設定
# vi /etc/ssh/sshd_config
# cat /etc/ssh/sshd_config | grep -v ^# | grep -v '^\s*$'
PermitRootLogin no
PubkeyAuthentication yes
RSAAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
Subsystem sftp /usr/sbin/sftp-server
PasswordAuthentication no
–
設定反映のためにsshデーモン再起動
# stopsrc -s sshd
# startsrc -s sshd
© 2019 IBM Corporation
60
（参考）デフォルト・AIXイメージのセキュア化（5/5）
• SecurityExpert構成
–
ベースライン・ポリシー作成
# mkdir /etc/security/aixpert/plugin/
# aixpert -l h -n -o /etc/security/aixpert/plugin/myHLS.xml
–
セキュリティ・ポリシー修正
•
•
hls_tcpupdate, hls_loginherald, hls_xhost, hls_ISSServerSensorFull, hls_ISSServerSensorLiteを削除
minlen=16に修正
# vi /etc/security/aixpert/plugin/myHLS.xml
–
セキュリティ・ポリシー適⽤
# aixpert -f /etc/security/aixpert/plugin/myHLS.xml -p
© 2019 IBM Corporation
61
VMイメージのキャプチャーと
エクスポート
VMイメージのキャプチャーとエクスポート
• VMイメージのキャプチャーとエクスポート
–
–
–
VMイメージをPower Systems Virtual Serverサービス内にキャプチャー可能
VMイメージはICOS上にエクスポートすることも可能
キャプチャー／エクスポートしたイメージはカスタムイメージのデプロイと同様の⼿順で
デプロイ可能
• VMイメージのキャプチャー／エクスポート⼿順
1.
VMイメージをキャプチャー／エクスポート
Ø
Ø
© 2019 IBM Corporation
キャプチャーしたイメージは後でエクスポートすることが可能
キャプチャーとエクスポートは同時に実⾏することも可能
63
VMイメージのキャプチャーとエクスポートの概要
2. Power VSサービス
にエクスポート※1
Internet
管理者
Power
Systems
1. VMイメージを
キャプチャ
カスタム
イメージ
カスタム
イメージ
Power VC
オンプレ環境
us-south
IBM Cloud
Object Storage
ダラス
IBM Cloud
IaaS
ダラス
Power Systems
Virtual Server
2. Power VSサービス
にエクスポート※2
Direct Link Connect
※1 パブリック・エンドポイントを指定した場合
※2 プライベート・エンドポイントを指定した場合
VMイメージのエクスポートではDirect Linkのオーダーは不要
© 2019 IBM Corporation
IBM Cloud
64
VMイメージをキャプチャー／エクスポート（1/2）
• VMイメージをキャプチャー
–
–
Power Systems Virtual Serverサービス画⾯から実⾏
VMは停⽌した状態で実施
① 取り込みとエクスポートをクリック
© 2019 IBM Corporation
65
VMイメージをキャプチャー／エクスポート（2/2）
• VMイメージをキャプチャー
–
–
「イメージ・カタログへ」を選択するとブート・イメージのリストに追加される※1
「クラウド・ストレージ」を選択するとICOSにエクスポートされる
① キャプチャー／エクスポートする
ディスクを選択※2
※1 「イメージ・カタログへ」は選択しなくてもよい
※2 外部ディスクをキャプチャーする場合は選択
② ICOSへエクスポートする場合は選択
③ ICOSへエクスポートする場合は追加で情報を
記⼊して取り込みをエクスポートをクリック
© 2019 IBM Corporation
66
alt_disk_mksysbによるVMへの
mksysbリストア
alt_disk_mksysbによるVMへのmksysbリストア
• alt_disk_mksysbによるVMへのmksysbリストア
–
–
オンプレ環境のmksysbをPower Systems Virtual Serverにリストアする⽅法の⼀つ
alt_disk_mksysbによるリストア⽤のディスクを追加する必要がある
• alt_disk_mksysbによるVMへのmksysbリストア⼿順
1.
2.
mksysbリストア⽤の追加ディスクをアサインしたVMを作成
オンプレ環境のmksysbをVMに転送
Ø
3.
mksysbの転送⼿段は以下の例など何種類か考えられる
a. オンプレ環境→ICOS→VM
b. オンプレ環境→VM（パブリック・ネットワーク経由）
c. オンプレ環境→VM（Direct Link／プライベート・ネットワーク経由）
alt_disk_mksysbによるmksysbリストア
© 2019 IBM Corporation
68
alt_disk_mksysbによるVMへのmksysbリストアの概要
2. mksysbを
VMに転送
管理者
Internet
2. mksysbを
VMに転送
（COS経由）
2. mksysbを
VMに転送
（COS経由）
mksysb
mksysb
Power
Systems
us-south
IBM Cloud
Object Storage
Power VC
3. alt_disk_mksysbで
mksysbをリストア
ダラス
IBM Cloud
IaaS
mksysb
ダラス
Power Systems
Virtual Server
2. mksysbを
VMに転送
（CO経由）※1
オンプレ環境
Direct Link
※1 オンプレ環境とIBM Cloud（ダラス）をDirect Linkで
接続している場合
※2 プライベート・ネットワーク経由の場合、Direct Linkが必要
© 2019 IBM Corporation
2. mksysbを
VMに転送
（CO経由）※2
Direct Link Connect
1. mksysbリストア⽤の
ディスクを持つVMを
デプロイ
IBM Cloud
69
mksysbリストア⽤ディスクを持つVM作成（1/3）
• mksysbリストア⽤ディスクを追加したVMをデプロイ
–
Power Systems Virtual Serverサービス画⾯から実⾏
① 新規プロビジョンをクリック
② 追加をクリック
© 2019 IBM Corporation
70
mksysbリストア⽤ディスクを持つVM作成（2/3）
• mksysbリストア⽤ディスクを追加したVMをデプロイ
–
mksysbリストア⽤ディスクを作成
① mksysbをリストア
可能なサイズを選択
② SSDを選択※
③ 作成をクリック
© 2019 IBM Corporation
71
mksysbリストア⽤ディスクを持つVM作成（3/3）
• mksysbリストア⽤ディスクを追加したVMをデプロイ
–
mksysbリストア⽤ディスクをブート可能に変更
② はいをクリック
① ブート可能に変更
追加ディスクがブート可能に変更された
© 2019 IBM Corporation
72
オンプレ環境のmksysbをVMに転送
• オンプレ環境のmksysbをVMに転送
–
オンプレ環境からVMに直接転送
$ scp <mksysbファイル> <ユーザー名>@<VMのIPアドレス:転送先ディレクトリ>
–
VMの環境確認
# ls -l /work/*mksysb*
-rw------1 root
system 4884940800 Aug 22 23:41 720302mksysb.sysb
# lspv
hdisk0
00f6db0a6c7aece5
rootvg
active
hdisk1
none
mksysbリストア⽤追加ディスク
© 2019 IBM Corporation
73
alt_disk_mksysbによるmksysbリストア（1/2）
• alt_disk_mksysbによるVMへのmksysbリストア
–
リストア⽤ディスク（hdisk1）にmksysbをリストア
# alt_disk_mksysb -c /dev/vty0 -d hdisk1 -m /work/720302mksysb.sysb
–
リストア確認
# lspv
hdisk0
00f6db0a6c7aece5
hdisk1
00c38480bcd074b5
# bootlist -m normal -o
hdisk1 blv=hd5 pathid=0
hdisk1 blv=hd5 pathid=1
hdisk1 blv=hd5 pathid=2
hdisk1 blv=hd5 pathid=3
hdisk1 blv=hd5 pathid=4
rootvg
altinst_rootvg
active
代替ディスクに変更された
ブートリストがhdisk1に変更された
© 2019 IBM Corporation
74
alt_disk_mksysbによるmksysbリストア（2/2）
• alt_disk_mksysbによるVMへのmksysbリストア
–
リストア先の代替ディスクに切り替え
# shutdown -Fr
–
再起動で代替ディスクに切り替えを実⾏
切り替え後の確認
# lspv
hdisk0
00f6db0a6c7aece5
hdisk1
00c38480bcd074b5
# oslevel -s
7200-03-02-1846
© 2019 IBM Corporation
old_rootvg
rootvg
active
hdisk1がrootvgに変更された
75
NIMによるVMへのmksysbリストア
NIMによるVMへのmksysbリストア
• NIMによるVMへのmksysbリストア
–
–
–
オンプレ環境のmksysbをPower Systems Virtual Serverにリストアする⽅法の⼀つ
Power Systems Virtual ServerのVMのバックアップ／リストアが可能となる
NIMサーバーを追加で構築する必要がある
• NIMによるVMへのmksysbリストア⼿順
1.
2.
3.
NIMサーバーを構築
VMのmksysbをNIMに取得
NIMからmksysbをVMにリストア
© 2019 IBM Corporation
77
NIMによるVMへのmksysbリストアの概要
Internet
2. mksysbを取得
管理者
us-south
IBM Cloud
Object Storage
1. NIMサーバを構築
ダラス
IBM Cloud
IaaS
mksysb
ダラス
Power Systems
Virtual Server
（NIM）
Power Systems
Virtual Server
3. mksysbをリストア
Direct Link Connect
IBM Cloud
© 2019 IBM Corporation
78
NIMサーバーを構築（1/2）
• VMをデプロイしてNIMサーバーを構築
–
NIM⽤の追加ディスクを持つ以下のようなVMをデプロイ
© 2019 IBM Corporation
79
NIMサーバーを構築（2/2）
• VMをNIMマスターとして構成
–
NIMマスター⽤のファイルセットをVMに転送
# ls -l
total 60704
-rw-r--r-1 root
-rw-r--r-1 root
-rw-r--r-1 root
1 root
– -rw-r--r-VMの環境確認
–
system
system
system
system
21768192
2348032
2367488
283648
Sep
Sep
Sep
Sep
10
10
10
10
20:40
20:40
20:40
20:40
bos.sysmgt.7.2.0.0.I
bos.sysmgt.nim.master.7.2.3.0.U
bos.sysmgt.nim.master.7.2.3.16.U
bos.sysmgt.nim.spot.7.2.3.0.U
NIMマスター⽤のファイルセットを導⼊
# installp -acXYg -d . bos.sysmgt.nim.master bos.sysmgt.nim.spot
–
NIMマスターとしてVMを設定
•
© 2019 IBM Corporation
※ AIX技術情報 - ネットワーク・インストール・マネージャー（NIM） を参照
80
VMのmksysbをNIMに取得（1/3）
• VMのmksysbをNIMに取得
–
VMをNIMクライアントとして登録
•
•
NIMクライアントから以下を実⾏
ホスト名の名前解決ができていることが前提
# smit niminit
Configure Network Installation Management Client Fileset
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
* Machine Name
* Primary Network Install Interface
* Host Name of Network Install Master
Hardware Platform Type
Kernel to use for Network Boot
Communication Protocol used by client
Ethernet Interface Options
© 2019 IBM Corporation
[Entry Fields]
[test-client-01]
[en0]
[test-master]
chrp
[64]
[shell]
NIMクライアント名
+
プライベート・ネットワークの
インターフェース
NIMマスター名
+
+
81
VMのmksysbをNIMに取得（2/3）
• VMのmksysbをNIMに取得（続き）
–
VMのmksysbを取得
•
NIMサーバーから以下のように実⾏してmksysbを取得
# smit nim_mkres
Define a Resource
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[TOP]
* Resource Name
* Resource Type
* Server of Resource
* Location of Resource
〜中略〜
System Backup Image Creation Options:
CREATE system backup image?
NIM CLIENT to backup
PREVIEW only?
IGNORE space requirements?
EXPAND /tmp if needed?
© 2019 IBM Corporation
[Entry Fields]
[test_mksysb]
mksysb
[master]
[/export/nim/mksysb/test_mksysb]
yes
[test-client-01]
no
yes
yes
+
/
+
+
+
+
+
82
VMのmksysbをNIMに取得（3/3）
• VMのmksysbをNIMに取得（続き）
–
取得したmksysbからSPOTを作成
•
SPOTの作成⼿順は省略
# lsnim
master
boot
nim_script
private_network_v4
private_network_v6
test-client-01
test_mksysb
test_mksysb_spot
machines
resources
resources
networks
networks
machines
resources
resources
master
boot
nim_script
ent
NIMクライアント
ent6
standalone
mksysb
mksysb
spot
SPOT
© 2019 IBM Corporation
83
NIMからmksysbをVMにリストア（1/4）
• NIMからmksysbをVMにリストア
–
NIMサーバーにてVMにリストアの設定実施
•
リストア設定の⼿順は省略
# lsnim -l test-client-01
test-client-01:
class
= machines
type
= standalone
connect
= shell
platform
= chrp
netboot_kernel = 64
if1
= private_network_v4 test-client-01 0
cable_type1
= N/A
Cstate
= BOS installation has been enabled
prev_state
= ready for a NIM operation
Mstate
= currently running
boot
= boot
mksysb
mksysb
= test_mksysb
nim_script
= nim_script
spot
= test_mksysb_spot
SPOT
cpuid
= 00C384704B00
control
= master
© 2019 IBM Corporation
84
NIMからmksysbをVMにリストア（2/4）
• NIMからmksysbをVMにリストア（続き）
–
NIMクライアント（VM）を再起動してSMSメニューを表⽰
•
•
© 2019 IBM Corporation
Power Systems Virtual Serverサービス画⾯からVMのコンソールを起動
OS再起動を実施してSMSに⼊る
85
NIMからmksysbをVMにリストア（3/4）
• NIMからmksysbをVMにリストア（続き）
–
NIMクライアント（VM）を再起動してSMSメニューを表⽰
•
© 2019 IBM Corporation
VMのコンソール画⾯にてNIMクライアント・NIMサーバーを定義
86
NIMからmksysbをVMにリストア（4/4）
• NIMからmksysbをVMにリストア（続き）
–
NIMクライアント（VM）を再起動してSMSメニューを表⽰
•
© 2019 IBM Corporation
VMのコンソール画⾯にてネットワーク・ブートを実⾏し、mksysbをリストア
87
Direct LinkによるIBM Cloudとの接続
Direct LinkによるIBM Cloudとの接続
• IBM Cloudとの接続
–
–
Power Systems Virtual Server環境はIBM Cloud IaaS環境とは別のコロケーション
IBM Cloud IaaSとのプライベート・ネットワークでの接続にはDirect Linkが必要
• Direct LinkによるIBM Cloudとの接続⼿順
1.
2.
3.
4.
Direct Linkのオーダー
Direct LinkのCase
Power Systems Virtual Serverとの接続のためにCase起票
IBM Cloudとの接続確認
© 2019 IBM Corporation
89
Direct LinkによるIBM Cloudとの接続の概要
Internet
us-south
Power
Systems
Power VC
IBM Cloud
Object Storage
ダラス
IBM Cloud
IaaS
ダラス
Power Systems
Virtual Server
4. 疎通確認
オンプレ環境
2. CaseにてIBM
Cloudと接続
Direct Link Connect
1. Direct Linkを
オーダー
© 2019 IBM Corporation
3. Power VSのCaseにて
Direct Linkと接続
IBM Cloud
90
Direct Linkのオーダー（1/3）
• Direct Linkをオーダー
–
–
ここではDirect Link Connectをオーダー
Direct Linkのオーダーは最新の⼿順※で実施すること
② Direct Link Connectをクリック
① ネットワーキングを選択
※ Direct Link Connect for Power Systems Virtual Servers
https://cloud.ibm.com/docs/infrastructure/power-iaas?topic=power-iaas-ordering-direct-link-connect
© 2019 IBM Corporation
91
Direct Linkのオーダー（2/3）
• Direct Linkをオーダー（続き）
② Order Direct Link Connectをクリック
① 作成をクリック
© 2019 IBM Corporation
92
Direct Linkのオーダー（3/3）
• Direct Linkをオーダー（続き）
① 任意の名前を⼊⼒
② Power Systems Virtual Serverに
対応するロケーションを選択
③ MEGAPORTを選択
④ 要件に応じて選択
⑤ 要件に応じて選択
⑦ サービス同意にチェック
⑧ Createをクリック
⑥ 64999を選択※
※ ロケーションに応じてCaseにてBGP ASNを修正
© 2019 IBM Corporation
93
Direct LinkのCase（1/3）
• Direct LinkのCaseをオープン
–
Direct Linkをオーダーすると⾃動的にCaseがオープンされる
① Direct Linkオーダー後に表⽰される
Case番号をクリック
② 対応するCaseが表⽰される
© 2019 IBM Corporation
94
Direct LinkのCase（2/3）
• Direct LinkのCaseをオープン（続き）
–
必要に応じてBGP ASNの番号修正を依頼
① BGP ASN番号の修正を依頼
© 2019 IBM Corporation
95
Direct LinkのCase（3/3）
• Direct LinkのCaseをオープン（続き）
–
–
Case内でDirect Linkのオーダー内容をWord⽂書のフォームに⼊⼒するように依頼されるので
フォームに回答する
Case内で申請者のアカウントにVRF（Virtual Routing and Forwarding）が作成される
•
–
すでにVRFが作成済みの場合は省略される
Direct Linkの作成が完了するとIBM Cloud側のIPアドレスとPower Systems Virtual Server側のIP
アドレスが提供される
•
© 2019 IBM Corporation
Power Systems Virtual Server側のIPアドレスは “Remote Peer IP Address” として提⽰される
96
Power VSとの接続のためにCase起票（1/2）
• Power Systems Virtual Serverとの接続のためにCase起票
–
Power Systems Virtual ServerのCaseを起票
① Technicalを選択
② Bare Metalを選択
③ Power Systems Virtual Serverと記⼊
© 2019 IBM Corporation
97
Power VSとの接続のためにCase起票（2/2）
• Power Systems Virtual Serverとの接続のためにCase起票
–
Direct LinkのCaseで提供された情報を⼊⼒
•
–
以下のような情報が提供されているのでCaseでPower VS側に連携
Direct Linkのセットアップが完了したとCaseのアップデートがあれば完了
© 2019 IBM Corporation
98
IBM Cloudとの接続確認（1/2）
• IBM Cloudとの接続確認
–
Direct Linkのセットアップが完了していればIBM Cloudに接続可能
•
•
–
Direct LinkのオーダーにてLocal Routingを選択した場合は同⼀ロケーションのIBM Cloudにのみ接続可能
Power VS側のプライベート・ネットワークは任意のネットワークでIBM Cloudと通信可能
必要に応じてスタティック・ルーティングを設定
Power VS側のルーティング例
$ netstat -rn
Routing tables
Destination
Gateway
Flags
Refs
Use If
Exp
Groups
IBM Cloud（10.0.0.0/8）のゲートウェイを
Route tree for Protocol Family 2 (Internet):
プライベート・ネットワークのゲートウェイ（192.168.0.1）に設定
default
10/8
〜以下略
192.168.129.169
192.168.0.1
UG
UGS
4
0
659262 en0
270 en1
-
-
IBM Cloud IaaS側のルーティング例
$ ip route
default via 10.XXX.12.129 dev eth0
〜以下略
© 2019 IBM Corporation
デフォルト・ゲートウェイをプライベート・ネットワークの
ゲートウェイ（10.XXX.12.129）に設定
99
IBM Cloudとの接続確認（2/2）
• IBM Cloudとの接続確認（続き）
–
IBM Cloudとの疎通確認
•
IBM Cloud IaaSのサーバとPower Systems Virtual ServerのVM間で疎通確認
Power VS側からの疎通確認
IBM Cloud IaaSのサーバ（10.XXX.12.130）に疎通確認
$ ping 10.XXX.12.130
PING 10.XXX.12.130 (10.XXX.12.130): 56 data bytes
64 bytes from 10.XXX.12.130: icmp_seq=0 ttl=57 time=3 ms
64 bytes from 10.XXX.12.130: icmp_seq=1 ttl=57 time=3 ms
IBM Cloud IaaS側からの疎通確認
Power VSのVM（192.168.0.13）に疎通確認
$ ping 192.168.0.13
PING 192.168.0.13 (192.168.0.13) 56(84) bytes of data.
64 bytes from 192.168.0.13: icmp_seq=1 ttl=248 time=4.02 ms
64 bytes from 192.168.0.13: icmp_seq=2 ttl=248 time=5.02 ms
© 2019 IBM Corporation
100
参考資料
参考資料
• IBM Power Systems Virtual Servers - Getting started tutorial
–
https://cloud.ibm.com/docs/infrastructure/power-iaas?topic=power-iaas-getting-started
© 2019 IBM Corporation
102
© 2019 IBM Corporation