みなさん、こんにちは。
SB C&Sで仮想化製品のプリセールスエンジニアを担当している、稲葉です。
本記事ではCarbon Black Cloud Sensor Gatewayアプライアンス(以降Sensor Gateway)を構築した際に、遭遇したトラブルとその解消方法の一部をご紹介いたします。
Sensor Gatewayとは何か、Sensor Gatewayアプライアンスの構築手順を確認されたい場合は以下の記事ご覧ください。
本記事における前提条件
- 本記事は「Sensor Gateway Ver.1.2.0.0-22635557」を使用した結果となります。
- 本記事は筆者が対応した実績の紹介であり、必ず問題が解消されることはお約束するものではありません。
- 本サイトにて質問および回答は受け付けておりません。
- 内容は予告なく変更されることがあります。
1.Sensor Gatewayを展開後「NOT READY for use」と表示される。
Sensor Gatewayが正常にデプロイされ、Carobn Black Cloudサービスとの連携の結果につきましては仮想マシンのコンソール画面やCarbon Black Cloudコンソールから確認することができます。
Sensor Gatewayにコンソール接続し「READY for use」と表示されれば、Carobn Black Cloudコンソールの「センサーゲートウェイ一覧」にも表示され、連携成功となります。
一方、Sensor Gatewayをデプロイしたが、Carbon Black Cloudコンソールのセンサーゲートウェイ一覧に表示されない場合は、Sensor Gatewayのコンソール画面をまず確認してください。
接続が失敗している場合は「NOT READY for use」と表示されます。
「NOT READY for use」の状態になった場合は、画面上に表示される「Errors」の内容から、トラブルシューティングを行います。
「エラー内容:Invalid URL https://defense-prodnrt.conferdeploy.net/」の例 |
こちらのエラーはSensor GatewayとCarbon Black Cloudコンソールへの接続が失敗した場合に発生するエラーとなります。
筆者のケースでは、ネットワーク経路に関しては問題はなかったのですが、以下の2点が起因してエラーが発生していました。
1)Sensor GatewayのOVAデプロイ時に入力するCarbon Black CloudコンソールのURLミス
Sensor Gatewayはデプロイ時にインターネット上のCarbon Black Cloud環境のURLを設定します。
デプロイ完了後、OSを起動すると自動的に入力したCarbon Black CloudコンソールのURLに対して接続&認証が行われます。
その為、Carbon Black CloudコンソールURLに誤りがあると、本エラーが表示されます。
本エラーが発生した場合、まず表示されたURLをブラウザに転記し、Carbon Black Cloudコンソールのログイン画面が表示されるかどうかで、URLの綴りミスを確認することができます。
また筆者がつまずいたポイントとしては、URL最後に「/」が付与されているとネットワーク経路に問題がなくてもこの問題が発生してしまうことを確認しています。
その為、Invalid URLの最後に「/」が付与されていた場合は、再度Sensor GatewayのOVAのデプロイを行い、「パラメータ項目:CBC URL」を修正した上で問題が解消されるか確認してみてください。
2)URLとPortのブロックされている
先にお伝えした通り、Sensor GatewayはCarbon Black Cloud環境のURLへ接続する必要がありますので、ファイアウォールや仲介するプロキシなどにより指定のURLへの接続がブロックされていた場合に、本エラーが表示されるケースがあります。
筆者が実施した際は、下記URLの通信を許可していないことで問題が発生し、通信を許可することで問題の解消に至りました。
リージョン:ProdNRT(日本)
URL:https://defense-prodnrt.conferdeploy.net
Port:443/TCP
<参考:Carbon Black Cloud のアクセス>
https://docs.vmware.com/jp/VMware-Carbon-Black-Cloud-Workload/1.2/carbonblack_workload/GUID-614620B8-CE83-4C78-9457-1C19CD699284.html
「エラー内容:Failed to start Sensor Gateway container」の例 |
このエラーが表示された場合は以下のURLがブロックされていることが原因として考えられます。
URL:projects.registry.vmware.com
Port:443/TCP
指定のURLはVMwareが提供しているコンテナ用のレジストリ(Harbor)となります。
Sensor Gatewayは初回起動時にHarborへ接続して、コンテナイメージを取得する処理が動いているため、Harborへの接続が失敗した場合、このようなエラーメッセージが表示されます。
当時このエラーに遭遇した際は、上記URLおよびPortを許可することで問題が解消できました。
<参考:アプライアンスとして Sensor Gateway をインストール>
https://docs.vmware.com/jp/VMware-Carbon-Black-Cloud-Workload/1.2/carbonblack_workload/GUID-08EED306-53E1-4469-96EE-B2F3C5417EF3.html
2.エンドポイントへのCBC Sensorインストールが失敗する。
Sensor Gatewayのコンソール上のステータスが「READY for Use」となりCarbon Black Cloudコンソール上の「センサーゲートウェイ」のステータスが「接続済み」の状態にもかかわらず、エンドポイントへのCBC Sensorのインストールが失敗するケースがありました。
その時の筆者の対応策を3点ご紹介いたします。
1)証明書のインストール先
Sensor GatewayはCBC SensorがインストールされたエンドポイントとCA証明書もしくは自己証明書を使用し、TLS通信を行います。
そのため、Sensor Gatewayの証明書をエンドポイントにインポートする必要がありますが、証明書のインポートをWindowsOSに実施した際、「ユーザー」や「サービス」を選択すると、証明書をインポートしても、Sensor Gatewayとの通信が失敗する事象を確認しています。
当時のトラブルシューティングでは、インポート先を「コンピュータ」に指定し、証明書をインポートすることでCBC SensortとSensor Gatewayが疎通できるようになりました。
<参考:Sensor Gateway 証明書>
https://docs.vmware.com/jp/VMware-Carbon-Black-Cloud-Workload/1.2/carbonblack_workload/GUID-2926D8AD-5526-4EE9-8E60-9D3131FFF120.html
2)会社コードのミス
エンドポイントに対してCBC Sensorをコマンドラインでインストールを行う場合、会社コードをコマンドラインパラメータに含める必要がありますが、含める会社コードはSensor Gatewayの有無で値が変わる点に注意が必要です。
Sensor Gatewayを使用しているにもかかわらず、「Carbon Black Cloudに直接接続」の会社コードを使用した場合、Carbon Black Cloudコンソールとの認証に失敗し、CBC Sensorのインストールも失敗するため、会社コードが適切に設定されているか確認することが重要です。
<参考:センサーをインストールするための環境の設定>
https://docs.vmware.com/jp/VMware-Carbon-Black-Cloud-Workload/1.2/carbonblack_workload/GUID-056A7EFF-96B0-42C8-8DED-0BC566128DB5.html#GUID-056A7EFF-96B0-42C8-8DED-0BC566128DB5
3)指定のURLとPortがブロックされている
証明書のインポートおよびCBC Sensorをインストールするコマンドラインにも問題がなく、Sensor Gatewayのステータスも接続状態だが、CBC Sensorが失敗する場合は、CBC Sensorがインストール時に接続が必要なURLとPortがブロックされていることが考えられます。
CBC Sensorインストール時はCBC Sensorのバイナリーをローカルディスクに保存してコマンドラインを実行することが基本的なインストール方法となりますが、インストール時にCarbon Black Cloudコンソールへの接続と、センサー用URLへの接続が行われます。
本問題の調査を行ったところ、Carbon Black Cloudの「ファイアウォールの構成」に明記されている以下のURLが許可したことで、インストールが成功しました。そのほかにCarbon Black Cloudを利用するにあたり接続に必要なURLに関しては以下の「ファイアウォールの構成」を参照し、必要なURLとPortを許可することがトラブルシューティングの鍵となります。
リージョン:ProdNRT(日本)
URL:https://dev-prodnrt.conferdeploy.net
<参考:ファイアウォールの構成>
https://docs.vmware.com/jp/VMware-Carbon-Black-Cloud/services/cbc-sensor-installation-guide/GUID-06D2CB73-968A-466E-BD69-B7480CBA800A.html
3.まとめ
今回Sensor Gatewayの構築に携わり、構築時のちょっとした落とし穴から、Carbon Black Cloudサービスへの接続要件を改めて確認することができました。
Sensor Gateway自体に現バージョンではGUIによる管理画面がありませんので、とっつきにくい印象はありますが、わかってしまえばなんてことはありません。
最後に、今回の問題で多く挙がった「許可すべきURL」の一覧を、あらためて以下の一覧にまとめてみました。内容はVMwareのサイトに記載されている内容を一覧にまとめただけですが、お役立ていただければ幸いです。
用途 | URL | Port |
管理コンソール/API | https://defense-prodnrt.conferdeploy.net | 443 |
デバイスサービス URL | https://dev-prodnrt.conferdeploy.net | 443 |
UBS ダウンロード (Enterprise EDRのUBS使用時のみ) |
https://cdc-file-storage-production-ap-northeast-1.s3.amazonaws.com | 443 |
Live Response アップロード (Live Response使用時のみ) |
https://defense-cblr-file-uploads-ap-northeast-1.s3.ap-northeast-1.amazonaws.com | 443 |
コンテンツマニフェストファイル取得URL | https://content.carbonblack.io | 443 |
署名 URL (CBC Sensor Ver.3.3未満使用時) |
http://updates2.cdc.carbonblack.io/update2 | 80 |
署名 URL (CBC Sensor Ver.3.3以降使用時) |
https://updates2.cdc.carbonblack.io/update2 | 443 |
サードパーティ証明書正常検証 | http://ocsp.godaddy.com | 80 |
サードパーティ証明書失効検証 | http://crl.godaddy.com http://crl3.digicert.com http://crl4.digicert.com |
80 |
Carbon Black Cloud Workload用 | https://prod.cwp.carbonblack.io | 443 |
Sensor Gateway コンテナ用URL (Sensor Gateway初回起動時) |
https://projects.registry.vmware.com | 443 |
Sensor Gateway Upgrade用URL (Sensor Gatewayアップグレード時) |
https://psc-cwp-prod-applianceservice-content-au.s3.us-east-1.amazonaws.com | 443 |
他のおすすめ記事はこちら
著者紹介
SB C&S株式会社
ICT事業本部 技術本部 第3技術部 1課
稲葉 直之
静岡出身で大阪に就職職してはや十数年。お茶と日本酒をこよなく愛し、現在は仮想化及びその周辺のプリセールスエンジニアとして日々修行中。