SB C&Sの最新技術情報 発信サイト

C&S ENGINEER VOICE

SB C&S

Automation Anywhere -【A360】【パッケージリファレンス】If vol.3

RPA
2022.03.16

【パッケージリファレンス】では、
Automation Anywhere Automation 360 のパッケージで使用できるアクションと、
各アクションの設定パラメータについて、マニュアル形式でご紹介していきます。
今回は、Ifパッケージ第三弾のご紹介です。

2022年2月18日開催の第13回AA de Knightにて、
オートメーション・エニウェア・ジャパン株式会社 広瀬様から
Ifパッケージについてのお話をいただいてます。

今回ご紹介する画像認識条件についても、具体的な使い方を解説していただいています。
ぜひ以下の記事より、資料&動画も見てみてください。

 【特別編】Developer Community 【AA de Knight】第十三回 2022.2.18 Friday Night@Online 技術者コミュニティ
 https://licensecounter.jp/engineer-voice/blog/articles/20220314_AutomationAnywhere-aa_de_knight_13.html#section2-2

 


Ifパッケージ

本記事は「バージョン:3.1.0-20211011-141741」の情報です。(Build 11513)
最新情報を確認するには、公式ドキュメントも併せてご参照ください。
公式ドキュメント:If package

 


設定できる条件

今回は、設定できる条件のうち、Image Recognition(画像認識)の詳細をご紹介します。
画像認識条件の構成は以下のようになっています。

条件 ターゲット ソース 結果
画像 ウィンドウ 画像 ウィンドウ なし あり
Image file is NOT found in image file
画像ファイルが画像に見つからない
○   ○   ○  
Image file is NOT found in window
画像ファイルがウィンドウに見つからない
○     ○ ○  
Window is NOT found in image file
ウィンドウが画像ファイルに見つからない
  ○ ○   ○  
Window is NOT found in window
ウィンドウがウィンドウに見つからない
  ○   ○ ○  
Image file is found in image file
画像ファイルが画像ファイルで見つかる
○   ○     ○
Image file is found in window
画像ファイルがウィンドウで見つかる
○     ○   ○
Window is found in image file
ウィンドウが画像ファイルで見つかる
  ○ ○     ○
Window is found in window
ウィンドウがウィンドウで見つかる
  ○   ○   ○

 

Image Recognition(画像認識):
Image file is NOT found in image file(画像ファイルが画像に見つからない)

ターゲットとなる画像が、指定した画像内に見つからなかった場合に処理を実行します。

image_recognition_1.png

 

Image Recognition(画像認識):
Image file is NOT found in window(画像ファイルがウィンドウに見つからない)

ターゲットとなる画像が、指定したウィンドウ内に見つからなかった場合に処理を実行します。

image_recognition_2.png

 

Image Recognition(画像認識):
Window is NOT found in image file(ウィンドウが画像ファイルに見つからない)

ターゲットとなるウィンドウが、指定した画像内に見つからなかった場合に処理を実行します。

image_recognition_3.png

 

Image Recognition(画像認識):
Window is NOT found in window(ウィンドウがウィンドウに見つからない)

ターゲットとなるウィンドウが、指定したウィンドウ内に見つからなかった場合に処理を実行します。

image_recognition_4.png

 

Image Recognition(画像認識):
Image file is found in image file(画像ファイルが画像ファイルで見つかる)

ターゲットとなる画像が、指定した画像内に見つかった場合に処理を実行します。

image_recognition_5.png

 

Image Recognition(画像認識):
Image file is found in window(画像ファイルがウィンドウで見つかる)

ターゲットとなる画像が、指定したウィンドウ内に見つかった場合に処理を実行します。

image_recognition_6.png

 

Image Recognition(画像認識):
Window is found in image file(ウィンドウが画像ファイルで見つかる)

ターゲットとなるウィンドウが、指定した画像内に見つかった場合に処理を実行します。

image_recognition_7.png

 

Image Recognition(画像認識):
Window is found in window(ウィンドウがウィンドウで見つかる)

ターゲットとなるウィンドウが、指定したウィンドウ内に見つかった場合に処理を実行します。

image_recognition_8.png

 


設定項目の詳細

画像認識条件は、以下のように同じ設定項目の組み合わせとなっています。

条件/画面項目 ターゲット画像を選択 ターゲットウィンドウを選択 元画像を選択 元ウィンドウを選択 ウィンドウのサイズ変更 画像が検出されない場合リピート 画像認識設定 画像が見つかったら画像をクリック
画像ファイルが画像に見つからない ○   ○   ○ ○    
画像ファイルがウィンドウに見つからない ○     ○ ○ ○ ○ ○
ウィンドウが画像ファイルに見つからない   ○ ○   ○ ○    
ウィンドウがウィンドウに見つからない   ○   ○ ○ ○ ○ ○
画像ファイルが画像ファイルで見つかる ○   ○   ○ ○    
画像ファイルがウィンドウで見つかる ○     ○ ○ ○ ○ ○
ウィンドウが画像ファイルで見つかる   ○ ○   ○ ○    
ウィンドウがウィンドウで見つかる   ○   ○ ○ ○ ○ ○

 

ターゲット画像を選択/元画像を選択

No.1
パラメータ名 ターゲット画像を選択(Select target image)
元画像を選択(Select source image)
概要 条件にする画像ファイルを指定します。
省略可 ×
使用方法

Control Roomにアップロードされているファイルの場合は[Control Room ファイル]を選択し、
[選択]をクリックし、ファイルを指定します。

image_recognition_1_target_1.png

Clientデバイスのローカルにあるファイルの場合は[デスクトップ ファイル]を選択します。
[参照]をクリックし、操作したいExcelファイルを指定します。
または、直接および文字列変数で指定することもできます。

image_recognition_1_target_2.png

変数を使用する場合は[変数]を選択します。ファイル型の変数のみ使用できます。
既存の変数をリストから選択するか、右端の[変数を作成]アイコンから新しい変数を作成します。

image_recognition_1_target_3.png

 

ターゲットウィンドウを選択

No.1
パラメータ名 ターゲット画像(Target image)
概要 条件にするウィンドウを指定します。
省略可 ×
使用方法

ウィンドウを設定しますが、
画面上の項目名は[ターゲット画像 キャプチャの比較]となっています。

対象ウィンドウがブラウザの場合は、予め対象ページを別のブラウザウィンドウで開いてから、
[ブラウザ]を選択し、リストから具体的なページを選択します。

image_recognition_3_target_1.png

対象ウィンドウがアプリケーションの場合は、予め対象アプリを起動してから、
[アプリケーション]を選択し、リストから具体的なアプリを選択します。

image_recognition_3_target_2.png

対象ウィンドウをその場でキャプチャしたい場合は、予め対象ウィンドウを表示させた状態で、
[画像をキャプチャ]ボタンをクリックして、キャプチャします。

image_recognition_3_capture.png

 

元ウィンドウを選択

No.1
パラメータ名 元画像(Source Image)
概要 条件にするウィンドウを指定します。
省略可 ×
使用方法

ウィンドウを設定しますが、画面上の項目名は[元画像]となっています。

対象ウィンドウがブラウザの場合は、予め対象ページを別のブラウザウィンドウで開いてから、
[ブラウザ]を選択し、リストから具体的なページを選択します。

image_recognition_2_source_1.png

対象ウィンドウがアプリケーションの場合は、予め対象アプリを起動してから、
[アプリケーション]を選択し、リストから具体的なアプリを選択します。

image_recognition_2_source_2.png

変数を使用する場合は[変数]を選択します。ウィンドウ型の変数のみ使用できます。
既存の変数をリストから選択するか、右端の[変数を作成]アイコンから新しい変数を作成します。

image_recognition_2_source_3.png

 

ウィンドウのサイズ変更

画像認識する前に、元ウィンドウのサイズを変更したい場合に設定します。

image_recognition_2_resize_all.png

No.1
パラメータ名 ウィンドウのサイズ変更(Resize window)
概要 画像認識する前に、元ウィンドウのサイズを変更するかどうかを設定します。
省略可 ○
使用方法

image_recognition_2_resize.png

画像認識する前に、元ウィンドウのサイズを変更したい場合は、本オプションを設定します。

 

No.2
パラメータ名 ウィンドウ幅(ピクセル)(Window width in pixels)
概要 サイズ変更後の元ウィンドウの幅を指定します。
省略可 ×
使用方法

image_recognition_2_window_width.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。

 

No.3
パラメータ名 ウィンドウ高さ(ピクセル)(Windows height in pixels)
概要 サイズ変更後の元ウィンドウの高さを指定します。
省略可 ×
使用方法

image_recognition_2_windows height.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。

 

No.4
パラメータ名 領域をキャプチャ(Capture region)
概要 サイズ変更後に画像を探す領域をキャプチャで設定します。
省略可 -
使用方法

image_recognition_2_capture.png

サイズ変更後に画像を探す領域をプロパティで指定するのではなく、
キャプチャで設定したい場合に本オプションを使用します。

 

No.5
パラメータ名 X(X)
概要 画像を探すウィンドウ内の領域のX軸の位置を指定します。
省略可 ×
使用方法

image_recognition_2_x.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。
領域をキャプチャした場合は自動設定されます。

 

No.6
パラメータ名 Y(Y)
概要 画像を探すウィンドウ内の領域のY軸の位置を指定します。
省略可 ×
使用方法

image_recognition_2_y.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。
領域をキャプチャした場合は自動設定されます。

 

No.7
パラメータ名 幅(Width)
概要 画像を探すウィンドウ内の領域の幅を指定します。
省略可 ×
使用方法

image_recognition_2_width.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。
領域をキャプチャした場合は自動設定されます。

 

No.8
パラメータ名 高さ(Height)
概要 画像を探すウィンドウ内の領域の高さを指定します。
省略可 ×
使用方法

image_recognition_2_height.png

ピクセル単位で指定します。直接入力および数字変数で指定できます。
領域をキャプチャした場合は自動設定されます。

 

No.9
パラメータ名 ウィンドウを取得するまで待機(ミリ秒)(Wait in ms before capturing window)
概要 元ウィンドウを探し始めるまでに待機する時間を指定します。
省略可 ×
使用方法

image_recognition_2_wait_before.png

待機時間はミリ秒数で指定します。待機する必要が無い場合は「0」にします。
直接入力および数字変数で指定できます。

 

画像が検出されない場合リピート

もし画像を探しに行っても見つからなかった場合は、繰り返し探しに行かせるかを設定します。

image_recognition_1_repeat_all.png

No.1
パラメータ名 画像が検出されない場合リピート(Repeat if image not found)
概要 画像が検出されない場合に繰り返しトライするかどうかを設定します。
省略可 ○
使用方法

image_recognition_1_repeat.png

もし画像を探しに行っても見つからなかった場合は、繰り返し探しに行かせたいなら、
本オプションを設定します。

 

No.2
パラメータ名 回数(Times)
概要 何回トライさせるかを設定します。
省略可 ×
使用方法

image_recognition_1_times.png

Botに画像を探しに行かせる回数を指定します。直接入力および数字変数で指定できます。

 

No.3
パラメータ名 リピート間の待機時間(ミリ秒)(Wait between repeats (ms))
概要 再トライまでの待機時間を設定します。
省略可 ×
使用方法

image_recognition_1_wait.png

繰り返し探しに行く場合に、各探査の間の待機時間を設定します。
待機時間はミリ秒数で指定します。待機する必要が無い場合は「0」にします。
直接入力および数字変数で指定できます。

 

画像認識設定

画像認識に関する詳細を設定します。

image_recognition_1_setting_all.png

No.1
パラメータ名 一致率(Image recognition settings : Match percentage)
概要 ターゲットとソースがどの程度一致していたら見つかったと判定するかを設定します。
省略可 ×
使用方法

image_recognition_1_percentage.png

パーセンテージ(%)で指定します。直接入力および数字変数で指定できます。

 

No.2
パラメータ名 選択した数字合わせ(Image recognition settings : Selected match number)
概要 指定したウィンドウの中に、ターゲットが複数あった場合に何個目を採用するかを設定します。
省略可 ×
使用方法

image_recognition_1_number.png

直接入力および数字変数で指定できます。

 

No.3
パラメータ名 プレビュー(Preview)
概要 プレビューを表示します。
省略可 -
使用方法

image_recognition_1_preview.png

プレビューを表示します。

 

画像が見つかったら画像をクリック

元ウィンドウが見つかったときに、後続処理のためにクリックさせたい場合に設定します。

image_recognition_2_click_all.png

No.1
パラメータ名 画像が見つかったら画像をクリック(If image is found, click on it)
概要 元ウィンドウが見つかったときにクリックするかどうかを設定します。
省略可 ○
使用方法

image_recognition_2_click.png

元ウィンドウが見つかったときに、後続処理のためにクリックさせたい場合は、
本オプションを設定します。

 

No.2
パラメータ名 ターゲット座標の選択(Target coordinate selections)
概要 どの位置でクリックするかを指定します。
省略可 ×
使用方法

ターゲットと一致した部分の中心をクリックさせたい場合は[一致部分の中心]を選択します。

image_recognition_2_coordinate_1.png

クリックさせる位置を細かく指定したい場合は、[一致からのオフセット]を選択します。
続いて[水平オフセット]と[垂直オフセット]をピクセル単位で指定します。
直接入力および数字変数で指定できます。

image_recognition_2_coordinate_2.png

 


いかがだったでしょうか。
次回は残りの設定できる条件の詳細をご紹介する予定です。
Bot開発の参考になれば幸いです。

 

著者紹介

先端技術推進統括部
RPAビジネス推進部
西尾 玲