オンボーディングの準備

1. オンボーディングタスクの登録

オンボーディングに使用するタスクを登録します。

正解アノテーションを作成する

通常のアノテーションプロジェクト作成の時のように、プロジェクト作成後、データをアップロードしてタスクを作成します。その後、プロジェクトマネージャー、またはレビュワーの方がアノテーションを実施し保存します。

オンボーディングタスクを登録

オンボーディング画面から、先ほどのタスクをオンボーディングタスクとして登録します。
プロジェクト画面の左サイドメニューの[オンボーディング]をクリックしてオンボーディングの画面を開きます。
[タスク]タブをクリックするとタスク一覧が表示されます。オンボーディングタスクとして登録するタスクの右にあるアイコンをクリックします。（青色の状態=オンボーディングタスクとして使用）

2. オンボーディングの有効化

オンボーディングで使用するタスクを登録したので、次にオンボーディング設定を有効化します。オンボーディング画面の[設定]タブをクリックしてください。
設定画面が表示されるので、[オンボーディングの有効化]をクリックし、保存します。これでオンボーディングが有効化されます。
アノテーターはオンボーディングに登録されている全てのタスクで合格ラインを超えたあと、実際のアノテーション作業を開始できるようになります。

IoU閾値を設定

IoU閾値とはアノテーション単位で、正解アノテーションとアノテーターが作業したアノテーションを比較して、正解かどうか判断する指標です。評価指標としてIoUが使用され、IoUが閾値を超えていた場合、対象のアノテーションは合っていると判断されます。

適用されるアノテーションの種類

• 矩形
• 多角形
• セグメンテーション

ピクセル閾値を設定

ピクセル閾値とはアノテーション単位で、正解アノテーションとアノテーターが作業したアノテーションをピクセル単位で比較して、正解かどうか判断する指標です。2つのアノテーションの差分がピクセル閾値を下回っている場合、対象のアノテーションは合っていると判断されます。

適用されるアノテーションの種類

• 線
• キーポイント

📘

線では始点、終点でそれぞれ差分をチェックし、両方ともピクセル閾値を下回っている場合、アノテーションは合っていると判断されます。

合格スコアを設定

合格スコアはタスク単位で、対象のタスクが合格かどうかを判断する指標です。例えば、あるタスクに正解アノテーションが10個定義されており、うち8個のアノテーションが合っているとすると、正解率は80％となります。合格スコアが80%と設定されていたら、このタスクは合格と判断されます。しかし、合格スコアが90％と設定されていたら、このタスクは不合格と判断されます。