Input Systemでアクションが「started」と「performed」の間に時間差がある理由は？

そのアクションに「Hold（長押し）」や「Tap（短押し）」などの「Interactions（操作の判定ルール）」が設定されているためです。

長押し判定の場合、システムは「ボタンが押された瞬間（started）」から「指定された時間（例:0.4秒）押し続けられたか」を確認してから「実行（performed）」を通知する待機仕様になっているからです。

押した瞬間に即座に反応させたい場合は、Actionのプロパティの「Interactions」に設定されている項目を削除（マイナスボタン）するか、より即応性の高い設定に見直してください。