マテリアルのSharedMaterialとMaterialの違いは？

sharedMaterial は「元のデータ」を直接参照し、material は「自分専用のコピー」を新しく作って参照します。

material（コピー）にアクセスした瞬間にSRP Batcher（描画のまとめ機能）が効かなくなり、さらにコピーされた分のメモリを消費してしまうためです。

ゲーム中に色を変える必要がない場合は、必ず GetComponent().sharedMaterial を使って読み取ってください。色を変えたい場合はコピーを作らざるを得ませんが、不要になったら確実に Destroy で破棄します。