グラフにはアクセス権を設定できません。
ただし、レコードやフィールドに対してアクセス権を設定することで、閲覧権限のないレコードを集計結果に表示させないように制限できます。

集計対象になるのは、そのユーザーが閲覧権限を持つレコード／フィールドのみです。
集計の設定で閲覧権限のないフィールドが指定されている場合は、そのフィールドは集計の対象から外され、集計結果にも表示されません。