あくまで非表示の状態
これは、Daring Fireballを運営するJohn Gruber氏のPodcast番組に出演したAppleのソフトウェアエンジニアリング担当シニアバイスプレジデントCraig Federighi氏が明らかにしたそうです。
純正アプリを削除すると、ホーム場面のアイコン、それに関連するユーザーデータなどが削除されるようになっているが、アプリケーションのバイナリーデータは残るそうです。
ただ、ユーザーからは見えなくなっているので、あまり意識する必要はないかもしれませんね。なお、いわゆる「非表示」にした純正アプリはApp Storeから再ダウンロードすることでまた使えるようになります。