あれ、バグ？なのかしら。（追記）仕様でした。

ちょっと時間なかったのでちゃんと調べれてない。。。
ディレクトリの削除時にどうもおかしな挙動が。

.NETのバージョンは4.0かな。
フォルダを中身ごとまるごと削除したいと思って、

DirectoryInfo dir = new DirectoryInfo(path);
dir.Delete(true);

ってやったら、
フォルダの中身が空ではありませんって例外が出た。
はて。。。と思ったけど類似の現象は見当たらなかった。
なんとなく

Directory.Delete(path,true);

に書き換えたら無事動きました。。。

追記、どうやらそれで仕様どおりらしいです。同じ動きするものだと思ってました。。。。

やっぱMSDNは読まないとだめですね。
id:masa-kさんありがとうございました！！

だらだらやるよ。