HandbrakeでDVDが認識しない事がたまにあります。
そんな時は libdvdcss.2.dylib ってファイルがないかららしい。
ここでダウンロードしてインストール。
libdvdcss.pkg がインストーラー。

http://download.videolan.org/pub/videolan/libdvdcss/1.2.11/macosx/
　
　
追記
この方法でもDVDが認識しない場合があります。
他の方法も教えてください。