RetinaなMacbookにVirtualBoxをインストールし、その上でWindows10を走らせていますが、Windows10側の解像度をRetina対応に変更するのに手間取ったので、その記録です。
デフォルトだとWindows10は低解像度のまま、スケールを上げて拡大表示することになりますが、当然のことながらこれでは文字がぼやけてしまうなど、表示が美しくありません。出来ればWindows10側もRetina表示の状態にしたいと思って調べました。
結論としては、VMをシャットダウンした上で、以下2つの作業を行う必要があります。（VirtualBox Ver. 5.2.12で検証しました）
①VMの設定で3Dアクセラレーションをオフにする。（バグ回避）
②以下の2つのコマンドを実行し、Windows10側に解像度の設定を追加する。
$ VBoxManage setextradata global GUI/MaxGuestResolution any
$ VBoxManage setextradata "Windows10" CustomVideoMode1 "2880x1800x32"
以上により、VMを起動すれば最初から高解像度で表示されるようになります。