（2017/11/05追記）事情が古くなってきたので、「ゲーム動画のエンコード事情を整理」も参照してください。
AviUtlのx264guiExプラグインを利用したエンコード設定のメモ。この設定は私が普段使っているものです。身内向けの簡易まとめなので、詳しく解説しません。
私の利用ケースを一応説明します。HD解像度のキャプチャーボードに入力された映像をアマレコTVで録画しているのですが、とりあえずは画質を落とさないためにAMV4ビデオコーデックの可逆圧縮で録画して.aviファイルとして保存します。AMV4は録画に適したコーデックです。ライセンス購入すれば動画にAMVのロゴが差し込まれなくなります。録画ではリアルタイム性が求められるので、ここで一気にファイルサイズを落とすのは難しいです。動画をたくさん撮っているとすぐHDDを圧迫するので、さらにx264コーデックでエンコードして、よりファイルサイズの小さい.mp4ファイルにします。
この処理には長い時間を要しますが、驚くほどファイルサイズを小さくすることができます。また、CPU負荷が高いため、夏場など熱に気をつけてください。