mencoder in.ogg -o out.avi -oac audio_codec -ovc video_codec

in.ogg - исходный файл
out.avi - конечный файл
audio_codec - кодек для аудио
video_codec - кодек для видео

Список установленных аудиокодеков можно посмотреть командой:

mencoder -oac help

Соответственно, список видеокодеков выводится командой:

mencoder -ovc help

Пример конвертации:

mencoder in.ogg -o out.avi -oac mp3lame -ovc xvid

Здесь файл in.ogg конвертируется с сохранением результата в файл out.avi, используя аудиокодек mp3lame и видеокодек XviD с настройками по умолчанию.

Более подробная информация по использованию mencoder:
CLI Magic: Video conversion with mencoder
Обработка видео при помощи mencoder (перевод предыдущей статьи)
Обработка видео при помощи mencoder (mencoder video mplayer convert) (перепубликация предыдущей статьи)