ты когда кодек выбирал, ты его настраивал?
там ведь все настройки ставятся, начиная от битрейта (самое главное, там есть и калькулятор - пишешь требуемый размер файла и длительность - получаешь битрейт), и заканчивая всякими фишками типа разных встроенных фильтров и спец.настроек кодека
да и фильтр resize тоже опции имеет. посмотри, мож че не так сделал
совет: вырежи кусочек в несколько секунд, и поэкспериментируй. когда найдешь оптимальное - тогда уже пережимай весь фильм