Но саксы восставали всякий раз, когда Карл, отвлекаемый делами на юге, уходил из страны, разрушали церкви, прогоняли франков и новое духовенство. Карл, возвращаясь, снова разбивал саксов и жестоко расправлялся с мятежниками: однажды он приказал казнить 4,5 тысячи людей, выданных ему в качестве зачинщиков измены.

Около 30 лет тянулись мятежи. Карл окончательно завладел страной, лишь когда часть саксов была выселена и заменена новыми франкскими и славянскими поселенцами. Карл приказал составить для саксов закон наподобие Правд, имевшихся у других германских племен. За проступки против церкви и священников были положены очень суровые наказания: например, за нарушение Великого поста полагалась смертная казнь.

Во время саксонских мятежей Карл боролся также с аварами, жившими в нынешней Венгрии, и со славянами. Против аваров двинулись два ополчения: одно из Германии, другое из Италии; они соединились в долине Дуная. Войско Карла шло против неверных с хоругвями, распевая церковные гимны. Когда взяли главное «кольцо» аваров, где каган (хан) держал огромную награбленную добычу, Карл подарил часть сокровищ папе, остальное роздал свите, чтобы «прославляли его милость и помогали ему в походах».

Из пограничных земель, отнятых у аваров, была образована восточная марка (т. е. военная граница). Соседние с государством Карла славяне от Балтийского моря до Адриатического (между ними чехи) признали его верховенство и обязались доставлять союзные отряды или платить дань.