Dann ist die Ladder für dich schlichtweg nicht der richtige Ort. Das ist nicht schön, aber leider nicht zu ändern. Was dir hier helfen könnte ist, nach Gleichgesinnten zu suchen, sie in deine Freundesliste aufzunehmen und dann halt entspannt Spiele gegen deine Freunde zu bestreiten.
Suchen bzw. fündig werden kannst du zum Beispiel hier. Und mit deiner Einstellung bist du hier im Forum nicht einmal alleine, es gibt einige die die Ladder meiden und hauptsächlich gegen Freunde spielen.
Zumindest die Quest kannst du mittlerweile auch in Spielen gegen Freunde abschließen.