Bei Sowas gibt es ja nur zwei Möglichkeiten: USB-Buchse oder das Kabel selbst.
Da das Kabel im eingebauten Zustand normalerweise nicht mechanisch beansprucht wird fällt der Verdacht eigentlich auf die Buchse, denn die wird ja des öfteren beansprucht.
Es sei denn das kabel ist blöd verlegt, so dass es bei Erschütterungen irgendwo scheuert, oder es ist permanent eingeklemmt, oder was allgemein sehr häufig vorkommt: Der mindest-Biegeradius wurde nicht eingehalten, das Kabel wurde dadurch geknickt oder bekam Zug und die feinen Kupferlitzen sind gebrochen, so dass jetzt Unterbrecher auftreten.
Ich vermute, dass direkt am Eingang zu Deiner USB-Buchse sowas passiert ist, da Du ja merkst Das sich schon was änderst wenn Du die Verkleidung nur leicht anlöst.
Um sowas zu verhindern gibt es bei vielen ortsveränderlichen Geräten mit 230V Stecker die sogenannte Zugentlastung mit Biegeschutz, da wird am Übergang vom Kabel zum Stecker/Gerät eine Verstärkung aufvulkanisiert um genau diesen Kabelbruch zu vermeiden.
Da hilft wohl nur austauschen, aber das Stück Kabel mit USB Buchse kann ja nicht die Welt kosten...