STB d'en avoir marre de mon ami handicapé ?

Je suis amie de longue date avec un homme (34 ans) polyhandicapé. Il a plusieurs troubles psy (borderline et bipolaire) et de graves problèmes de dos (canne et fauteuil parfois). Je suis moi même handicapée aussi (psy et dos). Cet ami se repose trop sur moi. En dernier exemple, ce matin, il m'envoie un message à 6h pour l'accompagner à un rdv à 9h (je dormais donc..). Je l'accompagne à pas mal de ses rdv mais il ne me rappelle jamais la date et l'heure (je dois aussi jongler entre mes rdv), pensant que je m'en souviendrai. Parfois si je ne peux pas l'accompagner, il n'y va pas. Je sers beaucoup d'oreilles par rapport à ses problèmes psy sans avoir vraiment de temps de parole à moi (quand je parle de moi, il revient sur lui). Il ne m'a toujours pas rembourser une certaine somme que je lui ai avancé pour déménager parce qu'il se met dans la merde financièrement à cause de ses achats impulsifs (il a préféré s'acheter une console plutôt que de me rembourser). Il a essayé de forcer une proximité++ entre nous (dormir ensemble en cuillère pour soulager ses cauchemars, se laver ensemble, faire tout ensemble..). J'ai vite mis fin à cela vu que ça ne me convenait absolument pas. Je lui sers de béquille (mentale et physique) et parfois cela me pèse en plus de mes propres problèmes. Nous avons déjà eu une discussion à ce sujet mais le naturel revient au galop. J'apprends moi même à fixer des limites, je sais qu'il se braque très vite si je lui dis non. J'ai l'impression que parfois il me manipule (par exemple, je ne fais que très rarement des câlins ou de grosses démonstrations d'amour et lui en voudrais plus donc il force un peu la main). Je veux continuer à être là pour lui mais parfois j'ai l'impression d'avoir plus le rôle d'aidante que d'amie.