Обикновено култовите средища у нас са свързани с езическите светилища на траките и на славяните. Устремският манастир не прави изключение в това отношение. За присъствието на траките говорят останките от зидове на отсрещния бряг на Манастирска река, където е било някогашното манастирско лозе и където е изкопана голяма тракийска делва. Предполага се, че манастирът бил основан през Втората българска държава, а в началото на XV в. името му се среща в османски документи.

Недалеч от сегашния манастир се намира пещера, дълбока 5 м. и висока и широка около 4 м., в която се е помещавала първата църква на обителта. Поверието гласи, че един човек на име Петър дошъл при пещерата (после наречена “Вехтата” църква и Каракольовата дупка) с две икони: “Св. Троица” и “Св. апостоли Петър и Павел”, оставил иконите вътре, заживял около нея и пасял козите си. По-късно след съновидение той продал стадото си и с помощта на жителите от близките села, построил през 1725 г. параклиса “Св. апостоли Петър и Павел”, на чието място е издигната сегашната манастирска църква.

Вероятно в началото на кърджалийските размирици параклисът и манастирът пострадали сериозно. Към края на XVIII в и началото на XIX в. тия места попаднали под временната закрила на Индже войвода, който се погрижил и за Вакъфския манастир. Твърде възможно е самият той да е изпратил известния хайдутин Христо войвода, който вече бил на възраст и изпитвал желание да напусне мирския живот, да възстанови обителта. Според някои исторически сведения, Христо войвода се замонашил под името Хрисант и първоначално живял в познатата ни вече пещера. Оттук той приканил околните села Вакъф (Устрем), Ново село (Мрамор), Срем и др. да започнат възстановяването на манастира. Оттук произлиза и едно от имената на манастира – Хайдушки.

Съборена била първата (Петрова) църква и на нейно място била построена нова църква, която била посветена пак на св. апостоли Петър и Павел. Направили и две чешми, като едната имала каменна плоча с образите на св. апостоли Петър и Павел. Тази плоча в момента се намира в Националния исторически музей в София. Манастирът бил наречен на името на близкото село Вакъф и Хрисант станал негов игумен.

С течение на времето Вакъфския манастир се превърнал в най-голямото духовно средище на околността. През 1918 г. поради върлуващата чума мнозина, за да спасят живота си, дошли в манастира и оставили доста богатства. С тези средства по-късно били направени хамбари, готварница и долните (северните и източните) стаи, които през 1951 г. са обхванати от пожар и са изгорели.

През 1836 г. монасите от позамогналия се манастир решили да постоят по-голяма църква. Изкусни майстори вградили в новата църква, наречена “Св. Троица”, параклиса “Св. апостоли Петър и Павел”. Новият иконостас на църквата бил изработен по образец на стария иконостас. Иконите са зографисани от неизвестни художници през първата половина на миналия век.

До 1909 г. манастирът е бил мъжки. В средата на август 1909 г. в него се настаняват около 50 монахини от с. Студена, Елховско. Игуменката Евпраксия странствувала почти из цяла България и Русия и донесла много парични помощи, с които изплатила огромните манастирски дългове.

Вакъфският манастир заедно с Караколювата дупка са обявени за паметници на културата.