هارون الرشید در اوایل خلافتش وقتی به سفر حج رفت و از حرم پیامبر خدا (ص) دیدار کرد دیداری هم با موسی بن جعفر (ع) داشت. امام در حرم نبوی همراه هارون بود. هنگام زیارت قبر پیامبر (ص)، هارون خطاب به پیامبر گفت: «سلام بر تو ای عموزاده»، و امام گفت: «سلام بر تو ای پدر». این کلام امام بر هارون بسیار گران آمد و در همان مدینه که بود، دستور بازداشت آن حضرت را صادر کرد.[i]

برای پیش گیری از هر نوع شورش و بحران، وقتی امام را بازداشت کردند، شب هنگام، خلیفه دستور داد تا دو خانه را به عنوان بازداشتگاه آماده کردند و بر هر دو مأمورانی گماشتند و امام در یکی از آن دو خانه محبوس و نگاهبانی اش به حسان سروی سپرده شد.[ii] سپس دو مرکب همراه با تعدادی مأمور از شهر بیرون رفتند که یکی به سمت کوفه و دیگری به سمت بصره حرکت کرد، تا مردم ندانند امام را به کجا بردند.

در واقع امام را به بصره بردند و به دست عیسی بن جعفر سپردند. او امام را در اتاقی زندانی کرد و در آن را قفل زد و تنها هنگام نیازهای ضروری درِ اتاق باز می شد. امام نزدیک به یک سال بدین گونه در بصره زندانی بود. عیسی بن جعفر که نور چشم هارون و محبوب خلیفه بود، به هارون نوشت:

من در این مدت، این زندانی را در اختیار و زیر نظر داشتم و خلافی از او ندیدم. حتی مخفیانه گوش می دادم. در دعاهایش حتی نفرینی به تو یا به من هم نداشت. بهانه و دلیلی برای ادامه حبس او نمی بینم. یا کسی را بفرست و او را از من تحویل بگیر، یا آزادش خواهم کرد.[iii]

هر کس دیگری چنین نامه ای می نوشت، قطعاً اعدامش می کردند، ولی عیسی بن جعفر به دلیل جایگاه والایی که نزد هارون الرشید داشت، جرأت نوشتن این نامه را به خود داد.