برخلاف حكما، اكثر متشرعه و فقها اقوال و دعاوی صوفیه را بانظر مخالف نگریسته اند. نه فقط فقها و مجتهدان شیعی عهد صفویه ، امثال مؤلف حدیقه الشیعه ، مولا محمد طاهر قمی مؤلف راسله فوائد الدینیه ، و شیخ علی عاملی مصنف كتاب السهام البارقه ، شیخ یوسف بحرانی مؤلف نفحات الملكوتیه ، و آقامحمد علی صاحب رساله خیراتیه ، مشایخ صوفیه ، مدعیان تصوف و حتی اقوال و عقاید آنها را به شدت نفی كرده اند ، بلكه قبل از آنها مؤلف تبصره العوام و بین الادیان هم در تخطئه آن كوشیده اند .
از قدمای اهل مذاهب ، حنابله در عین آنكه بعضی از آنها خود مدافع و طرفدار تصوف بوده اند ، بسیاریشان تصوف و صوفیه را به شدت تخطئه كرده‌اند. از آن جمله ابن جوزی ، ابن تیمیه و ابن قیم جوزیه در رسائل مختلف به رد دعاوی و نقد اقوال و احوال آنها پرداخته اند و جالب آن است كه در بین خود صوفیه یا هواخواهان آنها كسانی چون غزالی و هجویری و شیخ احمد جام هم در نقد صوفیه ـ یا در نقد كسانی كه متشبهان به آنها بوده‌اند ـ اهتمام كرده‌اند. از جمله شیخ احمد جام مدعی است كه گاه آنچه در مجالس سماع قوم به انجام می رسد ، با آنچه در خرابات روی می دهد ، تفاوت ندارد.

اشتغال به سماع از جمله مواردی است كه صوفیه به سبب آن به شدت مورد نقد مخالفان واقع شده‌اند؛ همچنین عبادات و ریاضات غریب و فوق العاده آنها نزد منتقدان از مقوله عبادت بما لم یشرع اللـه و حتی بدعت تلقی می شد . مشایخ صوفیه هم به شدت از آنكه در عبادات منسوب به بدعت شوند ، محترز بودند و به اینگونه اتهامات مخالفان پاسخ می‌دادند و عبادت متشرعه را كه در آن اكتفا به حد مشروع مقرر می شد ، ناظر به مجرد به جا آوردن تكلیف ، كسب مثوبات و از مقوله نوعی معامله یا حق می خواندند و اكتفا بدان را دون شأن عارف می شمردند.

قول غزالی در دفاع از سماع و حكم وی به جواز آن البته مشروط به اجتناب از مناهی همراه با آن است و لاجرم متضمن جواز مطلق نیست . با این حال هرچند امثال ابوسعید ابوالخیر در خراسان اوایل عهد سلجوقی ، و قرنها بعد از مولانا جلال الدین بلخی رومی در قونیه با رعایت شروط لازم در باب سماع اشكالی نمی دیدند ، فقها و اكثر متشرعه از اظهار مخالفت با آن هرگز خودداری نكردند . اینكه خانقاهها غالباً محل اجرای مراسم سماع بود ـ با آنكه سماع صوفیه غیر از خانقاه در منازل اشخاص و حتی در خانه حكام و احیاناً خلفای وقت نیز صورت می گرفت ـ نیز از اسباب مزید شهرت سوء صوفیه و مجالس آنها در نظر متشرعه شد . این خانقاهها كه از وجوه نذور و فتوح و صدقات و سایر ابواب البر اداره می گردید ، هرچند در ضیافت خانه آنها از ابناء سبیل ، و از صادر و وارد مسافران مجرد و غیر مجرد پذیرایی می شد و علاوه بر مجالس وعظ و ذكر ، مجالس سماع هم در آنها دایر می گشت و احیاناً به علت فقدان مایه برای مخارج جاری دچار زحمت بود ، در بعضی موارد به صورت نوعی مركز تطفل و بیكارگی در می آمد و اجرای انضباط در آنها دشوار و ارتكاب مناهی در آنها شایع می شد .

اما در مواقعی هم كه صدقات و نذور و فتوح به آنها می رسید ، با وجود انضباط دقیق كه در اداره آنها اعمال می شد ، و به رغم تنبیهاتی كه از جانب شیخ و خادم در حق متخلفان اعمال می گردید ، باز مجرد شیوع و رواج رسم رقص و لوت در جریان سماع قوم مورد انتقاد و اعتراض طبقات مخالف واقع می شد و رقص و اكل صوفی به صورت طنز و استهزا ضرب المثل شد و مخالفان در نقد این آداب اهل خانقاه ، و در طعن بر حرص و شوق صوفیان به اكل ، برسبیل استهزا و اعتراض در حق آنها سخنها می راندند. گفته می‌شد كه اگر صوفیی در سمرقند بشنود كه در مصر خانقاهی وجود دارد كه در آنجا لوت و رقص بسیار هست ، به راه افتد و آهنگ مصر كند. مخالفان در بعضی موارد ، به صوفیه قول به سقوط تكلیف را هم منسوب دانسته اند و این قول اگر از متشبهان قوم هم نقل شده باشد ، یا لازمه اعتقاد اكابر به وحدت وجود باشد ، با اصل مبانی تصوف كه عبارت از زهد و تقشف است ، موافق نیست. به علاوه صوفیه حتی به سبب ریاضتها و چله نشینیها و عبادتهای افراط آمیز خویش نیز مورد انتقاد و اعتراض متشرعه بودند.