Zâhirîler’in, nasların arka planını anlamaya yönelik aklî yolları reddettikleri için entelektüel camiadan dışlanmaları yönünde güçlü bir kanaat oluşmuştur. Başta Dâvûd ez-Zâhirî olmak üzere önde gelen Zâhirîler hakkında “recül mütecâhil” ve “dâl” (sapık) gibi küçümseyici ifadeler kullanıldığı sıkça görülmektedir. Cessâs, Bâkıllânî ve İmâmü’l-Haremeyn el-Cüveynî’ye göre Zâhirîler ulemâdan değildir, onlar avam hükmündedir. (el-Fuṣûl, III, 296; el-Burhân, II, 819) Kādî İyâz da bazı âlimlerden naklen Dâvûd b. Ali’nin mezhebinin II. (VIII.) asırdan sonra ortaya çıkmış bir bid‘at olduğunu kaydetmiştir. (Venşerîsî, II, 491) Bu tartışma özellikle Zâhirîler’in aykırı görüşlerinin icmâa engel olup olmayacağı noktasında yoğunlaşmakta ve çoğu defa Zâhirîliğin kurucusu sayılan Dâvûd b. Ali üzerinden gerçekleşmektedir. Usulcülerin çoğunluğu Dâvûd’un muhalefetinin icmâa zarar vermeyeceğini öne sürmüştür.

Nitekim Cüveynî kıyas ehlinin icmâına itibar edileceği fikrine, âlimlerden bir kısmının kıyası delil kabul etmemelerini dayanak gösterip karşı çıkanlar için şöyle der: “Kıyası inkâr edenleri biz ümmetin âlimlerinden ve şeriatın taşıyıcılarından saymıyoruz.” (el-Burhân, II, 819) Zâhirîler’in görüşüne itibar edilmeyeceği düşüncesinin dayandığı temel argüman Zâhirîler’in fakih tanımı kapsamına giremeyecekleri hususudur. Fıkhın anlamının sözün sadece mânasını anlamak değil aynı zamanda konuşanın maksadını anlamak olduğu noktasından hareketle bazı usulcüler Zâhirîler’in fakih kabul edilemeyeceğini öne sürmüşlerdir. Diğer bazıları da fıkhın tanımındaki “istinbat” kaydından hareketle Zâhirîler’i fıkıh kapsamının dışında tutmuşlardır. Nihaî tahlilde Zâhirîler’in fakih sayılmaması onların kıyası reddetmiş olmasına dayanmaktadır.