La Grotta dei Pastori è posta ad un livello inferiore rispetto alla Grotta di San Benedetto.
Qui, secondo la narrazione fatta da San Gregorio Magno nel II libro dei Dialoghi, il Santo scendeva per incontrare i pastori e quanti abitavano nella valle dell'Aniene, che accorrevano per ascoltare le sue parole.
Una lapide ricorda i nomi dei Benedettini più famosi, che diffusero la fede in Europa e nel mondo.
Nel VII secolo sulla viva roccia fu steso uno strato di intonaco per affrescarvi una Madonna che porta il Bambino ritto sul grembo, secondo l'uso degli artisti di Bisanzio.
Ai fianchi della Vergine stanno due santi; su quello a destra si legge: S.LV e più a destra: S. SIL.. Tale affresco è stato considerato una prova evidente degli scambi artistico-culturali allora esistenti tra l'Oriente Bizantino e l'Occidente Romano, favoriti dai frequenti passaggi in occidente di monaci orientali e, in oriente, di monaci benedettini.