Els avis materns procedien de Les Garrigues. Vallverdú no els va conèixer mai. No passa el mateix amb la família del pare. Aquesta sí que va ser molt més coneguda per a ell ja que hi va mantenir una relació constant. «En primer terme perquè els estius els vaig passar sempre a Sant Martí de Maldà. En segon lloc, perquè el meu avi tenia en mi la vista fita. Era un home que em va estimar sempre molt. Jo era el seu nét predilecte. Dipositava en mi les il.lusions que no havia dipositat en el meu pare. El meu avi patern era tot un tipus. Personatge alt, ferreny, amb un aspecte volgudament marcial. No havia fet el servei militar i, potser per això, era un admirador dels militars. Era carlí i era mes aviat autoritari, intransigent en tots els aspectes. Tota la vida havia considerat que els d’esquerres eren uns desgraciats. Tenia idees absolutes i radicals. Era catalanista i del somatent. Era caçador. Li agradaven les armes. Tota la seva vida va ser un conservador que va viure al poble. Va ser un petit propietari rural. De vida molt endreçada. Era molt ordenat. Es va casar als 19 anys. Aquest home va influir molt en mi. Va morir als 83 anys. Em portava a l’hort, a caçar, a la muntanya. Em va ensenyar on eren els arbres de la fruita de secà, que és la fruita més dolça que hi ha. Em va ensenyar la tècnica de l’hort. Aquest contacte amb la naturalesa va ser molt important».
Va influir en l’educació en la naturalesa, no en les idees. Les idees de l’avi eren completament contraposades a les del pare. Mentre l’avi era radical, de dretes, militarista, carlista, el pare era urbà, lliberal, d’acció catalana, republicà, sense cap excés ni radicalisme… «Si l’avi em va ensenyar l’educació o l’observació de la naturalesa, el meu pare em va ensenyar què és la vida de ciutat, què és la vida crítica, la noció del deure, el manteniment de les pròpies conviccions… Va ser un model de civilitat tota la vida. Als 14 anys ja no podia aguantar la vida del poble i se’n va anar a la ciutat. Volia dur sabates i anar vestit». L’avi el va dur a Lleida a una botiga de teixits perquè aprengués l’ofici de dependent que va aprendre molt bé fins acabar essent gerent d’uns magatzems de teixits a Lleida. La seva formació va ser d’home de món que va voltar per Manresa, Barcelona, Lleida…
La mare havia estudiat una mica al poble, i després, a Lleida, va fer una curta carrera de mestra elemental que no va exercir mai. «Tenia una gran sensibilitat i un gran sentit per les tasques casolanes. Des de molt jove tenia el fetge malament. Era una dona de salut precària. Va envellir prematurament i va morir als 42 anys».
La germana era molt diferent al Pep. Tant pel que fa a la constitució física -era primeta- com per les actituds mentals. «Era bastant rebel i independent. Això li havia portat problemes. Jo era aquietat, obedient, aplicat en els estudis, a jugar sol, a inventar-me jocs. M’agradaven les paraules. Vaig excel.lir aviat en les lletres. Abans del deu anys ja consultava el diccionari, cosa que continuo fent encara. L’àrea de ciències no anava tan bé. Vaig tenir una certa obesitat a partir dels vuit nou anys i això em posava en inferioritat de condicions amb els altres nois. Inferioritat que intentava superar amb intel.ligència, amb enginy… Més tard vaig fer algun esport, tot i que sempre eren esports individuals ja que una de les característiques del meu caràcter és l’individualisme».