Da farfaren til Mats dør, åpner familien for første gang den låste og forbudte laupen som alltid har vært i forfedrenes hjem. Der ligger papirer som forteller om reineiere og reinmerking, brev fra lappefogden og fotografier fra reintrø, samleplasser for rein. Det viser seg at Mats stammer fra en slekt av skogsamer i Malå-traktene. Hvorfor har det blitt holdt hemmelig? Hvorfor sluttet de å være samer? Og hvorfor vet de så lite om sin egen historie? Mats Jonsson reiser tilbake i tid, gjennom Sveriges, Sápmis og sin egen slekts historie, i et forsøk på å bli kjent med sin egen bakgrunn. Familiens manglende kunnskap viser seg å være resultatet av en bevisst politikk, som den svenske staten praktiserte frem til langt inn på 1900-tallet. Samtidig som fjellsamene ble tildelt den nedverdigende rollen som eksotisk urbefolkning, skulle skogsamene utryddes som kulturell gruppe for å gi plass til nybyggere og skogsarbeid. Det var meningen at de skulle glemmes.

Da vi var samer er en krønike om en slekts flere hundre års lange kamp for å bevare sitt levesett, og et empatisk portrett av forfedrene som til slutt måtte gi opp. Boka gir også en bred og lærerik skildring av samenes historie i Sverige, som skolen aldri bidro med.