Det aller viktigste, uavhengig av hardware som skal brukes - sett opp automatisk backup av oppsettet. Test å gjennopprette backup, så du har en kjapp vei ut av et eventuelt disk-crash. (Home Assistant har nå en stund hatt innebygget mulighet for å ta backup og sende det avgårde til skyen).
Pi4/5 er helt fint for HA. Men du kan godt også bruke en gammel strømgjerrig "mini-PC" (f.eks Intel NUC, Lenovo m9xxx) eller laptop. Eldre laptop har jo den fordelen at de har innebygget UPS i form av batteri, + at de har en skjerm for enkel feilsøking.
Ser SSD vs SD-kort har vært diskutert tidligere, så trenger ikke rippe opp i det - men SSD har en annen fordel enn levetid , det er langt raskere. Du merker nok ikke noe til dette ved "vanlig" bruk, men oppdateringer/installasjon av pakker, boot av enhet osv går fortere.