Fra venstre: Jacob Henrik de Rytter Hiorth og hans kone Sofie Fredrikke Hauge Hiorth. Fotografi tatt på gården Ogna i mai 1864. Fotograf: ukjent¹⁾

Jacob Henrik de Rytter Hiorth (18.6.1804 - 25.4.1878) var sønn av Lauritz Smith Hiorth (20.5.1744 - 6.5.1813) og Johanne Kristine Abel Hiorth (28.1.1762 - 13.2.1827)²⁾. Han var gift med Sofie Fredrikke Hauge (14.6.1816 - 15.12.1886).

Han hadde 8 barn: Lars Smith Hiorth, Tønnes Hauge Hiorth, Georg Kristian Martin Hiorth, Laurits Theodor Hauge Hiorth, Johan Gerhard Hiorth, Magnus Kristian Anton Johan Hiorth, Jacob Fredrik de Rytter Hiorth og Karl Thorvald Bernhard Hiorth.

Han lærte seg i sin ungdom bakerhåndverket i Bergen og etablerte seg i 1829 som baker i Egersund. I 1840 tok han handelsborgerskap, men led ved byens brann i 1843 et særdeles stort tap da hans «betydelige uassurerede Varebeholdning brændte» ³⁾. Mot slutten av 1850-tallet sluttet han med bakerivirksomheten, og i 1856 startet han J. Hiorth Dampskibsexpedition. Da han døde i 1878, overtok sønnen Jacob Fredrik de Rytter Hiorth driften av dampskipsekspedisjonen.