Johann Jacob Rohde urodził się 24 sierpnia 1690 r. w Królewcu jako syn rajcy Jacoba Rohde i jego żony Reginy z domu Schäffer. Studiował w Królewcu i Jenie, w 1713 otrzymał tytuł magistra filozofii. Następnie podróżował po Niemczech i Holandii, by powróciwszy do rodzinnego miasta objąć w 1715 r. funkcję podinspektora alumnatu. W 1719 został konrektorem Gimnazjum Akademickiego w Elblągu, funkcję tę sprawował jednak niecały rok, gdyż został przez króla Prus powołany na stanowisko profesora metafizyki i logiki uniwersytetu w Królewcu. Uchodził za jednego z największych propagatorów arystotelizmu w środowisku uczelnianym miasta nad Pregołą. W wykładach Rohdego uczestniczył m. in. pisarz Johann Christoph Gottsched, który jednak nie ocenił zajęć prowadzonych przez Rohde pozytywnie. Rohde był autorem dysertacji historycznych i filozoficznych.
W lutym 1719 r. ożenił się z Gertrudą z domu Roßen – córką Reinholda Roßen, królewieckiego rajcy. Gertuda Rohde zmarła w 1724 r., krótko po narodzinach jedynej córki – Reginy Gertrudy.
Johann Jacob Rohde zmarł w Królewcu 4 lipca 1727 r., osierocając trzyletnią córkę. W zbiorach Biblioteki Elbląskiej znajduje się druk żałobny, poświęcony pamięci Rohde autorstwa Johanna Christopha Netze, w którym wychwala on zmarłego jako człowieka głębokiej wiary, której świadectwem był zbiór jego religijnych notatek, zatytulowany Allerhand erbauliche und geistreiche Gedanken.