Venerdì scorso Klopp ha stupito il Liverpool, capolista della Premier League, rivelando che si dimetterà al termine della stagione in corso.
Il coach dei Reds è stato il principale concorrente di Guardiola per i titoli nazionali durante la loro permanenza in Inghilterra.
Sebbene Guardiola si sia largamente imposto nella conta dei trofei durante l'era dinastica del City, lo spagnolo è ben consapevole della minaccia rappresentata da Klopp e dalla sua squadra.
Rendendo omaggio al tedesco dopo la vittoria del City per 1-0 sul Tottenham nel quarto turno di FA Cup di venerdì, Guardiola ha detto: "È un manager assolutamente incredibile, non lo conosco da vicino ma credo che sia anche una persona incredibile".
"Ho la sensazione che quando se ne andrà a fine stagione, anche una parte di noi del Manchester City se ne andrà. Sono stati i nostri più grandi rivali, il Liverpool negli ultimi anni".
Klopp ha dichiarato di voler lasciare il Liverpool perché non ha più l'energia necessaria per gestire un club di così alto profilo dopo nove anni ad Anfield.
Sebbene i due non siano mai stati molto amici durante il loro periodo in Inghilterra, il loro rispetto reciproco è evidente.
Guardiola, 53 anni, può immedesimarsi nella decisione del 56enne, dopo aver lasciato il Barcellona per motivi analoghi nel 2012.
"Tutti i manager (si sentono stanchi) quando hanno fatto molti anni. L'ho provato al Barcellona, quindi lo capisco perfettamente", ha detto.
Sebbene il City abbia vinto gli ultimi tre titoli di Premier League, il suo regno è minacciato da Klopp anche in questa stagione.
Il Liverpool si trova attualmente a cinque punti di distanza dal City, secondo in classifica, che ha una partita in più.
La prospettiva di giocare contro un Liverpool non gestito da Klopp - uno dei pochi allenatori in grado di eguagliare l'intensa competitività di Guardiola - è un pensiero piacevole per il boss del City.
L'ultima sfida in Premier League sarà il 9 marzo, quando il City visiterà Anfield per uno scontro cruciale nella corsa al titolo.
"È stato il mio più grande rivale, quindi penso che ci mancherà", ha detto.
"Sono un po' contento perché senza di lui dormirò un po' meglio la notte prima di giocare contro il Liverpool, ma gli auguro tutto il meglio. Non lo ammette ma tornerà".