בדיוק השבוע פתחתי לעיין בעניין זה, וראיתי בילקו"י סי' מ"ו וסי' רע"ד (סעיף ז') ובהל' יוה"כ (סי' תרי"ב).
מדבריו שם נראה שצריך שהבשמים לא יהיו לפני וגם שיסיח דעתו מהם [ושלא יכוון להריח שוב] (וכתב בתוך הדברים שאחרי כשעתיים מסתמא כבר הסיח דעת).
וכמובן, אם יצא מהבית לביהכנ"ס וכד', זה כבר היסח דעת ואז יכול לברך שוב.
עכ"פ, אין בזה כ"כ גדר ברור.
עי' סי' רי"ז ס"א מעט בעניין זה. עכ"פ לא ראיתי באחרונים גדר ברור כ"כ.