אולי אפשר לומר שהרי אצל משה רבינו נאמר "פה אל פה אדבר בו ומראה ולא בחידות" וכו' וא"כ הקב"ה דיבר עם משה , מה שא"כ שאר נביאים שאינם מתנבאים פה אל פה ואין "תמונת ה' יביט" וכו' אלא "במראה אליו אתודע בחלום אדבר בו" ולכן אצל אהרן לא נאמר עם אלא "לאהרן"
לעניות דעתי אין הכוונה של מרן להשוות מי גדול ממי הרב רצה ללמד שכששואלים רב שאלה צריך להכריע את ההלכה ולתת תשובה במקום בלי פלפולים מיותרים .
אולי זה לא נכון אבל כך הבנתי בעניותי.