因拜訪劉五爺之行非常成功，故利瑪竇決定，再著儒服去拜訪韶州兵備道徐大任。
徐大任見到利瑪竇已感訝異，當他聽到利瑪竇要定居南京時，更是大吃一驚，
並立即表示反對。
因為南京並不適合外國人居住，而徐大任也擔心利瑪竇的到訪將會為他帶來許多麻煩，於是勸他快離開南京。