小葡藉由東亞貿易發了大财後，也面臨着内外諸多困擾與挑戰。小葡成為暴發戶之後，消息很快地傳遍整個歐洲，吸引到幾個國家的高度關注。都想要與壟斷對華貿易的小葡正面對決。
西班牙入場，窺視澳門
第一個登場就是大哥西班牙，有别與小葡是繞過非洲，從印度洋到亞洲。鄰居西班牙則是在新大陸鬼打牆一陣子，最後就由麥哲倫完成全球航行後，才知道渡過太平洋也可以抵達亞洲。于是西班牙人開辟了一條替代好望角的亞洲航線。一五七一年，天主教大哥西班牙在菲律賓的馬尼拉正式建立居留地，随即耶稣會的狗頭軍師出謀獻策，想要以馬尼拉為基地征服中國，被教訓了一頓後，才知道大明哥不是美洲那些土著，不是好惹的，很快調整了對話政策。不久西班牙與小葡三秒合體，兩國合并。但澳門馬照跑，舞照跳。小葡國旗照挂，原有的貿易正常運作。不過菲律賓的西班牙人仍對澳門的富庶念念不忘，不斷派遣使者到中國，希望也能與中國做做生意。隻是大明哥與小葡有着深厚的“甜蜜愛情”，狠狠拒絕了西班牙。眼看小葡與中國都非常強硬，西班牙人碰着一鼻子灰，灰溜溜地轉往呂宋，專心于墨西哥之間的大洋貿易。趕跑了西班牙人後，小葡繼續獨享東亞的貿易航線，在澳門數錢數到手抽筋。
海上馬車夫，争奪澳門失敗
不過好日子沒多久，這時又出現了另一位競争對手，就是歐洲小清新荷蘭，最初荷蘭得知小葡從東方帶回香料後，也争先恐後地前往裡斯本購買，畢竟小葡的香料直接從産地進口，價格比那些威尼斯奸商便宜多了。荷蘭本來是大哥西班牙統治下的一個省而已，後來因為不爽大哥殘暴統治，從一五六八年開始打獨立戰争。但在一五八零年，西班牙國王腓力二世二世兼任葡萄牙國王，西葡合體，大哥為了懲罰小老弟，封鎖裡斯本與荷蘭之間的貿易，忽然之間荷蘭的貨源就這樣斷掉了。但在商業間諜的幫助下，荷蘭取得了小葡的航海秘密，随即派出商船船和戰艦前往東方。一六零一年，荷蘭艦隊出現在亞洲海域，宣告着荷葡大戰即将來臨。隔年荷蘭東印度公司成立，荷蘭就像打通任督二脈一樣不斷壯大。一開始荷蘭醉心于摩鹿加群島的香料貿易，但發現澳門非常會賺錢，于是逐漸看向中國與日本。攻占澳門、建立基地就成為了荷蘭人的戰略目标之一。
一六零五年荷蘭軍艦到達澳門，想把澳門占為己有，兩國在澳門大打出手，但小葡防禦堅固，荷蘭人無功而返，此後荷蘭人隔三差五的就到澳門騷擾。不過都沒有成功。然而荷蘭人卻不想放棄。一六一一年，荷蘭人取得與日本的貿易許可，但仍然無法直接獲得中國的商品，是以奪取澳門成了唯一出路。一六二年四月十日，荷蘭東印度公司總督科恩從巴達維亞出發，帶領八艘軍艦、一千多名士兵，準備進攻澳門，荷蘭艦隊邊走邊打。六月十一日抵達澳門時，戰船增加到十三艘，但士兵卻降低到九百人。但此時小葡的主力正好在中國内地，正在幫大明哥抗清，隻留下約六十名葡萄牙人與九十名混血兒。六月十一日淩晨，雙方展開激戰，雖然葡萄牙人人數較少，但運氣不錯，火炮打中荷蘭人艦隊的彈藥庫，重創了荷蘭官兵，葡萄牙人聯合黑人越戰越勇，把荷蘭人趕下了大海。澳門的葡萄牙人以少勝多、擊潰了荷蘭的入侵。小葡認為這定是聖母顯靈，決定把六月四日定位城市日。這傳統一直保持到一九九九年澳門回歸前。
由于澳門難以攻陷，也讓荷蘭人放棄獨占中日貿易的美夢，這才轉向澎湖與台灣發展，轉向跟西班牙人競争，也才有了日後與國姓爺鄭成功的一戰。如果荷蘭人打下澳門，也就沒有後來台灣的事情了。來硬得不行，荷蘭人就開始來陰的，蓄意挑撥小葡和日本的關系，和日本說小葡要教徒都歸順教皇，本來對貿易糾紛就有點不爽的日本得知後在一六二四年驅逐了西班牙與葡萄牙人，澳門與日本的貿易大受影響，最終于一六三九年完全中斷。
身為十足的商人，對傳教完全沒興趣的荷蘭人就此獨占了對日貿易。而日本從荷蘭的身上學到了西洋學術，對鎖國中的日本影響很大，稱為蘭學。兩年後，荷蘭人攻陷了葡萄牙人的亞洲大學營，就是馬來半島上的馬六甲，徹底控制了東方貿易的生命線，葡萄牙帝國開始分崩離析。與此同時，葡萄牙人決定擺脫西班牙的統治複國，宣誓效忠葡萄牙的新任國王，結果遭到菲律賓的西班牙人報複，切斷了澳門與馬尼拉的貿易往來，澳門就是沒落。
清朝政府加強對澳門的管理，最後澳門淪陷
一六四四年，大清哥取代大明哥，但為了表示正統，于是也沿用大明哥的制度，讓小葡繼續在澳門做生意。不過為了防範鄭成功等海外反清勢力，采取嚴厲的海禁和遷海政策，不斷加強對澳門的管理，還在澳門邊界派重兵駐守，又在廣州設立海關，就是要加強澳門的稅收管理。還限制小葡在澳門增建城牆、房屋等活動。否定小葡對當地華人有管理職權。
很快的時間來到了鴉片戰争，結果大清哥日益衰弱，澳門的鄰居香港被割讓給英國，香港各方面來說都比澳門來得好，是以澳門對外貿易視窗角色逐漸被香港取代。之後小葡趁機嘗試向華人征稅，停止繳交地租與驅逐大清官員，反正就是看大清哥是個廢物。最終一八八七年，小葡與大清哥簽訂《中葡和好通商條約》，正式取得了澳門的永久居住權。澳門就此成為了葡萄牙的殖民地。同時葡萄牙人也把統治範圍由澳門本島南部擴大到整個半島，并把氹仔和路環兩個離島納入管轄。面對國際形勢巨變、香港崛起，葡萄牙政府雖然想把澳門轉型為自由港來挽回頹勢，但澳門的貿易政策、港口及城市建設都不如香港。它的國力也遠遜于英國。無利可圖下，中國商人紛紛前往香港，讓澳門變得相當貧困。但太平天國事件後給澳門帶來了一線生機，葡奧政府也為經濟下了一點猛藥，就是黃賭毒。娼妓、賭博與鴉片産業鍊。澳門怎麼成為了嫖客、賭徒，還有煙槍天堂呢？
英國人強勢加入，澳門沒落
鴉片戰争之後，英國取得了香港，讓澳門的經濟雪上加霜。長久以來，澳門得以生存都是依靠我們清政府的恩惠，葡澳政府靠着卑躬屈膝，在轉口貿易上大賺特賺，但依靠他人恩惠的經濟模式，根本不是英國這種商業國家的對手。
1845年葡萄牙女王為了拯救澳門經濟，宣布澳門為自由港，想要與香港抗衡。自由港就是以後各國船隻來澳門做轉口貿易，不收關稅，也不用經過海關人員。想借以吸引外國商船，但此舉卻讓澳門喪失了唯一的稅收來源，經濟也不見起色，随着各國商人離去。失業的中國勞工也都撤出了澳門，結果就是香港越來越繁榮，澳門卻一蹶不振。但澳門最後卻靠黃、賭、毒翻身了，這是為什麼呢？
鴉片成為葡萄牙拯救澳門的希望
現在聊聊鴉片，就是毒。一七二九年，雍正七年，當時中國尚未禁煙，葡萄牙人從印度殖民地果阿進口鴉片到澳門，一開始數量不是很多，但卻是當時唯一能向中國輸入鴉片的洋商，之後，葡萄牙人靠着鴉片發了橫财，也引來其他洋人的垂涎欲滴。
十六世紀末，日後葡萄牙人最強的對手終于出現，就是在大海時代勝出的英國人。一開始英國也得借道澳門來販賣鴉片，但英國人的做法明顯比葡萄牙人聰明多了，葡萄牙是官員們自己下來賣鴉片，英國則通過東印度公司來賣，英國政府直出幹股，必要時再出動軍艦、大炮而已。不過整個十七世紀。葡萄牙人都是被荷蘭人壓着打。英國人此時很低調，直到一八二零年，這時荷蘭經過四次英荷大戰，海外殖民地大部分被英國搶走，荷蘭本土也被法國入侵，從此從海上馬車夫變成了農夫，種了一百多年的農田。直到二戰被德國并吞。而新崛起的英國終于找到一個取代澳門的地點，就是伶仃洋，之後輸華的鴉片逐漸轉移到伶仃洋。後來東印度公司更直接從英屬印度的孟賣出口鴉片，使得葡屬印度的鴉片大受打擊，澳門鴉片産業迅速衰落。因為澳門是淺水港，水淺、港載适合帆船停泊，加上地理位置好，是以在帆船時代以轉口港來說非常熱門。
但一七六零年代工業革命後，出現了機器輪船之類的船隻，這類船隻吃水較大。需要水深港闊的港口。是以鴉片戰争後取得深水港香港的英國，配上更靈活的東印度公司，就順勢取代了澳門。但後來發現香港有一部分的鴉片還是得通過澳門出入中國内地，這讓葡澳政府還能從中撈點油水。因為澳門地處西江水網地帶，港口又多，小型船隻往來非常友善，且澳門華商與與内地沿海有着密切的商貿關系。一八四五年，澳門又變成了自由港，等于給走私開了扇大門，于是澳門成為了僅次于香港的鴉片走私中心，大量的鴉片以走私的方式進入澳門，很多華商也在鴉片産業鍊上大賺特賺。從鴉片的運輸、儲存、熬制、到販售，完全可以獨立作業。而澳門政府的态度一方面是包庇。
澳門靠人口買賣開始恢複
另一方面還允許經營另外一項可以發大财的特殊貿易，就是販賣人口。販賣人口本來就是葡萄牙的老本行。大航海時代初期，葡萄牙人就以販賣非洲黑奴聞名。鴉片戰争後，中國淪為為半殖民地，西方列強對苦力勞工有強大的需求，這些華工俗稱豬仔，而招募辦公室就成為豬仔館。豬仔會去美國修鐵路，或者更慘地去秘魯挖鳥糞，進行低級的勞動工作。賣豬仔是一門有損豐厚的交易，是以澳門開了大量的豬仔館。現在的大三巴街就是豬仔館的集中地。鴉片戰争後的華工輸出大多是從澳門出去的，因為葡澳政府從中抽了不少油水，不但支援買賣人口，還公布各項管理措施以確定秩序。對華商來說，雖然買賣人口在澳門合法，但于道德上卻說不過去，怎麼可以販賣自己的同胞呢？但買賣豬仔成本低、利潤高，還受到葡澳政府的保護，是以華商都把自己的商鋪改為豬仔館，且層層分工，有一個大豬仔頭，上面有豬仔頭、豬仔跋、豬仔索等，豬仔頭負責與洋人簽合約，而豬仔索就像業務員一樣到處騙人。
一八五零年代後期，澳門的豬仔貿易空前繁榮，靠豬仔生意過活的人多達三到四萬人。這批黑道商人、人口販子、地痞、流氓、嗜賭成性，也是澳門賭博業興起的關鍵。當時為了誘騙華工出國，其中一個手段就是設局誘騙華工到賭場賭博。傾家蕩産後就會被迫簽下賣身契約。然後就被豬仔頭賣掉了，而豬仔頭幾乎沒什麼風險，但利潤爆高。不少華商靠着買賣豬仔發家緻富。
人口買賣被禁後，澳門開始以賭為主業振興經濟
一八七四年，葡澳政府受到中外的各方壓力，被迫停止豬仔生意，澳門經濟就此陷入絕境。但是還好賭博業興起，這些靠豬仔發大财的華商，又順勢把錢轉去了博彩業。從澳門開港以來，賭博這個特殊行業就已經在澳門流行了。十八世紀中葉，雖然澳門禁娼、禁賭，但澳門的賭博和娼妓在當時就已頗為常見。從澳門開港以來，廣東來的碼頭勞工、建築勞工也帶來了各種賭博。鴉片戰争之後，澳門經濟一蹶不振，為了振興經濟，澳門總督把賭博合法化，但更大的關鍵點在于一八六七年前後，廣東政府禁賭，使得賭徒不得不前往澳門與香港，這兩個背離王法之地，但香港一八七二年也禁賭。大批賭性堅強的香港賭徒，結伴前往澳門賭博，澳門也就成為了賭博天堂。是以晚清時的澳門街頭總是布滿了華人開設的賭館，葡澳政府也從賭稅中發了大财。那時賭稅占了全澳門稅收的百分之六十五到七十五，是以澳門靠着黑色經濟、鴉片、販賣人口與賭博撐起了一片天。而黑色經濟還有重要的一環就是性産業。澳門著名的紅燈區福隆新街已有一百五十多年的曆史，在一八六二年以前，這裡還是一片荒蕪。澳門總督為了開發這一帶，鼓勵商人到此開發，被允許嫖、賭和吸食鴉片，在這裡公開營業，被劃定北邊為煙館和賭館，南邊為妓院，打造完美的黃、賭、毒一條龍，在全盛時期，這裡有六十多間妓院，妓女人數破千人，是以黃、賭、毒本是一家親，澳門政府靠着黑色産業鍊賺了大錢。也是有其曆史因素的。中國内地因為太平天國事件，來了一群難民與土豪，分别提供了便宜的勞力與發展用的資金，這兩樣完美的結合，因為剛好香港要崛起，澳門的衰落不得不讓澳門往黃、賭、毒靠攏，開創了澳門經濟的新時代，也可以說澳門取得了天時、地利與人和，把黃、賭、毒發揚光大。