換臉 App ZAO 爆紅後，不少人擔心自己的臉部資訊洩露後，刷臉支付會被破解進行盜刷，雖然後來支付寶表示 AI 換臉無法破解刷臉支付，但已經有人開始利用 AI 語音合成軟體進行詐騙了。
據《華爾街日報》報導，有騙子透過 AI 合成的語音，冒充一家英國能源公司德國母公司的 CEO ，成功詐騙該公司員工進行大額轉帳，成功騙走了 22 萬歐元（近台幣 770 萬元）。
AI 語音真有這麼逼真嗎？據稱這家英國能源公司的 CEO 接到自稱是德國母公司 CEO 的電話，要求他將一筆 22 萬歐元資金轉帳給一個匈牙利供應商，十萬火急，必須在一個小時之內完成。
這位英國 CEO 一開始並沒有意識到有什麼問題，他表示對方操著德國口音，語調也跟德國母公司的 CEO 幾乎一樣，因此他不覺得可疑，就把款項轉了過去。
有意思的是，在收到這筆轉帳之後，騙子還沒有收手，而是再次打電話，要求英國公司向德國母公司進行一筆匯款來償還一些費用，不過這次的電話號碼卻顯示來自奧地利，英國公司這才開始懷疑，沒有再次轉帳。
這起案件發生在今年 3 月，事後調查發現，這 22 萬歐元並沒有轉給所謂的匈牙利供應商，而是被轉移到墨西哥等多個國家。
幸運的是，這筆損失並不需要這家英國能源公司承擔，而是全部由投保的保險公司 Euler Hermes 負責。警方對這起事件進行調查後發現，騙子用了一種 AI 語音合成軟體來模仿德國母公司 CEO 的聲音，但至今仍無法找到幕後的詐騙者。
該保險公司的反詐騙專家 Rüdiger Kirsch 表示，他們之前從未處理過使用人工智慧進行犯罪而造成的索賠案件，這種透過 AI 技術進行詐騙的模式也被稱為 vishing（語音網路釣魚）。 更令人擔憂的是，這起案例很可能不會是個案，隨著這樣的 AI 技術不斷進步，且門檻逐漸降低，類似的 AI 語音詐騙很可能會一發不可收拾。 根據一家開發語音詐騙軟體的網路安全公司的調查報告，從 2013 年到 2017 年，語音詐騙的數量增長了 350%，其中每 638 個詐騙電話中就有一個是機器合成的。
實際上我們很多人可能都已經接到過 AI 打來的電話，這些 AI 電話的對話、語調都和真人十分相近，每個機器一天能打 1,000 通電話，效率遠高於人類。
而 DeepFake 技術現在已經發展到可以任意篡改影片和語音，之前史丹佛等幾所學校發布了一項新研究，只要輸入任意文本，就能讓影片中的演講者說出對應的話，還能修改原影片的語句，比如將電視台主持人報導的「蘋果股價收盤於 191.45 美元」的數字改為「182.25 美元」。 
儘管這兩個數字的發音和嘴型完全不同，但幾乎看不出修改痕跡。研究者經過調查發現，59.6% 的受試者認為被修改過的影像是真的，這項技術成功騙過了大部分人的眼睛。
這些 AI 技術不斷發展，逐漸就出現像 ZAO 這樣便捷、低門檻的工具，讓每個人可以使用類似的機遇合成換臉影像，或者模仿別人的聲音，同時也難以避免被不法分子利用在犯罪用途。 | 
