今天和大家分享的是一則新聞報道——意大利的個人信息保護機構因對送貨騎手算法歧視問題，對兩個食物配送公司除以數百萬歐元的罰款。

　　意大利的個人數據保護監管機構對該國最大的兩家在線食品遞送公司——Deliveroo和Foodinho——處以數百萬歐元的罰款，因為它們使用的算法歧視了一些“零工經濟”工作者。

　　監管機構表示，兩個公司根據人工智能（又稱機器學習）算法評估所雇傭的快遞員的工作表現，快遞員可能會受到懲罰。但這些算法仍然是保密的，快遞員無法對任何此類評估提出上訴。此外，監管機構表示，這些公司無法證明其算法沒有歧視性。

　　因此，意大利的數據保護機構，即 Garante，周一宣布對Deliveroo 違反歐盟

　　《通用數據保護條例》處以290 萬歐元（300 萬美元）罰款。

　　此前，Garante于7月5日宣布，在對 Foodinho的意大利業務進行調查后，它將對該在線食品遞送平臺違反 GDPR 的行為罰款 260萬歐元（310萬美元）。它還發布了一項禁令，要求作出具體的改進。

　　“這兩起案件對科技企業尤其具有重要的教訓，并顯示了人工智能和GDPR之間的一些沖突”，總部位于倫敦的律師事務所Cordery的合伙人喬納森·阿姆斯特朗（Jonathan Armstrong）律師說。

　　Deliveroo 沒有立即回應對 Garante 調查結果的評論請求，Foodinho 也沒有回應，據說它計劃對罰款提出上訴。

　　針對Foodinho的調查

　　Foodinho由總部位于西班牙巴塞羅那的Glovoapp23 擁有，是一家按需送餐服務。2019年6月，作為與西班牙數據保護機構（即 AEPD）聯合調查的一部分，Garante 對其進行了為期兩天的搜查。AEPD對Foodinho的西班牙業務的調查正在進行。該企業還在非洲、歐洲、亞洲、中美洲和南美洲的其他22 個國家開展業務。

　　Garante說，它發現該公司用于管理其意大利工人的算法——為他們預訂訂單和分配交貨——正在侵犯這些工人的權利。

　　Garante 報告說，所有送貨人員或“騎手”——通常是自行車或輕便摩托車司機——最初得到的分數是一個默認值，隨后根據以下特點和權重進行調整：

　　客戶反饋：大拇指向上或向下的大拇指 - 15%。

　　商家 - 5%。

　　在需求旺盛的時段工作- 35%。

　　交付的訂單 -10%。

　　生產力 - 35%。

　　得分較高的工人獲得了在其他人之前獲得新的訂單的能力。但 Garante 發現，該公司的做法未能尊重工人的權利。

　　“例如，該公司沒有充分告知工人該系統的運作，也沒有保證用于評估騎手的算法系統結果的準確性和正確性”，監管機構認為：“它也沒有保障程序，以保護獲得人工干預的權利，表達自己的意見，并對通過使用有關算法通過的決定提出異議，包括將一部分騎手排除在工作機會之外。”

　　因此，Garante命令Foodinho修改其系統，以核實預訂和分配算法沒有歧視他們，以及修改一些過長的個人數據保留做法。

　　Garante 命令該公司支付260萬歐元的罰款，這不僅是基于人工智能的問題， 也是基于該公司沒有設立數據保護官和沒有保存足夠的記錄。它說，罰款金額還考慮到了“該公司在調查期間提供的有限合作，以及意大利涉及的大量騎手——在檢查時約有19000人”。

　　防止自動決策的保護措施

　　Cordery的Armstrong說，Foodinho 正在使用的算法被發現違反了 GDPR 第22條，該條涉及“自動個人決策，包括畫像”。

　　“根據GDPR第 22 條，個人有權不接受完全基于自動處理的且產生有關他們的法律效力或類似的重大影響決定，包括畫像，除非某些例外情況適用并且對這些個人的具體保護措施到位”，律師說。

　　“調查發現，該平臺使用算法自動懲罰騎手，如果他們的評分低于某一水平，就將他們排除在工作機會之外，這是一種歧視，而且沒有機會進行人工審查，也沒有能力質疑這一決定，這違反了GDPR。”

　　對Deliveroo的調查

　　同時，周一，Garante 宣布了其對 Deliveroo的禁令，日期為7月22日。

　　總部位于倫敦的Roofood公司成立于2013年，以Deliveroo的名義開展業務，不僅在意大利和英國，還在荷蘭、法國、比利時、愛爾蘭和西班牙，以及澳大利亞、新加坡、香港、阿拉伯聯合酋長國和科威特開展業務。

　　2019年6月，作為對食品配送企業調查的一部分，Garante突擊檢查了

　　Deliveroo 的辦公室，在兩天的時間里收集信息并進行采訪。

　　根據Garante的處罰通知，以下是該系統的運作情況：Deliveroo的意大利業務依賴于一個托管在愛爾蘭數據中心的集中式系統，該系統用于支持8000名自雇承包商的騎手。每個騎手都與Deliveroo 簽署了協議，然后獲得一個應用程序，他們必須在自己的移動設備上安裝該程序，并在輪班時使用。

　　對于Deliveroo的意大利業務，經理們將信息輸入位于愛爾蘭的中央系統，該系統將對騎手的表現進行評級，但沒有透露正在使用的邏輯。Deliveroo告訴監管機構，“它只能訪問它能影響的數據，為共享數據庫提供信息，而不決定處理的邏輯”。

　　Garante 發現，被用來評價騎手的信息包括：

　　騎手是否可以在周五、周六和周日晚上等“關鍵時間段”工作。；

　　騎手是否按照預訂完成了訂單，還是在訂單開始后取消；

　　騎手交付訂單的速度如何。

　　評價較高的騎手有機會獲得更多和更有利可圖的工作。但與Foodinho案一樣，除其他問題外，Garante 說其調查發現了圍繞Deliveroo如何使用算法分配工作的多個透明度和公平性方面的問題。

　　例如，GDPR 第5條“有關個人數據處理的原則”規定，個人數據必須“以合法、公平和透明的方式對數據主體進行處理”。

　　“作為其中的一部分，控制者應該能夠證明其算法不具有歧視性”，阿姆斯特朗說，“Deliveroo 說，自檢查以來，它已經改變了平臺，但 Garante 強調， Deliveroo有責任‘定期驗證算法結果的正確性，以盡量減少扭曲或歧視性效果的風險’。”

　　對工作人員進行算法管理的最佳做法

　　阿姆斯特朗說，這兩個意大利案例為任何使用“員工的算法管理”的組織提供了教訓。首先，他建議所有此類組織必須首先進行數據保護影響評估，徹底測試他們的算法是否有任何偏見的跡象，并告知員工公司是如何使用算法來對他們做出重要決定——同時也要以一種易于理解的方式解釋算法的功能。

　　了解當前的人工智能使用規范也會有所幫助。“可以多方咨詢”，阿姆斯特朗說，“道德委員會和/或員工焦點小組可以成為有用的回聲板，以衡量這些措施是否可能被認為是過度侵犯隱私的”。

　　阿姆斯特朗補充說，有太多的“人工智能 ”應用沒有達到這個要求，因此可以預期監管機構對工作場所的算法將進行更多的隱私調查。

　　他說：“我們看到的大多數東西都是簡單的編程——一個公式或算法，它計算出的東西大致是：‘在這個測試中獲得128分的人更有可能成為一個會留下來的好員工’。

　　”這里的問題是，這往往是偏見或直覺被打扮成科學，然后被編入算法。通常這種東西是沒有道理的，是歧視性的。例如，如果我在算法中排除了所有拒絕在周六或周日工作的人，這是否會因為一些人的宗教信仰而將他們排除在外？“