原標題：北京消協殺熟榜 是什么技術正在偷窺我們
近日，北京市消費者協會發布了“大數據殺熟”問題調查結果。在主觀問卷調查方面顯示，88.32%的被調查者認為“大數據殺熟”現象普遍或很普遍，有56.92%的被調查者表示有過被“大數據殺熟”的經歷。同時，被調查者認為網購平臺、在線旅游和網約車等消費“大數據殺熟”問題最多，在線旅游高居榜首。
價格歧視的概念是指零售商、批發商或制造商對同一商品向不同的顧客收取不同的價格。這是一種普遍的做法，并不一定意味著消極歧視。
一、二、三級歧視分別適用于企業采用的不同定價方法。這在很大程度上取決于對細分市場的了解，以及消費者支付更高或更低價格的能力，即需求彈性。
有人可能會為一件商品支付更多的錢，這被認為是需求彈性較低的。另一個不愿意付那么多錢的人相對而言具有較高的彈性。
一級價格歧視包括根據每位顧客的個人意愿向他們收取一定的價格。
二級價格歧視不是根據顧客的特點收費，而是根據所購商品的數量收費，例如數量折扣。
第三級價格歧視依賴于把顧客分成不同的群體，并根據這些群體內的支付意愿收取不同的價格，例如電影的高級折扣。
顯然，賣家并不總是能夠識別出誰愿意為某些商品支付更高的價格，但當他或她能夠這樣做時，他的利潤就會增加。
消費者可以在新車和二手車的銷售中看到一級價格歧視。
人們會為具有相同功能的汽車支付不同的價格，銷售人員必須嘗試衡量汽車的最高售價。
這通常包括一個討價還價的方面，即消費者試圖以更低的價格進行談判。
二級歧視是指公司對更高數量的產品收取更低的價格。
如果客戶大量訂購，并且能夠同時購買大量相同的商品，客戶可能會得到折扣。這個“批發價”不適用于一次只訂購幾件商品的客戶。
這種價格歧視在零售店很常見，如果顧客買兩件T恤而不是一件，就可以打折。
這種形式有助于售出庫存，為公司創造更多的收入。
三級價格歧視是建立在對市場的了解基礎上的，基于人口群體，并且發生的頻率很高。
這種類型有許多不同的形式，但在所有情況下，都試圖從每個細分的“消費者組”獲得最多的銷售額。
例如，老年人被認為是一個群體，他們經常在電影院、交通、餐館，甚至在零售商店享受折扣，老年人每周可能有一個“老年人日”，可以在商品上打折。
“學生”是另一個細分的群體，也可能被提供更低的價格。
老年人和學生都有更高的需求彈性，通�？梢越邮鼙纫话闵习嘧甯偷膬r格。
在考慮需求彈性時，市場細分也可能會評價一個地區的社會經濟方面。
在一個零售商知道自己可以為一件商品賺到更多錢的地區，零售雜貨店提供不同的價格并不罕見。
如果一個地方只有一家連鎖店，零售雜貨店可能會提供更高的價格，因為人們沒有其他地方可以購物。
三級歧視的另一種形式是機票的臨時折扣，目的是增加業務。這些折扣可能是季節性的，旨在促銷并增加業務。
與農村地區相比，城市地區的人可能要支付更多的機票或酒店費用。
是什么技術在“偷窺”我們?
價格歧視并不是一件新鮮事，但有了互聯網時代的大數據等新興技術，這種“不同人不同價”的規模和速度都達到了新的階段。許多消費者突然意識到自己的思想、消費觀念甚至生活的方方面面都已被置于他人的“監視”之下，這種隱私泄露的問題讓大數據等技術成為了一把“雙刃劍”。
那么大數據背后的技術原理是什么?新時代究竟是什么技術正在收集我們的個人數據?
從產生數據、收集數據、存儲數據到數據處理分析，這一過程中所涉及的各種技術可能比我們想象的還要多得多。
數據采集
獲取大數據需要兩個主要的子組件，第一個組件是感知數據本身的存在，第二個組件是收集和存儲數據的階段。
這兩個子組件都是非常多樣化的領域，用于執行這些任務的技術發生了許多快速變化。
數據感知
數據并不存在于真空中，而是作為一個更大的過程的一部分而創建的，尤其是在現代技術方面。
因此，數據來源本身在決定如何在更大的范圍內捕獲和分析數據方面起著至關重要的作用。
實體不斷向環境中釋放信息，這些信息可以被用于大數據的目的，從而產生兩種主要類型的數據:“天生數字化”的或“天生模擬”的數據。
“天生數字化”數據
“天生數字化”的信息是由用戶或數字系統創建的，專門供計算機或數據處理系統使用。這是一個范圍廣泛的信息，每天都有更新的字段被添加到這個類別中。
簡短地列出清單：電子郵件和短信、任何形式的數字內容輸入，包括鍵盤、鼠標交互和觸摸屏、GPS定位數據、日常家用電器(物聯網)數據等。
所有這些數據都可以被跟蹤和標記到用戶身上，并被聚合起來形成一個更大的圖景，從而極大地擴大了構成大數據中的“數據”的范圍。
這些“天生數字化”的資料，在送去收集/儲存前，如何由用戶方面的科技途徑編錄?其中一些方法如下：
Cookies——網站會在用戶設備上留下一些小的、通常只是文本的文件，以便在隨后的事件中(例如，重新訪問網站)進行訪問、任務或操作(例如，登錄電子郵件帳戶)。
網站分析——各種各樣的服務，如谷歌Analytics、Piwik等，都可以使用JavaScript和其他web開發語言來記錄用戶在網站上的行為，進行非常詳細、密切的跟蹤，包括用戶鼠標在鏈接上方停留的時間，花在網站/應用程序上的時間，在某些情況下，甚至花在頁面特定部分的時間。
GPS——隨著具有基本定位功能的智能手機的廣泛使用，這些設備上的GPS傳感器用于向應用程序、操作系統，甚至是第三方提供有關用戶位置的定期、分鐘級的驅動更新�，F代技術的更新，如A-GPS可以在沒有衛星覆蓋的情況下提供基本的定位信息，極大地擴展了室內定位數據收集的能力。
所有這些感知“天生數字化”數據的例子都是常見的，全世界數十億人每天都在使用這些技術，這象征著它們已經深深地滲透到我們的日常生活中。
除了隱私和安全方面的擔憂，這反過來也會導致為任何相關方收集的可用數據呈指數級增長。
傳感器數據
當信息包含了物理世界的特征時，如圖像、視頻、心跳等，我們稱之為“模擬”。
當這些信息被“傳感器”處理時，這些信息就變成了電子信息。“傳感器”是一種能夠記錄物理現象并將其轉化為數字信息的設備。
以下是一些例子，可較好地說明以模擬方式產生但以數字方式收集的資料:
設備上的語音和/或視頻內容——除了電話和其他形式的通信，商家還開始定期捕獲基于視頻和語音的交互，以提供增強的服務。
其中包括Google Now、Cortana等數字助手以及車載語音導航系統等。
個人健康數據——如心跳、血壓、呼吸等等, 這些個人的、潛在的非常有用的信息是由設備上的專用傳感器收集的，使用如Fitbit、Mi Band這樣的設備，以及越來越復雜的智能手機應用程序，如Google Fit，無需任何特殊設備就能做到這一點。
家用電器上的攝像頭——視頻游戲機等設備上的攝像頭和傳感器(Kinect就是一個相關例子)可以記錄詳細的人類互動，除了與設備本身進行基本互動外，還可以挖掘大量信息。
雖然不像“天生數字化”數據那樣是一個龐大的類別，但技術成本日益降低，以及數字、網絡化設備的普遍使用，正導致傳統上本質上類似的信息被捕捉并以快速增長的速度使用。
數據收集與存儲
傳統數據的處理通常采用提取、轉換、加載(ETL)方法，該方法用于從外部數據源收集數據，修改數據以適應需要，然后將數據上傳到數據存儲系統中，供將來使用。
如電子表格、RDBMS數據庫、結構化查詢語言(SQL)等技術，最初都是用來執行這些任務的，通常都是手工完成的。然而，對于大數據來說，傳統的方法既低效又不能滿足現代使用的需求。
大數據中使用的大多數解決方案都依賴于兩個主要組件來存儲數據:分布式系統和運行在非關系(內存)數據庫系統上的大規模并行處理(MPP)。
傳統上，數據庫性能和可靠性是使用純性能指標(每秒浮點運算次數等)以及原子性、一致性、隔離性、持久性(ACID)標準來度量的。
大數據應用中最常用的數據庫系統如下:
非關系型數據庫
傳統上，數據庫是結構化的實體，僅依賴于使用顯式定義的關系將存儲在其中的信息關聯起來的能力。
甚至在大數據出現之前，這一前景就已經成為利用大量存儲信息的限制因素，這導致了非關系數據庫系統的發展。
非關系數據庫也稱為NoSQL數據庫，包括MongoDB、Couchbase等。它們是為管理和存儲非結構化數據而開發的。
它們的目標是可伸縮性、靈活性和簡化開發。
這樣的數據庫更側重于高性能的可伸縮數據存儲，允許在應用層而不是數據庫特定語言中編寫任務，從而實現更好的互操作性。
內存數據庫(IMDB)
為了克服傳統數據庫系統的性能限制，一些現代數據庫現在使用內存數據庫。這些系統管理服務器RAM內存中的數據，從而消除存儲磁盤輸入/輸出。
與傳統數據庫系統所需的分鐘或小時相比，這幾乎允許來自數據庫的實時響應。
這種性能上的改進是如此之大，以至于人們正在為使用IMDB系統開發全新的應用程序。
這些IMDB系統也被用于對大數據的高級分析，特別是為了提高數據的訪問速度和分析模型的評分率。
IMDB的例子包括VoltDB、NuoDB、SolidDB和Apache Spark。
混合系統(Hybrid Systems)
這是在大數據應用處理或分析數據之前用來存儲數據的兩大系統。
然而，數據存儲和數據管理之間的差別很小，大多數數據庫系統還包含各種獨特的屬性，以滿足特定類型的分析。
Apache Hadoop33是一種非常常用的混合系統，它處理存儲和數據感知。
Apache Hadoop由兩個主要組件組成:用于大數據存儲的HDFS和用于大數據分析的MapReduce。
Hadoop中的HDFS存儲功能提供了一個可靠的分布式文件系統，可以跨多個系統存儲，用于處理和冗余。
文件系統針對大型文件進行了優化，因為單個文件被分割成塊并分布在稱為集群節點的系統中。
此外，節點之間的數據由復制機制保護，即使任何節點失敗，復制機制也確�？捎眯浴�
Hadoop的冗余性、速度、在商品硬件上運行的能力、行業支持以及快速的發展速度，使得它幾乎與大數據同步。
數據意識
在大數據背景下，數據感知的任務是在一組數據中創建一個關系方案，允許數據的不同用戶確定流動但有效的數據上下文，并將其用于他們想要的任務。
它是一個相對較新的領域，目前大部分工作都是在語義結構上進行的，以允許數據以互操作格式獲得上下文，這與當前系統不同，在當前系統中，數據使用惟一的、特定于模型的構造來獲得上下文(如XML模式等)。
這個領域的一些原始工作是以使用資源描述框架(RDF)的形式進行的，RDF的構建主要是為了以一種可移植的方式描述數據。
SPARQL是用于實現基于RDF的設計的語言，但在公共領域和大數據領域，這兩種語言都沒有得到充分利用。
Kurt Cagle和Bob DuCharme等作者預測，它將在未來幾年爆發。
企業也開始意識到互操作上下文的價值，Oracle Spatial和IBM的DB2在過去3年中已經包含了RDF和SPARQL支持。
盡管沒有得到充分利用，但該領域的快速發展將使數據意識對Hadoop甚至SQL這樣的大數據產生影響。
其中一些方面已經開始應用于人工智能、自然語言處理等領域，具有巨大的發展空間。
數據處理與分析
數據處理主要有三個目標:確定所收集的數據是否具有內部一致性;使用他們能夠理解的隱喻或類比，使數據對其他系統或用戶有意義;并且(許多人認為是最重要的)基于過去的數據和趨勢提供對未來事件和行為的預測。
這是一個非常廣闊的領域，技術日新月異，本節主要關注數據分析中最常用的技術。
為了進行有效的處理，數據分析需要滿足四個主要條件:快速、數據加載、快速查詢處理、有效利用存儲和適應動態工作負載模式。
通常與滿足這一標準以及大數據相關的分析模型是MapReduce。
MapReduce是一種通用的并行編程概念，源于函數式編程語言的“Map”和“Reduce”，特別適合大數據操作。
它是Hadoop的核心，并在其他大數據系統中執行數據處理和分析功能。
MapReduce通過將任務分解為多個步驟并在多個系統中并行執行這些步驟來操作。
這樣做有兩個好處，一是縮短了完成任務所需的時間，二是減少了執行任務所花費的精力和精力。
該模型非常適合大數據操作所需的大數據集和快速響應時間。
還有其他一些更小眾的模型和算法(如LinkedIn使用的Voldemort項目)，它們也被用于大數據。
數據治理
數據治理是對原始大數據以及大數據產生的經過處理的信息進行管理，以滿足法律、法規和企業強加的要求。
雖然數據治理沒有標準化的格式，但各部門(尤其是醫療保健部門)越來越多地呼吁創建這種格式，以確保全面可靠、安全和一致地使用大數據。
以下策略和技術已被應用或建議用于數據治理，并取得了不同程度的成功:
零知識系統(Zero-knowledge systems):該技術建議對底層數據保持保密性，同時允許對加密數據進行某些高層抽象的檢查。
為了使系統為零知識，客戶機的系統必須加密數據并將其發送給存儲提供程序。
因此，提供程序以加密格式存儲數據，除非擁有將數據解密為明文的密鑰，否則無法對其進行相同的解密。
這允許個人向存儲提供程序存儲數據，同時保持包含在此類信息中的詳細信息的匿名性。然而，這些目前只是開始在簡單的情況下使用。
到目前為止，它們還不能擴展到非結構化和復雜的情況下，在用于研究和數據挖掘目的之前，必須對它們進行少量的開發。
同態加密:同態加密是一種隱私保護技術，它對加密的數據執行搜索和其他計算，同時保護個人隱私。
然而，在大數據時代保護隱私的背景下，這一技術一直被認為是不切實際的，并且被認為是近期不太可能的政策選擇。
多方計算:在這種技術中，計算是在加密的分布式數據存儲上進行的。
這種機制與同態加密密切相關，在同態加密中，使用稱為“collusion-robust”的加密算法將單個數據保持私有，而用同樣的算法計算統計數據。
涉及到的各方都知道一些私有數據，并且他們每個人都使用一個協議，該協議根據他們知道的和不知道的信息產生結果，而不揭示他們不知道的數據。
因此，多方計算有助于在不損害個人隱私的情況下生成用于統計和研究目的的有用數據。
差別隱私:盡管這項技術的發展與加密有關，但它遵循的是一種不同的技術。
差別隱私的目的是最大限度地提高計算和數據庫查詢的精度，同時降低數據庫中有記錄的數據所有者的可識別性，通常通過混淆查詢結果來實現。
這在今天大數據的存在中得到了廣泛的應用，以保證隱私的保護，同時試圖獲得大規模數據收集的好處。
可搜索加密:通過這種機制，數據主體可以在最小化暴露和最大化隱私的同時確保某些數據可搜索。
數據所有者可以通過搜索引擎以加密格式提供數據，但通過添加由某些關鍵字組成的標簽(這些關鍵字可以被搜索引擎破譯)，從而使其信息可用。
當使用這些特定的關鍵字進行搜索時，這些加密數據會顯示在搜索結果中，但是只有當用戶擁有解密信息所需的密鑰時才能讀取這些數據。
這種加密技術為個人數據提供了最大的安全性，并盡可能地保護隱私。
K-匿名性:為了保護隱私，避免重新識別，目前正在應用k-匿名性的特性。
如果個體特定的數據可以被發布并用于各種目的而不會被重新識別，某一數據集被認為具有K-匿名性。
對數據的分析應在不將數據歸于數據所屬的個人的情況下進行，并應對此提供科學保證。
身份管理系統:這些系統使個人能夠建立和保護自己的身份，利用屬性來解釋這些身份，跟蹤他們的身份活動，如果他們愿意，還可以刪除他們的身份。
在分析數據之前，它使用加密方案和協議對個人的身份和證書進行匿名或假名化處理。
隱私保護數據發布(PPDP):這是一種向分析人員提供個人信息的方法，這種方法能夠從數據庫中解碼特定的信息，同時防止推斷可能導致侵犯隱私的某些其他信息。
分析所必需的數據將提供給處理者，而敏感數據將不予以披露。這個工具主要關注微數據。
隱私保護數據挖掘(PPDM):該機制使用擾動方法和隨機化以及加密技術，以便允許對不包含任何形式敏感信息的過濾版本的數據進行數據挖掘。
與PPDP不同，PPDM側重于數據挖掘結果。
結論
目前，盡管88.32%的被調查者認為大數據“殺熟”現象普遍或很普遍，但消費者發現被大數據“殺熟”后，由于其存在復雜性和隱蔽性，維權舉證確實存在困難。
理解大數據背后的復雜技術和原理，有助于讓大數據應用的過程更加透明，并對大數據技術可能造成的危害進行預防和監管。
投稿郵箱：chuanbeiol@163.com 詳情請訪問川北在線：http://m.bb0031.cn/
