整合營銷服務商
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
電腦端+手機端+微信端=數據同步管理
免費咨詢熱線：
至7月20日，《鄉下人的悲歌》一周內銷量升至19.7萬冊，比上一周增加13.6萬冊，且連續多日占據亞馬遜圖書榜榜首。與此同時，該書引發的爭議也在同步上升。
電影《鄉下人的悲歌》（2020）劇照。
據美國《出版人周刊》等媒體統計，美國大選最新動向正在持續影響相關圖書銷量。在成為特朗普競選搭檔之后，萬斯的回憶錄《鄉下人的悲歌》銷售軌跡發生了根本性變化。截至7月20日，該書一周內銷量升至19.7萬冊，比上一周增加13.6萬冊。據出版方保守估計，該書的不同版本目前已累計售出約65萬冊，且仍在持續加印中。此外，該書在美國多個圖書榜單上名列前茅，甚至登上了美國書商協會的成人非小說類平裝書排行榜。
《鄉下人的悲歌》最初于2016年出版。許多人認為，這本書對于想要了解特朗普為何對美國工人階級選民有特殊吸引力的人而言，無疑是必讀書目。在書中，萬斯講述了他在俄亥俄州米德爾頓長大的經歷。在那里，他度過了一個貧窮、暴力的童年，母親也染上了毒癮。但萬斯的家族根源可以追溯到肯塔基州杰克遜，他的祖父母“外公外婆”就出生在那里，萬斯的文化身份就是從那里形成的。全書以20世紀80年代為背景，也就是美國鋼鐵行業崩潰約十年之后。彼時經濟衰退導致許多人失業，生活陷入困境，萬斯的家人也不例外。而萬斯想描繪的也正是這群人的掙扎。
該書在當年出版后，曾迅速引起美國國內自由派和保守派的強烈反響?！都~約時報》曾發布書評認為，這本書“對白人底層民眾進行了富有同情心和洞察力的社會學分析”。2020年，根據該書改編的同名電影在流媒體平臺網飛上線，并迅速躋身平臺播放量前十名。當時，萬斯還以一個溫和的反特朗普者示人，而在這本書重新進入大眾視野后，萬斯已經被外界視為大聲疾呼“讓美國再次偉大”的戰士。
《鄉下人的悲歌》，[美]詹姆斯·戴維·萬斯 著，劉曉同 莊逸抒 譯，江蘇鳳凰文藝出版社，2017年4月。
隨著該書銷量的持續上升，圍繞該書的輿論也日益呈現兩極化。萬斯的支持者認為，這本書是一部關于戰勝赤貧的勵志故事，它讓人們更多意識到影響美國窮人生計的根源，盡管這本書從一開始就沒有打算代表所有人。而爭議聲音就來自于此。越來越多批評者認為，這本書歪曲了阿巴拉契亞社區的形象，萬斯在書中將阿巴拉契亞人描繪出“基因低劣、懶惰”的人。萬斯在書中寫道：“貧窮是家族傳統”，并認為鄉下文化“越來越助長了社會衰敗，而不是阻止它”。
對此，肯塔基州桂冠詩人西拉斯·豪斯（Silas House）認為，萬斯不公平地將經濟不平等和系統性壓迫等超出肯塔基州東部人控制范圍的挑戰歸咎于他們，同時“沒有為其判斷提供任何歷史或文化背景”。作家威利·卡弗（Willie Carver）則認為，萬斯在創作《鄉下人的悲歌》時利用了人們的情感創傷，并在2016年激烈的選舉中依靠刻板印象來助長虛假的政治敘事。阿巴拉契亞作家馬修·費倫斯（Matthew Ferrence）表示這本書只是評判貧困家庭，而不是尋求切實可行的解決方案。
還有一部分聲音則質疑萬斯的阿巴拉契亞血統，直言“他不是我們中的一員”。在2019年出版的《阿巴拉契亞的清算：一個地區對的回應》（暫譯，Appalachian Reckoning: A Region Responds to Hillbilly Elegy）中，幾位阿巴拉契亞人撰寫回應文章，集中呈現了他們認為萬斯作品中缺乏的多元視角。
在內容爭論之余，該書引出的相關實際抵制行動也備受爭議。德國貿易出版商烏爾斯坦（Ullstein）就因將《鄉下人的悲歌》一書移出書單，遭到德國政界媒體的猛烈批評。上周，烏爾斯坦在給德國新聞雜志《明鏡》的一份簡短聲明中，為其有爭議的決定辯解，稱萬斯從《鄉下人的悲歌》出版時對特朗普的直言不諱的批評者，轉變為如今特朗普最直言不諱的追隨者之一，采取了“激進、煽動、排斥的政策”。但烏爾斯坦因此被指責是在強硬地抵制文化，并試圖將德國圖書業政治化。
除《鄉下人的悲歌》銷量變動之外，美國民主黨總統候選人卡馬拉·哈里斯（Kamala Harris）的作品《我們秉持的真相》（暫譯，The Truths We Hold）需求也在大幅上漲，尤其是在7月21日拜登決定退出2024年美國總統競選之后。盡管該書的銷量數據還未公布，但企鵝出版社的一位代表稱，目前一些零售商已經缺貨，該社已經“立即重新印刷了該書的精裝版和平裝版”。
《我們秉持的真相》英文版書封。
參考鏈接：
1.‘Hillbilly Elegy' Sales Soared Last Week：Sales of Books by Kamala Harris Growing
https://www.publishersweekly.com/pw/by-topic/industry-news/bookselling/article/95564-hillbilly-elegy-sales-soared-last-week-sales-of-books-by-kamala-harris-growing.html
2.The Hillbilly Elegy Movie Undercuts J.D. Vance’s Whole Message
https://slate.com/culture/2024/07/hillbilly-elegy-jd-vance-movie-netflix-trump-vp.html
3.J.D.Vance's 'Hillbilly Elegy' continues to stir controversy and generate book sales
https://www.yahoo.com/news/jd-vances-hillbilly-elegy-continues-to-stir-controversy-and-generate-book-sales
4.Ullstein under fire for removing J.D.Vance's bestseller from list
https://www.thebookseller.com/news/ullstein-under-fire-for-removing-j-d-vances-bestseller-from-list
編譯/申璐
編輯/荷花
校對/陳荻雁
前，美國大選的局勢陷入膠著狀態。
在關鍵搖擺州的爭奪上，特朗普和拜登呈現出極為白熱化的狀態。特朗普和拜登均表示有信心贏下選戰。特朗普甚至認為自己已經贏下了選戰。如今，競選結果將取決于中西部“鐵銹州”——威斯康星、密歇根、賓夕法尼亞等州的結果。
特朗普和拜登的競爭呈現出白熱化的狀態。
無論是哪一方獲勝，對方都很難以接受，許多民眾擔心這可能導致暴力沖突。這也體現出美國社會的撕裂。許多專家也分析，不管誰當選，美國社會都很難回到四年前，而新的挑戰也無可回避。
編譯丨徐悅東
《衛報》的報道分析，不管哪方獲勝，美國都很可能爆發嚴重的示威，各地民眾如臨大敵，都在為可能到來的暴力騷亂而積極準備。在華盛頓特區，白宮、拉斐特廣場和橢圓形草坪已經被高高的鋼鐵柵欄保護起來，其周圍的街區中的企業和公寓樓的玻璃則用木板保護起來，以防打砸搶燒。有錢人則用沙袋加固自己的防御工事。
擔心被打砸搶燒而用木板保護玻璃的商店。
在紐約，由于擔心示威者的沖擊，特朗普大廈則被警察保護了起來。國民警衛隊進城，并撤掉了垃圾桶，防止被安裝爆炸物。由于擔心大選日的騷亂，研發自動駕駛汽車的Waymo公司將暫停在舊金山測試自動駕駛汽車，并將車隊停放到一個“安全位置”。部分美國航空公司正考慮將在美國多個城市市中心酒店的機組人員進行調離。加拿大副總理克里斯蒂婭·弗里蘭(Chrystia Freeland)甚至表示，加拿大政府正與駐美國的外交官合作，確保加拿大公民在選舉后發生騷亂時的安全。沃爾瑪暫時下架槍支彈藥的售賣。
美國民眾如此“未雨綢繆”，是因為他們有了“黑人的命也是命”運動時遭遇騷亂的經驗。若特朗普贏下了選舉，“黑人的命也是命”運動很可能舊火重燃；倘若拜登贏了選舉，極右翼團體也有可能會制造沖突。美國社會撕裂的傷口似乎難以愈合。
和諧的美國社會已經一去不復返了？
在美國，多名專家以及媒體人都在表達一個相似的觀點：無論誰贏了2020年大選，美國社會都回不到以前的那種狀態了——美國的社會撕裂并不會因誰上臺而愈合，特朗普已經徹底改變了美國。
倫敦政治經濟學院社會學教授理查德·森內特（Richard Sennett）表示，即使拜登贏得大選，美國在短期內也不會“康復”。因為在美國，有30%的人屬于極端右翼。他們通過選特朗普來表達他們對“白色美國”的懷舊之情。
特朗普。
這種趨勢在上世紀70年代就開始了。從上世紀70年代開始，這批白人就對“插隊”的其他人感到憤怒。他們覺得，精英和城市貧民窟里的底層人在搶奪他們的社會資源。隨著社會貧富分化加劇，這種情緒在近些年變得更強。支持特朗普的選民大多是退休人員、藍領工人、小企業主和基督教福音派人士。不管大選結果如何，這些人群的憤怒和訴求都不會因此減輕。
CNN駐白宮記者史蒂芬·科林森（Stephen Collinson）表示，即使拜登贏得了選舉，他也不能撲滅“特朗普主義”的勢頭。拜登表示，若他贏下了大選，他將重新加入《巴黎氣候協定》，尊重美國的盟友，拯救美國經濟。但是，科林森認為，特朗普已經嚴重損害了美國的利益和美國在世界上的地位。無論誰當總統，歐盟已經開始構想一個不受美國力量保障的世界。世界格局已經被特朗普改變，拜登已經不可能讓美國回到四年前的狀態。
《衛報》美國政治版塊主編大衛·史密斯表示，無論誰當選，“兩個美國”的沖突傷痕都很難愈合。
在奧巴馬時代，奧巴馬說，“并不存在一個自由派的美國和一個保守派的美國，世界上只有一個美國?！卑莸窃诮衲旮傔x時也說，“若我當上了美國總統，我也會為那些不支持我的人而努力工作。”
盡管民主黨候選人一直在呼吁美國該團結起來，但實際上，這充其量只是一個愿景。今年的美國大選被許多人稱為一場“冷內戰”。就算拜登當選，美國社會的撕裂傷口不可能馬上愈合，“特朗普主義”一定會以一種更為憤怒和暴力的形式繼續存在。假如特朗普贏得了選舉，美國無疑將會更加分裂。恰如美國前國防部長萊昂·帕內塔（Leon Panetta）所說，“這種分裂和仇恨、恐懼和沮喪，不會在大選后的第二天消失。這需要時間。一場選舉、一次演講，國會通過一項法案都無法解決這個問題。”
支持民主黨的地區和支持共和黨的地區宛如兩個世界
“男性vs女性”、“黑人vs白人”、“年輕一代vs年老一代”、“自由派vs保守派”、“農村vs城市”、“好萊塢vs鐵銹帶”、“受過教育的人vs藍領工人”、“支持墮胎vs反墮胎”、“精英vs底層”、“陰謀論者vs科學主義者”……無數的二元對立撕扯著美國。這場總統大選牽涉到這些二元對立的紛爭。這些二元對立還會以各種形式表現出來，包括戴不戴口罩。兩黨斗爭的白熱化使得許多荒謬的對立項都能在現實中成立。
2016年，在電視節目Duck Dynasty v Modern Family中，該節目發現，在支持特朗普的地區，76%至少有一家Cracker Barrel餐廳——這家餐廳提供美國南方家常菜；而只有22% 的地區有一家Whole Foods餐廳——這是一家賣健康有機食物的連鎖超市。而在1992年，這兩項數據分別是54%和19%，這體現出美國不同群體分裂的加劇，以及群體特征同質性的加強。
拜登。
民主黨支持者主要集中在人口年輕且多樣化程度較大的地區，共和黨則從鄉村老年白人選民那里獲得選票。在2016年大選中，特朗普贏得了2584個鄉村地區的選票，而希拉里才贏得了472個。布魯金斯學會的智囊團發現，支持民主黨的地區的經濟產出就占美國經濟產出的近三分之二。
去年，民主黨總統候選人之一安德魯·楊（Andrew Yang）就曾告訴《衛報》記者，在圣路易斯和舊金山之間，或在密歇根州和曼哈頓之間旅行時，感覺像是穿越了兩個世界，而不是穿越了幾個時區。
新美國智庫的高級研究員李·德魯特曼（Lee Drutman）在10月份表示，“事實上，在我們遇到某人時，我們可以立即將他們標簽為“特朗普選民”或“拜登選民”。這種標簽可以讓我們快速的看到這兩種人的顯著不同之處。
李·德魯特曼還表示，在過去四十年中，美國人的不滿和不信任程度在不斷升級。這是因為美國太關注國家層面的政治決策，而忽視了地方微觀的治理，這使得許多真正代表地方利益的議員無法在國會上取得優勢地位。而且，共和黨和民主黨在“城/鄉”分野和“自由/保守”分野上站隊過于鮮明。這直接導致通過選舉解決社會問題的邊際效益遞減，而群眾間的溝壑卻在加深。
世界末日般的競選語言，在美國歷史上從未出現過
奧巴馬曾在民主黨全國代表大會上警告說，若特朗普贏了，美國的民主可能因此凋零。特朗普及其盟友則一直在告訴美國人，若拜登贏了，“社會主義將終結美國”。喬治·梅森大學的情感歷史學家彼得·史坦斯（Peter Stearns）在《華盛頓郵報》說，這種從未出現過的世界末日式的競選語言，使得當下成了一個危險時刻，若對方獲勝，美國的前途將一片漆黑。
經歷過七次美國大選的共和黨政治顧問弗蘭克·倫茨（Frank Luntz）也說，“我從未見過這樣的事情。”在美國政治生活中，長期以來一直都有著這種“不祥之兆”。美國的國父們就曾警告北美十三州的人民，若獨立戰爭失敗，他們將面臨可怕的未來。但是，從前的這些“警告”都沒有如今的極端言論那么令人震驚。
雪城大學研究極端主義的政治學家邁克爾·巴昆（Michael Barkun）表示，“這一切非常令人擔憂。若對方選舉獲勝美國就會因此完蛋的想法，完全不符合美國的歷史傳統?！币驗橐话銇碚f，美國人會將“讓美國完蛋”的假想敵放在外國，比如冷戰時的蘇聯。
邁克爾·巴昆說，“現在對方都不再視對方為對手，而視其為邪惡分子。非此即彼的選擇似乎不存在中間立場，人們對政府和各種機構的信任度會因此大大下降?！?/p>
“黑人的命也是命”運動。
據《華盛頓郵報》報道，弗吉尼亞州有31%的拜登支持者拒絕接受特朗普勝選，有25% 的特朗普支持者同樣不接受拜登的勝利。為此，內戰的謠言甚囂塵上，美國人對選舉后果非常擔憂。像“QAnon”等認為有秘密集團控制了政府的政治陰謀論大行其道，這很可能會導致嚴重的暴力行為。反墮胎活動家艾莉·貝絲·斯塔基（Allie Beth Stuckey）說，她對大選結果感到很恐懼，就像左派擔心特朗普的獨裁威脅一樣，右派也非?？謶置裰鼽h總統的勝選。
邁克爾·巴昆還說，對新冠肺炎疫情的恐懼、對種族歧視的抗議、突然的經濟崩潰，導致了這次美國大選期間極深的不信任感。這也意味著美國在短期內很難再次團結起來。這種史無前例的不信任感在美國民眾對科學權威的態度表現得淋漓盡致。巴昆說，“病毒是看不見的，但比病毒更可怕的是，現在美國人居然都認為科學信息和權威專家是可疑的。”
美國甚至接近內戰的邊緣？
與其他總統形成鮮明對比的是，特朗普沒有把自己定位為一個希望大使，而是一個受害者。多年以來，在美國大選中，呼吁希望和樂觀的候選人很可能獲勝，克林頓稱自己是“來自希望的人”；喬治·W·布什認為自己是“富有同情心的保守主義者”；奧巴馬的競選口號也包括“希望和改變”。特朗普卻與眾不同，他發表陰謀論，甚至認為自己是陰謀集團“深層國家”的受害者。因此，他希望大家要抵制針對他的迫害行為。
面對大選結果，特朗普一再表示他可能會拒絕接受選舉結果。拜登則為此表示他對特朗普“以某種方式制造社會不安定的”擔憂。拜登曾警告美國人，美國正處于危險的方向，一場全面的黨派戰爭或許會開始。特朗普則辯稱，若拜登獲勝，美國將陷入“暴民政治”，“沒有人會安全”。為此，主持人帕特·羅伯遜（Pat Robertson）在電視節目中擔心道，選舉后“將會爆發戰爭”。他預言美國將經歷“很大程度的內亂”。
在Youtube的一檔節目中，受訪的前特朗普基督教政策的顧問阿梅迪亞（Amedia）牧師表示，他反對拜登的原因是，若拜登獲勝的話，美國人甚至可以跟母牛發生性行為，這簡直是世界末日；因此，特朗普是上帝選出的領導人。不過，作為特朗普的重要粉絲之一，阿梅迪亞牧師也為美國發展出了一種不惜一切代價要贏得選舉的心態而感到悲傷。雙方都認為對方讓美國的靈魂遭到威脅。
特朗普在競選集會上。
此外，這位牧師還希望美國的年輕人不該因此而拒絕相信科學，科學和信仰是不沖突的。在美國的歷史當中，每當緊迫關頭，人們或許會懷疑科學和知識分子。情感歷史學家彼得·史坦斯表示，“這種懷疑可以是健康和民主的。但是，如今我們看到的是，一切權威似乎已經遭到嚴重侵蝕。我認為我們已經達到了內戰的邊緣?！?/p>
阿梅迪亞牧師也對可能使得美國陷入暴力沖突的陰謀論表示擔憂。避免這種陰謀論傳播的唯一方法是，大眾能選出一位被廣泛接受的領導人。而這需要時間。阿梅迪亞說，“為什么我們必須要在左右之間選擇？為什么我們不能又支持民權運動又支持反墮胎？為什么我們不能同時接受科學和宗教信仰？”“在我的教會中，無論結果如何，我們都將帶來團結的聲音……我們如何才能互相尊重地治愈傷口？”
美國有可能因此涅槃重生嗎？
糟糕的沖突或許是嶄新的開始。里奇·洛瑞（Rich Lowry）在10月份的《國家評論》（the National Review）中寫道，特朗普是“抵制全國壓倒性文化浪潮的重要象征物”，“對許多人來說，他是一個可以用中指對付那些在文化上耀武揚威的人。”洛瑞所說的文化浪潮，主要指美國的種族上的政治正確問題。
奧巴馬是美國第一位黑人總統，特朗普作為消滅他遺產的人物而在美國政治上出現。公共宗教研究所的創始人（Public Religion Research Institute）兼首席執行官羅伯特·瓊斯（Robert P Jones）表示：“就美國人口結構變化而言，我們正處在美國歷史的關鍵時刻。這個關鍵時期會加劇許多政治分歧。這超越了政治，因為這一切涉及美國身份的基本問題。在美國所有的歷史當中，盎格魯-撒克遜的白人新教徒是美國身份的核心?！?/p>
在奧巴馬2008年當選總統時，白人基督徒占總人口54%，如今他們僅占44%。因此，瓊斯認為，“在過去十年中，我們已經從一個以白人和基督徒為主體的國家，跨越到不再以白人和基督徒為主體的國家。但是，白人基督徒在文化上的主人翁意識仍然非常強烈。他們如今有一種失落感。因此，他們加深了仇外觀念。人口結構變化是今天美國政治斗爭的深層基礎。”據民調顯示，拜登得到了十分之九美國黑人的支持。人口結構的改變是長期而緩慢的，這也意味著這些年來美國的種族問題注定不會安寧，白人至上主義依然可能猖獗。
除了種族問題之外，其他深層次的社會問題依然困擾著美國?！段幕榻Y和美國靈魂》（Cultural Complexes and the Soul of America）的作者、精神病學家托馬斯·辛格（Thomas Singer）表示，“一切都正在崩潰?！薄安还茏笈蛇€是右派，我認為使我們成為美國人的基本特質開始被改變?！?/p>
辛格表示，這些年的經歷讓他回想到他在1968年的痛苦經歷。當時，他還是一名年輕人，他和他的同齡人都認為美國的未來的一切都將崩潰。當然，美國進入了另一個發展階段?，F在，他聽聞到許多年輕人的苦惱——階層上升通道的缺乏、地球的生態環境惡化、自動化沖擊著就業市場、極端的貧富分化……這些絕望的力量在特朗普崛起之前就已經被充斥在美國社會的各處，特朗普不過是一個表象。
特朗普在競選集會上。
辛格將特朗普視為典型的“美國反叛者”——他是無因的反叛者，他不僅是一個破壞性力量，也是一個阻撓者。他不贊成“特朗普主義”，但他認為特朗普其實給了美國一個嶄新的機會——詩人惠特曼曾稱，美國的基本特質是憤怒地對“野蠻的偏見”進行斗爭，這往往會孕育新生。
特朗普的出現讓美國人可以在種族問題和資本主義問題中，堅定了他們的看法，對那些“野蠻的偏見”進行斗爭，這是一個全新的美國誕生的基礎。當然，若不真正解決美國的社會問題，美國的分裂仍然會繼續。憤怒的民粹主義讓特朗普贏得了2016年大選。但失業問題依然還是很嚴重。若特朗普勝選，辛格希望現實能夠倒逼特朗普去做一些實事解決這些問題，而不是繼續削弱社會信任度?！案鶕祟惖慕涷灒劳龊椭厣B結在一起?！泵绹欠衲苣鶚勚厣€得交給時間。在這些社會問題被改善之前，“兩個美國”的沖突或許只會變得更遭。
本文參考鏈接：https://www.theguardian.com/commentisfree/2020/nov/02/donald-trump-us-election-base-extreme，https://www.theguardian.com/us-news/2020/nov/03/us-election-washington-dc-scene，https://www.theguardian.com/us-news/2020/nov/03/trump-era-division-america，https://www.theguardian.com/world/2020/nov/01/democracy-fascism-global-trump-biden-election，http://newfascismsyllabus.com/news-and-announcements/an-open-letter-of-concern-by-scholars-of-authoritarianism/，https://www.theguardian.com/commentisfree/2020/nov/01/a-win-for-joe-biden-would-only-scratch-the-surface-of-america-afflictions-donald-trum，https://www.washingtonpost.com/politics/end-of-democracy-election/2020/10/25/3b8c0940-13d0-11eb-ba42-ec6a580836ed_story.html，https://www.theguardian.com/profile/richardsennett，https://edition.cnn.com/2020/11/03/world/meanwhile-in-america-october-28-intl/index.html，https://www.routledge.com/Cultural-Complexes-and-the-Soul-of-America-Myth-Psyche-and-Politics/Singer/p/book/9780367272357
編譯 | 徐悅東
編輯 | 走走 羅東
校對 | 薛京寧
本文中，我們將通過Apache Spark，來向您介紹上述四種大數據文件格式的各種屬性，及其優缺點比較。
眾所周知，Apache Spark支持許多種不同的數據格式，其中包括：無處不在的CSV格式、對于Web友好的JSON格式、以及常被用于大數據分析的Apache Parquet和Apache Avro。
1、CSV
CSV(Comma-Separated Values，逗號分隔值)文件，通常被用于在使用純文本的系統之間，交換表格類型的數據。CSV是一種基于行的文件格式。也就是說，此類文件中的每一行都對應到數據表中的具體某一行。通常，CSV文件里包含有一個標題行，該標題行提供了數據的列名。如果沒有標題行的話，該文件將被視為已部分完成了結構化工作。
單個CSV文件往往無法顯示層次化的結構、或數據關系。而具體的數據連接關系往往需要通常多個CSV文件進行組織。各種外鍵(Foreign key)一般被存儲在一個或多個文件的多個列中。不過這些文件之間的鏈接并非由其格式本身來表示。此外，由于并未完全標準化，因此在CSV格式文件中，您可以使用逗號以外的界定符，例如：制表符(tabs)或空格。
CSV文件的另一個特性是：只有處于未壓縮的原始文件狀態、或是運用諸如bzip2(https://en.wikipedia.org/wiki/Bzip2)或lzo(https://ru.wikipedia.org/wiki/LZO)之類的解壓縮工具時，CSV文件才能夠被拆分(注意：lzo需要進行索引之后，方可執行拆分)。
優點：
CSV易于人工閱讀，也易于手動編輯。
CSV提供了一種簡單明了的信息模式(schema)。
幾乎所有現有的應用程序都能夠處理CSV文件。
CSV文件比較易于實現和解析。
對于XML而言，您需要在每一行的每一列中分別添加開始與結束標簽;而CSV比較簡約，您只需一次性寫入列標題即可。
缺點：
由于處置的是平面數據，因此需要事先對復雜的數據結構進行格式上的轉換。
由于不支持列的類型，因此在文本列和數字列之間并無區別。
并無表示二進制數據的標準方法。
由于NULL和引號之間并無區別，因此導入CSV時可能會出現問題。
對于特殊字符的支持性較差。
缺乏通用的標準。
盡管存在著一定的局限性，但CSV文件仍然是數據共享領域的上乘之選。它經常被廣泛地用于各類業務應用、消費者行業、以及科學分析程序中。當前，大多數批處理和流數據處理模塊(如Spark和Hadoop)，都能夠支持CSV文件的序列化與反序列化。它們在讀取時提供了添加schema的方法。
2、JSON格式
JSON數據(JavaScript object notation，對象表示法)是以部分結構化的格式，表示各種鍵值(key-value)對。與XML不同，JSON通常可以按照分層的格式存儲數據，即：子數據可以由父數據來顯示。而與XML相同的是，它們在格式上都具有自我描述性(self-describing)，可以被用戶直接讀取。不過，JSON文檔通常要小得多。隨著基于REST的Web服務的大量出現，JSON文檔被頻繁地使用在網絡通信中。
由于許多類型的數據傳輸都已經用到了JSON格式，因此目前大多數的Web編程語言都能夠支持JSON，或者通過使用外部庫，來對JSON數據進行序列化和反序列化。正是有了這種支持，JSON能夠通過顯示數據結構，幫助用戶實現熱數據(hot data)的格式轉換、以及冷數據(cold data)存儲所涉及到的各種邏輯格式。
目前，許多批處理與流數據處理模塊，都能夠原生地支持JSON的序列化和反序列化。JSON文檔中包含的數據，不但最終能夠以性能更為優化的格式(如Parquet或Avro)予以存儲，而且JSON所提供的原始數據類型，對于按需進行數據重新處理的任務也是非常重要的。
JSON文件具有如下優點：
JSON支持分層式結構，簡化了文檔中有關數據的存儲，以及復雜關系的表示問題。
大多數編程語言都能夠提供簡化的JSON序列化庫，并且能夠對JSON序列化/反序列化提供內置的支持。
JSON支持對象列表，能夠有助于避免將對象列表錯誤地轉換為關系型數據模型。
諸如MongoDB、Couchbase和Azure Cosmos DB等NoSQL數據庫，都能夠支持JSON文件格式。
目前大多數工具都內置了對于JSON的支持。
3、Parquet
Cloudera和Twitter于2013年開發出了Parquet。它可以被用作基于列的存儲格式，并針對多列數據集進行了適當地優化。由于其數據是按列進行存儲的，因此它可以對數據進行高度壓縮(其壓縮算法對于那些包含在列中的、信息熵值較低的數據，效果會更好)，以及拆分操作。Parquet的開發者號稱：此類存儲格式非常適合于處理大數據的相關問題。
與CSV和JSON不同，Parquet是一種二進制文件，其中包含了各種針對其內容的元數據(metadata)。因此，在無需讀取與解析文件內容的情況下，Spark可以僅依靠元數據來確定文件中的列名稱、壓縮/編碼方式、數據類型、乃至一些基本的統計類信息。另外，由于Parquet文件的列相關元數據通常被存儲在文件的末尾，因此方便了用戶一次性快速地寫入信息。同時，Parquet針對WORM(Write Once Read Many，一次寫入多次讀取，請參見)的范例也進行了優化。雖然在寫入文件其速度較慢，但是用戶在讀取時，尤其是僅訪問某個列的子集時，速度卻快得驚人?？梢姡瑢τ谀切┬枰罅窟M行讀取操作的工作負載而言，Parquet是一種不錯的選擇。而對于需要操作整行數據的用例而言，用戶則應當使用CSV或AVRO之類的格式。
Parquet在數據存儲方面的優點包括：
由于是一種柱狀結構的形式，因此Parquet只會讀取所需的列信息，進而減少了對于磁盤I/O的消耗。這個概念被稱為投影下推(projection pushdown)。
由于schema是隨著數據一起移動的，因此數據能夠自我描述(self-describing)。
雖然主要是為HDFS而創建的，但是其數據完全可以被存儲在GlusterFs或NFS之類的其他文件系統中。
作為一個文件，您可以輕松地對Parquet進行移動、備份、復制、以及使用。
能夠對Spark提供開箱即用式的原生支持，能夠對于用戶存儲中的文件直接進行讀取與保存。
當采用諸如snappy之類的壓縮格式時，Parquet可以達到75%的高壓縮比。
在實際運用中，與同類其他文件格式相比，該格式讀取工作流的速度最快。
Parquet非常適合于那些需要對大量數據進行列匯總的數據倉庫類應用。
可以通過Avro API和Avro Schema來讀取和寫入Parquet。
通過提供謂詞下推(predicate pushdown)，Parquet可以進一步降低磁盤I/O的成本。
謂詞下推/過濾下推
謂詞下推的基本思想是：將查詢的某些部分(如：謂詞)“推送”到數據的存儲位置。例如，當我們提供一些過濾條件時，數據存儲將會以過濾記錄的方式，再從磁盤中讀取數據。
謂詞下推的優點：由于不再需要將整個數據讀入內存并進行過濾，因此它并不需要大量的內存，也不會產生過多的磁盤I/O。顯然整體性能得到了顯著提升。
可見，此類方法可以通過較早地過濾掉無關數據的方式，來大幅減少查詢與處理的時間。根據處理框架的不同，謂詞下推可以通過執行不同的操作來優化查詢。例如：在通過網絡傳輸之前便過濾數據，在將數據加載到內存之前過濾數據，或是跳過讀取整個文件(文件塊)等操作。
目前，大多數RDBMS，包括Parquet和ORC等大數據存儲格式，都能夠遵循謂詞下推的相關概念。
投影下推
投影下推的基本思想是：在對存儲進行數據查詢與讀取時，并非讀取所有字段，而只是讀取那些必需的列。通常，Parquets和ORC之類的列格式都能夠通過遵循此概念，以產生更好的I/O性能。
4、Avro
由Hadoop工作組于2009年發布的Apache Avro，是一種基于行的、可高度拆分的數據格式。Avro能夠支持多種編程語言。通常，它也被描述為類似于Java序列化的數據序列化系統。為了最大程度地減小文件大小、并提高效率，它將schema存儲為JSON格式，而將數據存儲為二進制格式。
Avro通過管理各種添加、丟失、以及已更改的字段，來為schema的演化提供強大的支持。這使得舊的軟件可以讀取新的數據，而新的軟件也可以讀取那些舊的數據。而這對于那些經常發生變更的數據而言，是非常重要的。
Avro通過schema架構的管理能力，可以在不同的時段獨立地更新不同的組件，從而降低了不兼容性所帶來的風險。同時，開發人員既不必在應用程序中編寫if-else語句，來應對不同的架構版本，也不必通過查看舊的代碼，來理解那些舊的架構。而且，所有版本的schema都存儲在可讀的JSON標頭中，以方便開發人員理解所有可用的字段。
如前文所述，由于schema是以JSON格式存儲的，而數據是以二進制形式存儲的，因此Avro是持久性數據存儲和電傳(wire transfer)的簡約之選。另外，由于用戶能夠輕松地向Avro附加新的數據行，因此它通常是那些大量寫入工作負載的首選格式。
優點：
Avro是一種與語言無關的數據序列化。
Avro將schema存儲在文件的標題中，因此數據具有自描述性。
Avro格式的文件既可以被拆分、又可以被壓縮，因此非常適合于在Hadoop生態系統中進行數據的存儲。
由于Avro文件將負責讀取的schema與負責寫入的schema區分開來，因此它可以獨立地添加新的字段。
與序列文件(Sequence Files)相同，為了實現高度可拆分性，Avro文件也包含了用于分隔不同塊(block)的同步標記。
可以使用諸如snappy之類的壓縮格式，來壓縮不同的目標塊。
總結
下表是上述四種文件格式的綜合比較。
上表中的*號為：當作為CSV被壓縮時，JSON具有可拆分性方面的類似問題。也就是說：當“wholeFile”選項被設置為true時(請參閱SPARK-18352)，JSON是不可拆分的。
CSV有著最快的寫入速度;JSON方便了人工閱讀和理解;Parquet在讀取列的子集方面速度最快;而Avro在一次性讀取所有列方面速度最快。
JSON是Web通信方面的標準。通過定義良好的schema，各種API和網站可以持續使用JSON進行通信。
針對大數據的需求，Parquet和Avro進行了可拆分性方面的優化，可支持各種壓縮，以及復雜數據結構。不過，它們的可讀性和寫入速度非常差。
作者：luminousmen；編譯：陳峻
原文標題：Big Data File Formats Explained
*請認真填寫需求信息，我們會在24小時內與您取得聯系。
