Comment

Comment by Suyuu on June 1, 2023 at 10:28pm

Comment by Dokusō-tekina aidea on October 17, 2011 at 11:16pm

Well done，叶子正绿。很欣赏你流畅好读的翻译，也很欣赏你重新翻译贾伯斯这篇演讲稿的毅力。

你这篇文字出街後两三天，我发现本地主流平面媒体也发表了同一篇演讲稿，用的版本就是你所说的最常见的那一份。

他们直接从网上把人家的翻译下载，连错误的标点符号与字句，也一起转载、印刷。电脑的cut & paste功能，对他们来说真好用。

原来的翻译者本身不确定、译不出原义，所以特地附上的英文原文的地方，他们也一起刊出。读上来，真的像是洋人写中文。

本地媒体真的来到一个新的分水岭。

传统的媒体原来割据一方称王：电视与报刊各有自己生存的空间。

电视上一波的“大跃进”，是1996年的寰宇卫视，15年了，在马来西亚总共650万户家庭中，他们已经进入到大约一半的人家，可说是大霸主了。

可是，他们促进了多少本地制作、培养了多少本地人才，圈中人大家心知肚明。

在中文圈，最高的文化水平大概也只是《大日子》电影，以及《我来自新村》系列纪录片。

平面媒体也已经集团化，龙头大哥稳操胜卷，竞争并不大。

所以，他们几乎是在“定定找吃”的状态中生存。

这两年，因为网路宽频加速，似乎带来新空间；网路电视开始起跑。

不过，有人已经投了大钱无功而返、含恨脱手，有的则进入特定市场，如专为本地韩国、日本社群服务。

还想大开拳脚的集团，烧了大钱後，也结束了制作本地作品的部门，转向卖机顶黑盒子（解码器）的业务；观众买了解码器干什么？看网上的外国免费内容。

几乎就是把别人的东西当着“原产品”卖就是了。和像上面说的，平面媒体直接刊印贾伯斯演词的做法是一样的。

到今天，平面内容与电子内容似乎还没走到一起；更别说互动式与本地故事了。

这可能是《爱垦》的生存空间吧？

Comment by Suyuu on May 25, 2023 at 11:42am

盧桂霞·會館出版刊物意義深遠

目前好些宗鄉會館依然定期出版會刊。這是繁瑣的工作，但意義深遠。進入數碼化時代，有些會館與時並進，將會務活動信息都放上網，讓有興趣的會員自行觀看閱讀。這能節省印刷費，省時省力，可在第一時間知道會館的情況，尤其對較年輕的會員，這是不費吹灰之力的事。但對年紀較大、或對電腦科技不太熟悉的會員，卻是一件苦差，最後可能放棄不看了。所以會館還是會定期出版會刊或常年報告，這是會館應繼續秉持的傳統。

會刊中報道了會館的近況，如發展方向、即將舉辦的活動或剛舉辦過的活動盛況、人事的變遷等，傳遞信息，並加強聯繫。會刊也有軟性的文藝作品，讓會員認識同鄉冩作人。再者，飲水思源報道原籍的風土人情、新面貌等，可增進新知識，促進彼此間的了解。

例如安溪會館出版會訊半年刊，除刊載活動信息外，也收集個人小品，印刷後分送會員、海外鄉親及本地社團。這有助於聯繫感情，互通有無。再如福州會館印刷《三山季刊》，刊載福州的風俗文化、曆史傳統、方言趣談等。海南陳氏公會出版《椰韻》，除介紹海南民謠、海南書畫家外，也收集鄉賢奮鬥的成功故事，這可讓會員了解會館的發展史，也對後人有諸多的鼓勵。

再如晉江會館在刊物信息中，刊載三代同堂慶中秋的盛況，讓老中青三代人同樂，進而呼籲秉承先賢拼搏、謙恭的精神，群策群力，爲會館和國家社會的和諧貢獻力量。永春會館的刊物登載執委會就職典禮、報道宗鄉活動與世界局勢。李氏總會有《李緣》、岡州會館、花縣會館、海南陳氏公會等等，都定期出版會訊。

從長遠來説，這些會訊刊物是公會不朽的資産，可以長久流傳，讓對會務髮展有興趣的會員慢慢閱讀，而作爲公會新的領導班子，更應該翻閱過往的曆史、活動記錄，以繼往開來，大家從長計議，在未來能有新的一番作爲。相反地，如果是數碼化的資料，未必能達到同樣的效果。

其次，年長的領導人也許對電腦科技的使用不是很熟練，或對科技有抗拒的心理，即使想多了解會務情況，也因力不從心，學習速度慢而放棄。這樣説來，數碼化比不上印刷的刊物來得務實和親切了。

出版會訊從收集、挑選資料、撰文，到排版、校對、修訂、送往印刷，最後分派、寄到會員家中及有關社團，甚至海外同鄉會，這都得花費時間和精力，但意義深遠，值得延續。（2023年5月23日新加坡聯合早報）

延續閱讀：

洪祖秋: 地方誌與史實的留存

地方志

社會史視野下的地方志利用與研究

Comment by Suyuu on March 22, 2023 at 11:30pm

媒體及資訊素養　 數碼年代必備技能

科技發展一日千里，加上疫情影響，資訊及通訊科技已經成為日常生活不可或缺的部分，對教育界亦然。經濟合作與發展組織（OECD）的《學習指南針2030》框架指出，傳媒素養（Media Literacy）是學生發展主動性（Student Agency）和變革能力（Transformative Competencies）的其中一個核心基礎。OECD把傳媒素養定義為「通過批判性思維從多種媒體來源中獲取意義並評估其可信度的能力」。於每人手執最少一部流動裝置，隨時隨地能獲取網絡資訊的年代，傳媒及資訊素養有多重要？學校又應如何調整課程，助師生共同擁這數碼年代必備技能？

香港浸會大學互動媒體系教授李月蓮教授研究媒體及資訊素養（Media and Information Literacy）、傳媒教育多年，亦曾加入聯合國教科文組織的編輯諮詢委員會，制定全球媒體和資訊素養的評估框架。她認為媒體及資訊素養是一個綜合的概念，在這個新世代，不單要照顧資訊科技的技術層面，更包括獲得及分析由任何一個資訊平台所得資料的思維和技巧，甚至是從中創造新資訊的能力。

香港浸會大學互動媒體系教授李月蓮教授：
科技及社會轉變乃兩大催化劑

李教授認為科技及社會轉變使媒體及資訊素養愈趨重要。科技日月新異，現今已發展至Web 4.0時代，人工智能、5G網絡、元宇宙成為科技發展的重點。與此同時，這些新興科技為社會帶來一定挑戰，包括人們如何運用它們、它們對人類的影響、人們如何與社交媒體打交道等，亦衍生出網上欺凌、假新聞、資訊超載等問題。要適應和應對科技的轉變和挑戰，我們便需要培養媒體及資訊素養。她舉例說，如今資訊泛濫，我們要學會辨別資訊真偽；網絡公審、「起底」情況嚴重，我們需要辨別參與網絡評論的合適時間和情況。

李教授續說，社會已由工業社會轉型為知識社會。以前，工廠的機器就是我們的生產工具（means of production）；在知識社會，數據、資訊和知識才是最重要的工具。如果民眾不懂得掌握資訊，或不會利用知識和資訊創造新的產品，社會便難以過渡至知識社會，會落後於人。聯合國教科文組織早於十年前便廣推媒體及資訊素養，就是希望協助各國國民得以過渡至知識社會。

展望未來，李教授期望香港全民都有機會接受媒體及資訊素養教育，而學會三件事：使用新科技搜尋資料、評核和辨別資料、利用資訊創造知識。

調整課時教導媒體及資訊素養

資訊科技教育領袖協會（AiTLE）主席；英華書院資訊科技統籌黃健威先生亦深感資訊科技發達，但社會大眾對處理和分析資訊的能力尚有欠缺，必須正視這個問題。黃老師在學校教授電腦科，十分希望把媒體及資訊素養納入課程當中，讓學校有空間教導學生如何處理資訊科技工具和資訊。

在2021/22學年下學期開始，黃老師參與了教育局的先導計劃，從「認識媒體和資訊素養」、「辨別資訊真偽」、「認識社交媒體和拒絕網絡欺凌」三個課題中選取了「辨別資訊真偽」課題，在該下學期共12節課中撥出三節課，教授媒體及資訊素養。

黃老師會在課堂播放網絡或新聞片段，教導學生以USER Model，即理解（Understanding）、搜尋（Search）、評估（Evaluation）、回應（Respond），去應對接收到的資訊，避免人云亦云。他憶述在第一節課後請學生在家觀看一條短片，內容是一名男士在電單車尾吃外賣，但被一名女士攝錄有關過程並批評他是外賣員偷吃外賣。之後黃老師問學生們有何感想，有部份學生竟然相信攝錄女士的描述，認為該男士很壞；故黃老師在之後課節會教導學生去利用USER Model去分析事件，很興幸學生皆能理解，在之後評論另一事件時相對客觀，足見他們的進步和課程的成效。

黃老師期望學生學會該素養後，能成為負責任的市民，成為一股影響力，令社會或網絡上的假資訊或其他不良行為消失。至於學校和社會層面，他希望教育局多加鼓勵學校教授媒體及資訊素養，並提供更多資源，擴展媒體及資訊素養教育，最終目標是所有學生和市民都擁有這素養，再也「不用教」。

在這個資訊科技時代，新一代要在國際舞台上保持優勢，「媒體及資訊素養」及「數碼素養」是不可或缺的能力。「學與教博覽2022」將於12月7至9日舉行，屆時香港浸會大學社會科學院副院長（教與學）李兆璋教授、香港浸會大學互動媒體系教授李月蓮教授、香港教育城行政總監鄭弼亮先生，以及資訊科技教育領袖協會（AiTLE）主席黃健威先生將於「21世紀必修課：培育數碼素養」論壇中，分享對培育學生數碼素養的看法，探討現時學校在推動數碼素養時面對甚麼挑戰。想深入了解數碼素養教育，以及與各國的教育工作者交流全球教育發展的熱門議題，可登記參觀博覽，並挑選心儀節目預留座位。（11/2022 EdPost）

Comment by Suyuu on March 16, 2023 at 9:29am

陳明發〈數字人文&超級AI〉

1960年代，日本工廠已經啟用Industraial Robots, 1970年代家用電腦面世，1980年代開始全球普及，1990年代中進入互聯網，2006年進入Web 2.0，新世紀進入多媒體上網，發展至今日的超級AI，Open AI的GPT 4.0近日也將面世了；谷歌的Bard與百度的「文心一言」。很期待看到數字人文的研究追得上去，這肯定能大開我對文創領域的眼界。

Comment by Suyuu on February 19, 2023 at 9:55am

Alan D. Thompson 〈ChatGPT數據集之謎〉

（Alan D. Thompson [OneFlow] 2023-02-14 08:47 Posted on 北京；更多相關信息進入原載微信平臺）

半個月以來，ChatGPT這把火越燒越旺。國內很多大廠相繼聲稱要做中文版ChatGPT，還公布了上線時間表，不少科技圈已功成名就的大佬也按捺不住，攜巨資下場，要創建「中國版Open AI」。

不過，看看過去半個月在群眾眼裏稍顯窘迫的Meta的Galactica，以及Google緊急發佈的Bard，就知道在短期內打造一個比肩甚至超越ChatGPT效果的模型沒那麼簡單。

讓很多人不免感到詫異的是，ChatGPT的核心算法Transformer最初是由Google提出的，並且在大模型技術上的積累可以說不弱於OpenAI，當然他們也不缺算力和數據，但為什麼依然會被ChatGPT打的措手不及？

Meta首席AI科學家Yann LeCun最近抨擊ChatGPT的名言實際上解釋了背後的門道。他說，ChatGPT「只是巧妙的組合而已」，這句話恰恰道出了一種無形的技術壁壘。

簡單來說，即使其他團隊的算法、數據、算力都準備的與OpenAI相差無幾，但就是沒想到以一種精巧的方式把這些元素組裝起來，沒有OpenAI，全行業不知道還需要去趟多少坑。

即使OpenAI給出了算法上的一條路徑，後來者想復現ChatGPT，算力、工程、數據，每一個要素都需要非常深的積累。七龍珠之中，算力是自由流通的商品，花錢可以買到，工程上有OneFlow這樣的開源項目和團隊，因此，對互聯網大廠之外的團隊來說，剩下最大的挑戰在於高質量訓練數據集。

至今，OpenAI並沒有公開訓練ChatGPT的相關數據集來源和具體細節，一定程度上也暫時卡了追趕者的脖子，更何況，業界公認中文互聯網數據質量堪憂。

好在，互聯網上總有熱心的牛人分析技術的細枝末節，從雜亂的資料中串聯起蛛絲馬跡，從而歸納出非常有價值的信息。

此前，OneFlow發佈了《ChatGPT背後的經濟賬》，其作者從經濟學視角推導了訓練大型語言模型的成本。本文作者則整理分析了2018年到2022年初從GPT-1到Gopher的相關大型語言模型的所有數據集相關信息，希望幫助有誌於開發「類ChatGPT」模型的團隊少走一步彎路。

作者｜Alan D. Thompson
OneFlow編譯
翻譯｜楊婷、徐佳渝、賈川

一些研究人員的報告稱，通用人工智能（AGI）可能是從我們當前的語言模型技術進行演進[1]，預訓練Transformer語言模型為AGI的發展鋪平了道路。雖然模型訓練數據集日漸增大，但缺乏基本指標文檔，包括數據集大小、數據集token數量和具體的內容細節。

盡管業內提出了數據集組成和整理文檔的標準[2]，但幾乎所有重點研究實驗室在揭示模型訓練數據集細節這方面都做得不夠。這裏整合的研究涵蓋了2018年到2022年初從GPT-1到Gopher的精選語言模型的所有數據集（包括主要數據集：Wikipedia和Common Crawl）的綜合視圖。

Comment by Suyuu on February 19, 2023 at 9:55am

1 概述

Image

圖 1. 主要數據集大小的可視化匯總。未加權大小，以GB為單位。

2018年以來，大語言模型的開發和生產使用呈現出爆炸式增長。一些重點研究實驗室報告稱，公眾對大語言模型的使用率達到了驚人高度。2021年3月，OpenAI宣布[3]其GPT-3語言模型被「超過300個應用程序使用，平均每天能夠生成45億個詞」，也就是說僅單個模型每分鐘就能生成310萬詞的新內容。

值得注意的是，這些語言模型甚至還沒有被完全理解，斯坦福大學的研究人員[4]最近坦言，「目前我們對這些模型還缺乏認知，還不太了解這些模型的運轉模式、不知道模型何時會失效，更不知道這些模型的突現性（emergent properties）能產生什麼效果」。

隨著新型AI技術的快速發展，模型訓練數據集的相關文檔質量有所下降。模型內部到底有什麼秘密？它們又是如何組建的？本文綜合整理並分析了現代大型語言模型的訓練數據集。

因為這方面的原始文獻並不對外公開，所以本文搜集整合了二、三級研究資料，在必要的時候本文會采用假設的方式來推算最終結果。

在本文中，我們會將原始論文中已經明確的特定細節（例如token數量或數據集大小）歸類為「公開的（disclosed）」數據，並作加粗處理。

多數情況下，適當地參考二、三級文獻，並采用假設的方式來確定最終結果是很有必要的。在這些情況下，token數量和數據集大小等細節是「確定的（determined）」，並以斜體標記。

模型數據集可分為六類，分別是：維基百科、書籍、期刊、Reddit鏈接、Common Crawl和其他數據集。

Image

表1. 主要數據集大小匯總。以GB為單位。公開的數據以粗體表示。確定的數據以斜體表示。僅原始訓練數據集大小。

1.1. 維基百科

維基百科是一個免費的多語言協作在線百科全書，由超過300,000名誌願者組成的社區編寫和維護。截至2022年4月，英文版維基百科中有超過640萬篇文章，包含超40億個詞[5]。維基百科中的文本很有價值，因為它被嚴格引用，以說明性文字形式寫成，並且跨越多種語言和領域。一般來說，重點研究實驗室會首先選取它的純英文過濾版作為數據集。

1.2. 書籍

故事型書籍由小說和非小說兩大類組成，主要用於訓練模型的故事講述能力和反應能力，數據集包括Project Gutenberg和Smashwords (Toronto BookCorpus/BookCorpus)等。

1.3. 雜誌期刊

預印本和已發表期刊中的論文為數據集提供了堅實而嚴謹的基礎，因為學術寫作通常來說更有條理、理性和細致。這類數據集包括ArXiv和美國國家衛生研究院等。

1.4. Reddit鏈接

WebText是一個大型數據集，它的數據是從社交媒體平臺Reddit所有出站鏈接網絡中爬取的，每個鏈接至少有三個贊，代表了流行內容的風向標，對輸出優質鏈接和後續文本數據具有指導作用。

1.5. Common Crawl

Common Crawl是2008年至今的一個網站抓取的大型數據集，數據包含原始網頁、元數據和文本提取，它的文本來自不同語言、不同領域。重點研究實驗室一般會首先選取它的純英文過濾版（C4）作為數據集。

1.6. 其他數據集

不同於上述類別，這類數據集由GitHub等代碼數據集、StackExchange 等對話論壇和視頻字幕數據集組成。

Comment by Suyuu on February 19, 2023 at 9:50am

2.常用數據集

2019年以來，大多數基於Transformer的大型語言模型 (LLM) 都依賴於英文維基百科和Common Crawl的大型數據集。在本節中，我們參考了Jesse Dodge和AllenAI（AI2）[8]團隊的綜合分析，按類別對英文維基百科作了高級概述，並在Common Crawl數據集[7]的基礎上，用谷歌C4[6] (Colossal Clean Crawled Corpus)在Common Crawl中提供了頂級域（domains）。

2.1. 維基百科（英文版）分析

下面按類別[9]列出了維基百科的詳細信息，涵蓋了2015年抽樣的1001篇隨機文章，研究人員注意到隨時間推移文章傳播的穩定性。假設一個11.4GB、經過清理和過濾的維基百科英文版有30億token，我們就可以確定類別大小和token。

Image

表2. 英文維基百科數據集類別。公開的數據以粗體表示。確定的數據以斜體表示。

2.2 Common Crawl分析

基於AllenAI (AI2)的C4論文，我們可以確定，過濾後的英文C4數據集的每個域的token數和總體百分比，該數據集為305GB，其中token數為1560億。

Image

表3. C4：前23個域（不包括維基百科）。公開的數據以粗體表示，確定的數據以斜體表示。

3 GPT-1數據集

2018年，OpenAI發佈了1.17億參數的GPT-1。在論文中，OpenAI並沒有公布模型訓練數據集的來源和內容[10]，另外，論文誤將『BookCorpus』拼寫成了『BooksCorpus』。BookCorpus以作家未出版的免費書籍為基礎，這些書籍來自於Smashwords，這是一個自稱為「世界上最大的獨立電子書分銷商」 的電子書網站。這個數據集也被稱為Toronto BookCorpus。經過幾次重構之後，BookCorpus數據集的最終大小確定為4.6GB[11]。

2021年，經過全面的回顧性分析，BookCorpus數據集對按流派分組的書籍數量和各類書籍百分比進行了更正[12]。數據集中有關書籍類型的更多詳細信息如下：

Image

表4. BookCorpus書籍類型。公開的數據以粗體表示，確定的數據以斜體表示。

在隨後的數據集重構中，BookCorpus數據集進一步過濾掉了書籍中的「吸血鬼」類別、降低了言情類書籍的百分比、增加了「歷史」類書籍，增加了收集的書籍數量。

3.1. GPT-1數據集總結

GPT-1最終的數據集總結分析如下：

Image

表5.GPT-1數據集總結。以GB為單位。公開的數據以粗體表示，確定的數據以斜體表示。

Comment by Suyuu on February 19, 2023 at 9:50am

4 GPT-2數據集

2019年，OpenAI發佈了擁有15億參數的語言模型GPT-2。GPT-2論文闡明了所用訓練數據集的大小[13]，不過並未說明其內容。而GPT-2模型卡（model card）（在GPT-2 GitHub倉庫中）說明了模型內容[14]。

我們可以從GPT-3論文中得到token數量，該論文使用了WebText擴展版本來表示190億token。據推測，2020年推出的WebText擴展版本擁有12個月的額外數據（additional data），因此它可能比2019年推出的GPT-2版本大25%左右[15]。GPT-2最終的token數量確定為150億左右。

如GPT-2論文所述，假設模型卡顯示鏈接數時，每個鏈接都可以被4500萬鏈接總數所除，那WebText的內容在數據集中所占的百分比的詳細信息就可以確定。

然後可以使用確定的150億token數量來查找每個域的token數量。請注意，在可用的前1,000個域中，此處僅顯示前50個域。

Image

表6. WebText: 前50個域。 公開的數據以粗體表示，確定的數據以斜體表示。

4.1. GPT-2數據集總結

GPT-2模型最終的數據集總結分析如下：

Image

表7. GPT-2數據集總結。 公開的數據以粗體表示，確定的數據以斜體表示。

5 GPT-3數據集

GPT-3模型由OpenAI於2020年發佈。論文闡明了所用訓練數據集的token數量[16]，但訓練數據集的內容和大小尚不清楚（Common Crawl的數據集大小除外[17]）

Image

表8. GPT-3數據集。 公開的數據以粗體表示，確定的數據以斜體表示。

5.1. GPT-3：關於Books1和Books2數據集的分析

特別值得關注的是，在OpenAI的GPT-3論文中，並未公開Books1數據集（120億token）和Books2數據集（550億token）的大小和來源。關於這兩個數據集的來源人們提出了幾個假設，包括來自LibGen18和Sci-Hub的類似數據集，不過這兩個數據集常以TB為計，大到無法匹配。

5.2. GPT-3：Books1

GPT-3使用的Books1數據集不可能與GPT-1使用的BookCorpus數據集相同，原因在於Books1的數據集更大，達120億token。在一篇引用的論文[19]中就提及GPT-1使用的BookCorpus數據集擁有9.848億個詞，但這可能只相當於13億token（984.8字x 1.3字的token乘數）。

通過標準化項目古騰堡語料庫（SPGC），Books1有可能與古騰堡項目保持一致性。SPGC是一種開放式科學方法，被用於古騰堡項目完整的PG數據的精選（curated）版本。SPGC包含120億個token[20]，大約為21GB[21]。

5.3. GPT-3：Books2

Books2（550億token）可能與Bibliotik保持一致，並由EleutherA收集該來源的數據，組成數據集，使其成為The Pile v1的一部分。Bibliotik版本為100.96GB[22]，其確定的token數僅為250億，低於Books2公開的550億。然而，使用SPGC的『每字節token數』比率（大約為1:1.75），Bibliotik的token數和大小將更接近於Books2。

5.4. GPT-3數據集總結

附錄A概述了使用Wikipedia + CommonCrawl + WebText數據集的頂級資源列表。GPT-3模型的最終數據集總結分析如下：

Image

表9.GPT-3數據集總結。公開的數據以粗體表示，確定的數據以斜體表示。

6 The Pile v1（GPT-J和GPT-NeoX-20B）數據集

The Pile v1數據集由EleutherAI於2021年發佈，該數據集已被用於訓練包括GPT-J、GPT-NeoX-20B在內的多種模型，並作為包括MT-NLG在內的其他模型的部分數據集。The Pile v1論文闡明了所用訓練數據集的來源和大小。隨著token數量的增加，The Pile v1論文應被用作未來數據集文檔的黃金標準。

有關token數量的更多詳情，可以使用本文提供的信息來確定，參見表1（大小以GB為單位）和表7（token/每字節）[23]。

Image

表10. The Pile v1數據集。公開的數據以粗體表示，確定的數據以斜體表示。

Comment by Suyuu on February 18, 2023 at 9:30pm

6.1. The Pile v1分組數據集（Grouped Datasets）

為了確定如『Books』、『Journals』和『CC』這類數據集的大小，筆者對數據集進行了分組，如下表所示。

Image

表11. The Pile v1分組數據集（不包括Wikipedia、CC 和 WebText）。公開的數據以粗體表示，確定的以斜體表示。

6.2. The Pile v1數據集總結

The Pile v1數據集與GPT-J和GPT-NeoX-20B模型的最終數據集總結分析如下：

Image

表 12. Pile v1 數據集總結。 公開的數據以粗體表示，確定的數據以斜體表示。

7 Megatron-11B和RoBERTa數據集

2019年，Meta AI(當時稱之為Facebook AI)和華盛頓大學聯合發佈了擁有1.25億參數的RoBERTa模型。次年，Meta AI發佈了擁有110億參數的Megatron-11B模型。Megatron-11B使用的訓練數據集與RoBERTa相同。RoBERTa[24]論文闡明了所用訓練數據集的內容，不過必須參考引用的論文(BERT[25]和toryes[26])來確定最終的數據集大小。

BookCorpus： 確定的數據集為4.6GB，如上面的GPT-1部分所示。

維基百科：公開的數據集為「16GB（BookCorpus加上英文維基百科）」。在減去BookCorpus數據集（4.6GB，如上面的GPT-1部分所述）後，維基百科數據集確定為11.4GB。

CC-News：（經過濾後）公開的數據集為76GB。

OpenWebText: 公開的數據集為38GB。

Stories: 公開的數據集為31GB。請注意，此數據集是「基於常識推理任務問題」的Common Crawl內容，不屬於本文的『Books』類別。相反，將Stories與CC-News數據集（76GB）相結合，Common Crawl的總數據集則為107GB。

7.1. Megatron-11B和RoBERTa的數據集總結

Megatron-11B和RoBERTa最終的數據集總結分析如下：

Image

表13. Megatron-11B和RoBERTa的數據集總結。 公示的數據以粗體表示，確定的數據以斜體表示。

8 MT-NLG數據集

2021年，英偉達和微軟發佈了擁有5300億參數的語言模型MT-NLG。MT-NLG是微軟Turing NLG（擁有170億參數）和英偉達Megatron-LM（擁有83億參數）的「繼任者」。MT-NLG論文闡明了所用訓練數據集的來源和token數量，不過沒有明確指出數據集的大小。

如前所述，有關數據集大小的更多詳情，可以使用The Pile v1論文中提供的信息來確定。雖然使用的組件相同，但注意的是，MT-NLG和The Pile v1中報告的組件大小卻各不相同，這是由於來自Eleuther AI (The Pile v1數據集)和Microsoft/NVIDIA (MT-NLG模型)的研究人員采用了不同的數據過濾和去重方法。

 

8.1. MT-NLG中的Common Crawl數據集

Pile-CC：公開的數據集為498億token，確定的數據為227.12GB左右，參見上述Pile v1部分。

CC-2020-50: 公開的數據集為687億token，假設token的每字節率（per byte rate）為0.25 TpB=274.8GB。

CC-2021-04：公開的數據集為826億token，假設token的每字節率為0.25 TpB=330.4GB

RealNews（來自RoBERTa/Megatron-11B）：顯示為219億token。根據RealNews論文[27]，數據集確定為120GB。

CC-Stories(來自RoBERTa/Megatron-11B)：公開的數據集為53億token，如上述RoBERTa部分所示，數據集確定為31GB。

根據以上來源，可確認Common Crawl的總數據量為983.32GB，共計2283億token。

8.2. MT-NLG分組數據集（Grouped Datasets）

Image

表14. MT-NLG 分組數據集。公開的數據以粗體表示，確定的數據以斜體表示。

8.3. MT-NLG數據集總結

MT-NLG模型最終的數據集總結分析如下：

Image

表15. MT-NLG數據集總結。 公示的數據以粗體表示，確定的數據以斜體表示。

9 MT-NLG 數據集Gopher數據集

Comment by Suyuu on February 18, 2023 at 9:30pm

Gopher模型由DeepMind於2021年發佈，有2800億參數。該論文清楚地說明了所使用訓練數據集所包含的高級token數量和大小[28]，但沒有說明詳細內容。

Image

表16. 公開的Gopher數據集 (MassiveText)。公開的數據以粗體表述，確定的數據以斜體表示。

有趣的是，據Gopher論文披露：其Books數據集中包含一些超過500年歷史（1500-2008）的書籍。

9.1. MassiveWeb數據集分析

DeepMind於2014年被谷歌收購，並在創建MassiveText時獲得了海量數據。雖然Gopher論文中沒有進一步詳細描述MassiveWeb，但第44頁附錄中的表A3b注明了MassiveWeb中出現的前20個域[29]。根據披露的每個域所占的百分比，我們可以使用MassiveWeb的總token數（5060億token）和總原始大小（1900GB）來確定每個域的token數量和大小。

表17. MassiveWeb：前20個域。公開的數據以粗體表示，確定的數據以斜體表示。

9.2. Gopher：關於維基百科數據集的分析

維基百科數據集的總規模很難確定。在Gopher論文中，研究人員指出維基百科沒有進行數據去重[30]。然而，論文中列出的不同大小數據集（12.5GB MassiveWeb Wikipedia與1GB MassiveText Wikipedia）可能是由於失誤而造成的，誤將「10GB」寫成了「1GB」。無論如何，本文僅使用MassiveWeb數據集版本 (12.5GB)。

9.3. Gopher:不包括WebText

Gopher數據集的組成部分不包括Reddit外鏈的WebText數據集。為了清楚起見，盡管Reddit是MassiveWeb中的頂級域，但該數據集僅抓取Reddit域內的Reddit鏈接。根據定義，WebText[31]由「所有Reddit的外鏈」組成（即指向Reddit域外的鏈接）。

9.4. Gopher 分組數據集

MassiveWeb被認為是MassiveText的子組件，並被集成到Gopher的數據集匯總中，其分組基於以下列出的可用信息：

表18. Gopher分組數據集。公開的數據以粗體表示，確定的數據以斜體表示。 

9.5. Gopher 數據集總結

Gopher是本文中最大的數據集，大小為10.5TB。Gopher模型的最終數據集總結分析為：

表19. Gopher數據集總結。公開的數據以粗體表示，確定的數據以斜體表示。

 

10

結論

對於訓練當代Transformer大型語言模型的數據集而言，這可能是最全面的整合分析內容（截止2022年初）。在主要數據源不透明的情況下，本次研究主要從二級和三級來源收集數據，並經常需要假定來確定最終估計值。隨著研究人員要處理千萬億個token（1,000萬億）和數千TB的數據（1,000TB），確保詳細披露數據集組成的文檔變得越來越重要。

特別值得關注的是，基於大型語言模型的強大AI系統產生的冗長而匿名的輸出正在迅速發展，其中許多數據集的細節內容幾乎沒有文檔說明。

強烈建議研究人員使用突出顯示的「數據集的數據表（Datasheet for Datasets）」論文中提供的模板，並在記錄數據集時使用最佳實踐論文（即Pile v1論文，包括token數量）。數據集大小（GB）、token數量（B）、來源、分組和其他詳細信息指標均應完整記錄和發佈。

隨著語言模型不斷發展並更廣泛地滲透到人們的生活中，確保數據集的詳細信息公開透明、所有人都可訪問且易於理解是有用、緊迫和必要的。

• ‹ Previous
• 1
• 2
• 3
• 4
• 5
• …
• 11
• Next ›
• Page