英汉单词词汇数据库MYSQL版和CSV版.rar

  • Q7_460267
    了解作者
  • 8.3MB
    文件大小
  • rar
    文件格式
  • 0
    收藏次数
  • VIP专享
    资源类型
  • 0
    下载次数
  • 2022-04-05 04:38
    上传日期
简明英汉词典的MYSQL/ CSV数据库,适合开发手机词典时使用,包含210311个单词及词组的中英文简明释义,并通过英国国家语料库词频资料前15万单词和美国当代语料库前6万单词范围进行校对,补充了数万词汇,基本做到传统和现代兼顾,广度和深度并存。
英汉单词词汇数据库MYSQL版和CSV版.rar
  • 10w个英语单词词汇MYSQL数据库版.sql
    1.4MB
  • words_105k.sql
    12MB
  • LICENSE
    1KB
  • README.md
    9.4KB
  • ecdict.csv
    17.1MB
  • stardict.py
    25.6KB
内容介绍
# ECDICT Free English to Chinese Dictionary Database. ## 简介 这是一份英文->中文字典的双解词典数据库,根据各类考试大纲和语料库词频收录 20万条各类单词的英文和中文释义,并按照各类考试大纲和词频进行标注。 最初开发看书软件时需要给软件添加一个内嵌字典,在网上找到了一份别人提供的 EDictAZ.txt 的文本文件,里面有差不多两万英文单词的释义,于是开始用这个文件来提供字典查询,用着用着不够用了,又找到一份四六级到 GRE 包含释义的词汇表,但是缺少音标,于是写了个爬虫从各种资料里面把音标给爬下来,外加自己补充了一些组成了一份三万基本词汇的数据库。 其后数年根据各种资料和网友贡献词库增长到10万左右,又找到 Linux 下面的 cdict-1.0-1.rpm 这个开源字典数据(mdict的主词库也是根据 cdict转换得到),并按照英国国家语料库的前16万单词进行校对,补全很多语料库里词频较高但是却没有收录的词条。 ## 选词 很多网上词典(如简明英汉词典,朗道词典)号称收词量大(40万),但是很多是些专业名词,光医学名词和化学名词就接近20万,这些平时用的并不多。 而平时用的很多的,如中考高考到 GRE的一万五千核心词汇,他们居然能缺少两千左右。对比英国国家语料库(BNC)的词频数据,前十万高频词汇缺少一万二多;同时对比美国当代语料库前六万高频词汇,任然缺少一万多。 国内词库制作之不严谨,由此可见一斑,大家常用的40万词条朗道字典(GoldenDict / StarDict配套的那个),居然没有收录 “learn” 这个单词,搞笑吧?我不知道是 bug还是什么。号称收词量最大的简明英汉词典,居然没有 “longtime”,当然他有词组“long time”,但是近年来 longtime已经链接为一个词了,并且词频很高。词频上升比较快的还有 Taliban ,这些他们都没收收录。 包括不限于国内某些著名的商业词典,很多号称收词量多,但是他们把词给收偏了,所以我们需要更科学的根据各类考试大纲和语料库对选词进行矫正。 避免搞什么大而全的 40万词条,OALD和朗文等也才8万左右的收词量,不要那几十万乱七八糟的来自医学化学电力机械化工等专业的词条,保持 20万左右的收词量足够。从最初的中高考各类考试大纲开始,到各种语料库和词频库,选择真正重要的 20万词,选词工作参考如下资料: | 语料库 | 解释 | |--------|------| | 考试大纲 | 中考大纲,高考大纲,四六级大纲,托福雅思GRE大纲,等,必须覆盖到位 | | BNC 词频数据 | 英国国家语料库(British National Corpus)是目前世界上最具代表性的当代英语语料库之一。该语料库书面语与口语并重,其光盘版词次超过一亿,其中书面语语料库9千余万词,口语语料库1千余万词。 | | Oxford 3K | 《牛津3000词》是“由语言专家和经验丰富的教师根据词频和词意覆盖范围精心挑选的3000词,由于他们的重要性和有用性,被认为是应该最先学习的 | | 华尔街日报 | 根据近20年华尔街日报语库整理而成的杂志类词频顺序表进行选词 | | 柯林斯星级 | 柯林斯从语料库中将单词在日常生活中的使用频率统计出来,按照频率的高低将单词分级,五星的就是日常生活中最常用的,依次类推。| | 美国当代语料库 | 前面的 BNC语料库主要收录了近几百年的英文单词,而当代语料库主要收录近20年的电影电视,报刊,谈话记录,文献,小说 等 | | Urban Dictionary | 俚语俗语等词汇 | ## 双解释义 当然要双解,诸如 WordNet,wiktionary.org 等提供了大量开放的释义资料。同时针对各类考试大纲词汇,网上有不少带释义的单词表供人下载,这些数据有的有错误,有的格式不统一,有的缺音标,有的缺英文释义,有的却中文释义,质量层次补齐,需要书写必要的代码来一次次整理统计,纠正和补全。 索性类似 WordNet 之类的开放语料库提供了针对 Python 的自然语言处理工具包,可以 pip下载下来,直接分析词汇和定义,还有词形变化,反义词近义词等。 释义参考了大量资料,包括不限于: | 名称 | 解释 | |------|------| | 各类资料 | 各类网上开源资料,小的有 EDictAZ.txt ,大的有 cdict-1.0-1.rpm 等 | | 考试大纲 | 网上各种带释义的考试大纲词表 | | WordNet | 普林斯顿自然语言处理资料库和工具包 | | Wiktionary | 多种语言的释义维基百科资料,由各国用户贡献的各类词条 | | Wikepedia | 维基百科收录了大量词条解释 | | CEDIT | 中文到英文的开放词典数据库,根据中文到英文的释义,反解出英文到中文的释义 | | TheFreeDictionary.com | 多语言开放词典 | | Google | Google Cloud Translation | | foldoc.org | Free Online Dictionary Of Computing | | linguee.com | 数亿词条解释 | | Babylon | 各类词条数据来源聚合 | | Urban Dictionary | 俚语俗语释义 | 大量资料需要整合编辑校对,幸好有各种自然语言处理的开发包,可以用来做这件事情,制定评分标准,一个词语多个出处,选择最恰但准确的,核心词汇进行人工校对,部分不全的词条使用英翻中来解决。 ## 单词标注 给数据库中每个单词标注:是否是各类考试大纲词汇?以及他们在 BNC和其他语料库里的词频顺序。BNC词频统计的是最近几百年的历史各类英文资料,而当代语料库只统计了最近20年的,为什么两者都要提供呢? 很简单,quay(码头)这个词在当代语料库里拍两万以外,你可能觉得是个没必要掌握的生僻词,而BNC里面却排在第 8906名,基本算是一个高频词,为啥呢?可以想象过去航海还是一个重要的交通工具,所以以往的各类文字资料对这个词提的比较多,你要看懂19世纪即以前的各类名著,你会发现BNC的词频很管用。 而你要阅读各类现代杂志,当代语料库的作用就体现出来了,比如 Taliban(塔利班),在 BNC词频里基本就没收录(没进前 20万词汇),而在当代语料库里,它已经冒到 6089 号了,高频中的高频。 BNC较为全面和传统,针对性学习能帮助你阅读各类国外帝王将相的文学名著,当代语料库较为现代,和实事以和科技紧密相关。所以两者搭配,干活不累。 经过标注后,你查任何一个单词,都会告诉你这个词汇是不是四六级词汇?雅思词汇?柯林斯星级是多少?是否是牛津3000核心词汇?传统词频和现代词频各是多少?这样单词的重要程度你就能了解个大概了。 ## 数据格式 采用 CSV文件存储所有词条数据,用 UTF-8进行编码,用 Excel的话,别直接打开,否则编码是错的。在 Excel里选择数据,来自文本,然后设定逗号分割,UTF-8编码即可。 | 字段 | 解释 | |------|------| | word | 单词名称 | | phonetic | 音标,以英语英标为主,好听嘛 | | definition | 单词释义(英文) | | translation | 单词释义(中文)| | pos | 词语位置,(待添加)| | collins | 柯林斯星级 | | oxford | 是否是牛津三千核心词汇 | | tag | 字符串标签:zk/中考,gk/高考,cet4/四级 等等标签,空格分割 | | bnc | 英国国家语料库词频顺序 | | frq | 当代语料库词频顺序 | | tense | 时态(ed, ing等)待添加 | | plural | 复数形式 | | detail | json 扩展信息 | | audio | 读音音频 url (待添加)| | audio_uk | 英语发音 | | audio_us | 美语发音 | 提供一�
评论
    相关推荐