dgen
所属分类:大数据
开发工具:Scala
文件大小:3KB
下载次数:0
上传日期:2021-06-28 08:06:10
上 传 者:
sh-1993
说明: 使用apache spark的大数据发生器
(Big data generator using apache spark)
文件列表:
_config.yml (26, 2021-06-28)
build.sbt (132, 2021-06-28)
project (0, 2021-06-28)
project\build.properties (19, 2021-06-28)
schema.json (1674, 2021-06-28)
src (0, 2021-06-28)
src\main (0, 2021-06-28)
src\main\scala (0, 2021-06-28)
src\main\scala\com (0, 2021-06-28)
src\main\scala\com\dgen (0, 2021-06-28)
src\main\scala\com\dgen\Main.scala (81, 2021-06-28)
### Big-data generator
### Purpose
1. Generate billions of records.
2. Using apache spark 2.4
### Goal
1. Provide schema in json format.
2. Using schema generate data
3. Different file format
4. Different data storage
近期下载者:
相关文件:
收藏者: