python 合并json文件代码

  • X2_644131
    了解作者
  • 1.6KB
    文件大小
  • zip
    文件格式
  • 0
    收藏次数
  • VIP专享
    资源类型
  • 0
    下载次数
  • 2022-05-01 15:02
    上传日期
goodfake !
goodfake.zip
  • goodfake
  • mergeJsons.py
    1.1KB
  • deduct-repeat.py
    2.2KB
内容介绍
import json from tqdm import tqdm # count = 0 # with open("./","w+",) as f: # with open("./", 'r', encoding='utf8')as fp: # temp_list = list(set([str(json.loads(line)) for line in fp])) # print(len(temp_list)) # list_dict = [eval(i) for i in temp_list] # for data in list_dict: # count = count + 1 # print(count) # json.dump(data, f, ensure_ascii=False) # 写入文件 # f.write('\r\n') # print(data) # print("-----加载入文件完成...") # count = 0 # with open("F://weibo-reptile//test.json", 'r', encoding='utf8')as fp: # fp1 = fp # fp2 = fp # len_list = list(item for item in fp) # print(i for i in fp1) # print(len(len_list)) # temp_list = list(set([str(json.loads(line)) for line in fp2])) # print(len(temp_list)) # list_dict = [eval(i) for i in temp_list] # for data in list_dict: # count = count + 1 # print(count) # print(data) # print("-----加载入文件完成...") count = 0 list_dict = [] list_dict_deduct = [] dict_unqi = {} with open("./data-deducted.json","w+",encoding='utf-8') as f: with open("./total.json", 'r', encoding='utf-8')as fp: for line in tqdm(fp): data = json.loads(line) list_dict.append(data) print("筛选前数据条数:", len(list_dict)) print(type(list_dict),type(list_dict[1])) c = 1 for line in list_dict: if dict_unqi.get(line['_id'],None) is None: dict_unqi[line['_id']] = c c += 1 list_dict_deduct.append(line) # tuple_dict = set([tuple(j.items()) for j in list_dict]) # list_uniq = [dict(t) for t in set(tuple_dict)] # list_uniq = [dict(t) for t in set(tuple(i.items()) for i in list_dict)] # list_uniq = list(map(dict, frozenset(frozenset(i.items()) for i in list_dict))) print("筛选后数据条数:", len(list_dict_deduct)) for item in tqdm(list_dict_deduct): json.dump(item, f, ensure_ascii=False) # 写入文件 f.write('\r') print(data) print("-----加载入文件完成...")
评论
    相关推荐
    • pythonjson转换
      这是用python写的json两种不同风格(一种类似于xml,一种只有一行)转换的代码
    • jsend:用于格式化JSONPython
      杰森德 用于格式化JSONPython
    • python_json.7z
      python加载json文件, 并将所有的对象包括数组打印出来. 在pyhon3下测试通过, 附件包含测试的json文件.
    • pretty_json:python模块来美化你的json文件
      ##描述:让你的 json 文件更漂亮###例如: [{'a':{'list':[1,2,3],'b...用法: 将 prettfy_json.py 文件复制到 json 文件所在的目录中运行: python prettyjson.py yourfilename.json *json file will be pretified*
    • PythonJsonAnalysisTool:尝试使用python分析json
      PythonJsonAnalysisTool WIP-使用python分析json
    • orjson是一个快速的Python JSON库-python
      orjson是一个快速的Python JSON库。 它基准测试是最快的用于JSON序列化的Python库,其性能是最近的其他库的1.6倍到2.6倍,反序列化性能是最近的其他库的0.95倍到1.2倍。
    • Python-ExcelToJsonpython转换excel为json格式的工具
      ExcelToJson 提供一个简单的界面(Tkinter),实现单个和批量转换的功能,其中批量转换使用多线程加快转换效率。 批量转换制定文件夹自动获取文件夹下为 '.xls' 的 excel 格式文件进行转换,转换后的json文件名与...
    • python-espncricinfo:ESPNCricInfo JSON API的Python包装器
      这个Python库提供对许多这些JSON属性以及一些辅助函数的访问。 您只需要匹配ID,即匹配页网址末尾的数字即可。 有关说明,请参见“用法”部分,有关单个功能,请参见match.py 。 免责声明:该库不用于商业用途,它...
    • python-json-patch:在Python中应用JSON补丁
      python-json-patch 在Python中应用JSON补丁 根据应用JSON补丁的库 有关示例,请参见源代码 网站: : 仓库: : 文档: : PyPI: ://pypi.python.org/pypi/jsonpatch Travis CI: : 工作服: : 运行外部测试...
    • SIM800C_MQTT.rar
      使用SIM800C模块,使用MQTT协议,连接中国移动onenet平台,能实现数据的订阅、发布、存储等