------将大 csv文件导入 mysql 数据库 //// --A8 站源码交易 平台

  • 时间:2019-07-23 15:32 编辑:A8站 来源:A8站 阅读:1942
  • 扫一扫,手机访问
摘要:,就是将csv读取到dataframe中,然后把按行读取数据,将每行的数据添加到列表中,在运用pymysql这个包将数据添加到数据库

A8站长源码生意途径
我这边是运用pandas和pymysql来完毕将csv文件导入到MySQL数据库的
首先说一下完毕逻辑,就是将csv读取到dataframe中,然后把按行读取数据,将每行的数据添加到列表中,在运用pymysql这个包将数据添加到数据库。A8站长源码生意途径
代码如下:

import pandas as pd
import pymysql

#读取数据
test = pd.read_csv(r'Antai_AE_round1_item_attr_20190626/Antai_AE_round1_item_attr_20190626.csv')
test.head()
#联接数据库
db = pymysql.connect(host="IP地址",user="数据库用户名", passwd="暗码",db="要联接的数据库",charset='utf8')
#定义操作函数
def insert_deta():
    list1 = []
    num = 0 
    cursor = db.cursor()
    for i in range(0,test.shape[0]):  # 运用shape的第一个元历来获取数据的数量
        row_data = test.iloc[i]       # 获取第每行数据
        value = (str(row_data[0]),str(row_data[1]),str(row_data[2]),str(row_data[3]))  #读取第每行中每列数据,因为数据库添加运用的都是字符串方法添加故都取str
        list1.append(value)
        num +=1
        if num==10000:
            sql = "INSERT INTO item(item_id,cate_id,store_id,item_price)VALUES(%s,%s,%s,%s)"
            cursor.executemany(sql, list1)  # 施行sql语句
            db.commit()
            num = 0  # 计数归零
            list1.clear()  # 清空list


    cursor.close()  # 关闭联接
    db.close()
#施行函数 
insert_deta()
A8站长源码生意途径
其间需求说明的是,要完毕上述操作,需求先在数据库建好你要导入的那张表。其次我对代码进行了必定的优化,因为添加到数据库是一个耗时操作,所以我运用executemany方法将数据以每10000条来添加到数据库,跋涉功率。


A8站长源码生意途径
其间我的数据库类型是:

201907051523035.png

终究存入数据后:

20190705152346829.png
A8站长源码生意途径

  • 全部评论(0)
最新发布的资讯信息
【A8站-免费源码分享|直播源码】直播系统源码开发:关于安卓开发工具和obs直播推流(2020-10-30 09:41)
【计算机/互联网|】【独家修复】用户定制版短视频点赞系统,支持抖音+快手+刷宝+微视等所有主流短视频评论系统源码(2020-10-26 16:34)
【技术宅-为技术而疯|网站架设教程】【独家首发】最新更新已对接短信2020全新抖音快手点赞任务系统霸屏天下小红书头条威客兼职完整搭建架设视频教程(2020-10-25 13:56)
【技术宅-为技术而疯|网站架设教程】最新可用个人发卡网系统源码完整搭建架设视频教程(2020-10-25 10:53)
【技术宅-为技术而疯|网站架设教程】独家更新全新V10抢单系统唯品会京东淘宝自动抢单区块系统源码全开源抢单收单接单返利+搭建架设完整视频教程(2020-10-25 10:52)
【计算机/互联网|】柔丫纸尿裤云仓系统源码部署(2020-10-15 18:13)
【计算机/互联网|】侏罗纪软件模式定制开发(2020-10-14 15:33)
【计算机/互联网|】S2b2C供应商系统 营销闭环(2020-10-10 17:46)
【计算机/互联网|程序设计开发】盛都汇系统奖励机制(2020-10-10 17:20)
【A8站-免费源码分享|网站源码】积分商城系统APP开发(2020-09-23 14:56)
联系我们
Q Q:3101359898 点击直接对话
电话:18580901894
邮箱:admin#a8zhan.com
时间:09:00 - 24:00
手机二维码 访问手机版
返回顶部