Profilo di trescon

Nome trescon
Indirizzo email python.alby@gmail.com
AvatarAvatar utenti
Messaggi85
Firma forum
------
Alberto
  • Re: Tempi lunghissimi popolamento tabella
    Forum >> Programmazione Python >> Database
    Io l'ho considerato cosi ...




    echo 'create table Barcodes(a, b);'|sqlite3 trescon.db
    
    for i in $(seq 166000); do printf '%s,%s\n' $i $i >> trescon.csv; done
    
    ed trescon.py
    trescon.py: File o directory non esistente
    a
    import sqlite3
    c = sqlite3.connect('trescon.db')
    codici_a_barre = [i.split(',') for i in open('trescon.csv')]
    c.executemany('INSERT INTO Barcodes VALUES (?,?)', codici_a_barre)
    c.commit()
    .
    wq
    188
    
    t python trescon.py
    0.26u 0.03s 0.32r 94%CPU 57728kB python trescon.py
    
    echo 'select count(*) from Barcodes;' | sqlite3 trescon.db 
    166000
    ma mi da errore alla prima riga, sulla " ' " (virgoletta)

    Non ci capisco molto.

    Grazie

    Alberto

    ------
    Alberto
  • Re: Tempi lunghissimi popolamento tabella
    Forum >> Programmazione Python >> Database
    Buonasera a tutti, il problema è presto spiegato.
    Ho un file .txt che contiene circa 166.000 righe di articoli, ogni riga è composta da due solo campi.
    Possibile che per caricare il file in una tabella Sqlite3 è da oltra 30 minuti .... e non si vede ancora traccia della fine.
    Premetto che la macchina che sto usando è un Hp con processore i7 e 8 GB di ram; non è mica un po troppo lento il popolamento della tabella ?
    Chiedo questo perchè dovro creare un'altra tabella che avra 25/30 campi e conterra' oltre le 250.000 righe.... ci mettera una settimama !!
    Chiedo ... ma il db Sqlite3 che è lento .... oppure ???
    Oppure, direi :P

    cm@hemp:/tmp
    $ echo 'create table Barcodes(a, b);'|sqlite3 trescon.db
    cm@hemp:/tmp
    $ for i in $(seq 166000); do printf '%s,%s\n' $i $i >> trescon.csv; done
    cm@hemp:/tmp
    $ ed trescon.py
    trescon.py: File o directory non esistente
    a
    import sqlite3
    c = sqlite3.connect('trescon.db')
    codici_a_barre = [i.split(',') for i in open('trescon.csv')]
    c.executemany('INSERT INTO Barcodes VALUES (?,?)', codici_a_barre)
    c.commit()
    .
    wq
    188
    cm@hemp:/tmp
    $ t python trescon.py
    0.26u 0.03s 0.32r 94%CPU 57728kB python trescon.py
    cm@hemp:/tmp
    $ echo 'select count(*) from Barcodes;' | sqlite3 trescon.db 
    166000
    



    Ciao cm , immagino che tu lo sappia altrimenti te lo dico io .... sono un MEGA ignorante in python.... quindi

    partiamo che mi spieghi la prima riga ...




    cm@hemp:/tmp


    Che tra l'altro sia l'IDLE ufficiale si Geany me la segnala come ERRORE.


    Cosa fa ?

    Grazie




    Alberto

    ------
    Alberto
  • Tempi lunghissimi popolamento tabella
    Forum >> Programmazione Python >> Database
    Buonasera a tutti, il problema è presto spiegato.

    Ho un file .txt che contiene circa 166.000 righe di articoli, ogni riga è composta da due solo campi.

    Possibile che per caricare il file in una tabella Sqlite3 è da oltra 30 minuti .... e non si vede ancora traccia della fine.

    Premetto che la macchina che sto usando è un Hp con processore i7 e 8 GB di ram; non è mica un po troppo lento il popolamento della tabella ?

    Chiedo questo perchè dovro creare un'altra tabella che avra 25/30 campi e conterra' oltre le 250.000 righe.... ci mettera una settimama !!

    Chiedo ... ma il db Sqlite3 che è lento .... oppure ???




    for articolo_1 in dati_1:
    codici_a_barre = [(articolo_10,articolo_11)]
    c.executemany ('INSERT INTO Barcodes VALUES (?,?)',codici_a_barre)
    conn.commit()





    Queste sono le 4 righe di numero che stanno caricando i dati.




    Grazie a chi mi puo' aiutare

    P.s. : il oltre un'ora ha caricato SOLO 24.000 righe circa su 166.000.






    --- Ultima modifica di trescon in data 2018-06-11 00:26:24 ---
    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Ciao cm , a me pero' stampando la riga purchase1 esce cosi :

    [(144960, 310, 'O20180866P', '2018-05-24', '2018-06-13', '', '', 40.77, 799.0), (144598, 310, 'O20180866P', '2018-05-24', '2018-06-13', '', '', 20.33, 749.0), (145340, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 80.0, 899.0), (147455, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (147456, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (147457, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (149665, 306, 'O20180856P', '2018-05-24', '2018-06-13', '', '', 35.0, 799.0), (149667, 306, 'O20180856P', '2018-05-24', '2018-06-13', '', '', 34.03, 499.0)]
    ri-alleghi il sorgente aggiornato?





    Ciao cm , non riallego il sorgente perchè ho trovato l'errore ; cercavo di caricare una lista che non conteneva nulla.

    Grazie per l'aiuto, non diretto, ma dovuto a rianalisi attenta.... grazie ancora



    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Appena arrivò a casa invio il tutto.



    Grazie
    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Buongiorno, nessuno di buona esperienza è riuscito a provare il mio script (qui l’ho sparata grossa) per aiutarmi a capire dove è l’errore ?
    Prova a visualizzare la variabile purchases1. Ha questa strana forma...


    [(('31930', '20180523', '20180611'), '', ('32162', '20180501', '20180531'), ('46671', '20180401', '20180430'), ('46671', '20180501', '20180531'), '', '', '', '')] 
    Ciao,




    Ciao cm , a me pero' stampando la riga purchase1 esce cosi :




    [(144960, 310, 'O20180866P', '2018-05-24', '2018-06-13', '', '', 40.77, 799.0), (144598, 310, 'O20180866P', '2018-05-24', '2018-06-13', '', '', 20.33, 749.0), (145340, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 80.0, 899.0), (147455, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (147456, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (147457, 309, 'O20180865P', '2018-05-24', '2018-06-13', '', '', 30.0, 899.0), (149665, 306, 'O20180856P', '2018-05-24', '2018-06-13', '', '', 35.0, 799.0), (149667, 306, 'O20180856P', '2018-05-24', '2018-06-13', '', '', 34.03, 499.0)]




    Con 1 sola parentesi tonda, non con tonda dentro un'altra tonda.




    Scusa , forse non ho capito .....




    Grazie







    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Buongiorno, nessuno di buona esperienza è riuscito a provare il mio script (qui l’ho sparata grossa) per aiutarmi a capire dove è l’errore ?



    Grazie

    A.
    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Ciao Daniele, io ci ho provato ma non ne vado a capo, magari è un stupidata.

    Ti allego una parte del file perchè tu possa fare le tue prove.

    Sono proprio curioso di sapere dove sbaglio (si perchè essendo un brocco ... posso solo sbagliare).




    Grazie Daniele per l'interessamento.




    Alberto




    Ps: il file che ti ho inviato ha un nome diverso per non incasimanti io con il file completo.

    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Daniele aka Palmux said @ 2018-05-23 15:08:28:
    Ciao caro, ho provato tutto e... funziona senza problemi. :O

    Visto che non credo di essere "fortunato", le uniche variabili che mi vengono in mente sono:
    1. I dati provenienti dal file che non posso provare;
    2. Nella creazione della tabella sostituisci CREATE TABLE con CREATE TABLE IF NOT EXISTS.

    Fammi sapere.


    Grazie Daniele, stasera non posso , provo domani pomeriggio e ti faccio sapere.

    Grazie ancora e Buona Serata

    Alberto
    ------
    Alberto
  • Re: Errore durante creazione / inserimento dati in database
    Forum >> Programmazione Python >> Database
    Buonasera, nessuna ha idea di dove sia il problema/errore ?




    Alberto

    ------
    Alberto