PHP+mysql插入上千萬條數(shù)據(jù),導致內(nèi)存不足,尋求釋放內(nèi)存方法

我給你個思路，利用游覽器的刷新機制，每執(zhí)行10秒刷新一下自動更新下一串數(shù)據(jù)，一串多少數(shù)據(jù)，看你的SQL效率而定。就這樣一直刷新更新，到結束為止。

創(chuàng)新互聯(lián)成立于2013年，先為郎溪等服務建站，郎溪等地企業(yè)，進行企業(yè)商務咨詢服務。為郎溪企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務解決您的所有建站問題。

優(yōu)化數(shù)據(jù)結構，每張數(shù)據(jù)表字段4-5個，加上索引。還可以將不同的種類的數(shù)據(jù)存入不同的數(shù)據(jù)庫。減少單個數(shù)據(jù)庫的壓力。寫入數(shù)據(jù)只是存的問題，問題在于讀取數(shù)據(jù)會變慢。建議使用緩存memcache，redis在向你招收哦。

檢查一下 MySQL 設置，有助于確定內(nèi)存使用情況，從而為 MySQL 分配合適的值。一個近似的公式：當網(wǎng)站受到攻擊時，有可能在短時間內(nèi)建立異常高的連接數(shù)量。MySQL 中的 PROCESSLIST 可用于檢測頂級用戶并阻止對濫用連接的訪問。

我知道你為什么會停下來，因為mysql插入大量數(shù)據(jù)（1000W）的情況下，執(zhí)行時間需要的很長，而你八成設定執(zhí)行時間不限制，如果時間默認超過30秒，那么程序就會自動停下來。

php寫個循環(huán)往mysql數(shù)據(jù)庫插入100w條數(shù)據(jù),每次插入幾萬條就自動停止了...

1、我知道你為什么會停下來，因為mysql插入大量數(shù)據(jù)（1000W）的情況下，執(zhí)行時間需要的很長，而你八成設定執(zhí)行時間不限制，如果時間默認超過30秒，那么程序就會自動停下來。

2、請你估計一下，現(xiàn)在執(zhí)行100多個txt文件就停止了，到停止為止執(zhí)行多長時間？一般PHP文件執(zhí)行有時間限制，超過時間就停止了，可以用下面的語句增加：set_time_limit(300)；例子設定顯示300秒，你可以設置為0表示無限長。

3、如果是用mysql數(shù)據(jù)庫的話，一條語句可以插入幾千條語句。類似以下語句：insert into table_name (field1，field2) values (1，2)，(2，3)，(3，5)，(5，6)請查看mysql手冊。其他數(shù)據(jù)庫請查閱相應手冊。

4、2在新建臨時表時，如果一次性插入數(shù)據(jù)量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數(shù)據(jù)量不大，為了緩和系統(tǒng)表的資源，應先create table，然后insert。

php如何導入幾十萬數(shù)據(jù)

打開config.inc.php文件，查找$cfg[UploadDir]，這個參數(shù)就是設定導入文件存放的目錄，這里把值設定為：ImportSQLFile。

拼接sql語句，每條sql執(zhí)行20個插入語句。

13M并不是太大，先全部存入數(shù)組（內(nèi)存），然后使用SQL一次性導入（最好使用事務處理，數(shù)據(jù)庫底層會自動優(yōu)化）；必要時可在導入前檢查數(shù)據(jù)完備性，反正要點是盡量減少磁盤操作（太耗時）。

現(xiàn)在一些web程序的備份功能其實真的是擺設，讀取數(shù)據(jù)，拼裝寫文件，要是數(shù)據(jù)多點的話就死悄悄了，這個工作還是要用專門的dump工具做。

網(wǎng)頁標題：php插入幾百萬的數(shù)據(jù)_ php處理10萬級數(shù)據(jù)
本文URL：http://sd-ha.com/article16/dcijhdg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、網(wǎng)站內(nèi)鏈、ChatGPT、域名注冊、靜態(tài)網(wǎng)站、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)