⑴ python 如何比較兩個文件中的重復字元串並輸出統計數字

這5000W 數據有點大
光讀寫文件 就要好長時間
有沒有hadoop 平台
http://blog.csdn.net/zhaoyl03/article/details/8657031/
這個統計 很快

⑵ python如何去除重復行並分別統計重復的行數已有去除重復的代碼

python的速度效率是不高的，如何對速度要求比較高的話建議可以用c來寫。
我寫了這個代碼，python2.6+windows xp測試通過。
希望能幫到你~
===================================================

a=[] #初始化要用到的列表a，用於記錄原始行信息
b=[] #初始化要用到的列表b，用於記錄結果數據，由兩項構成。前一項為行信息如「小明：90」，後一項為該行對應的出現次數如2

f1=file("1.txt", "r") #打開1.txt文件
for line in f1:
a.append(line) #將1.txt文件每一行作為一個元素，存入列表a
f1.close

for n in a: #遍歷a中每一項（記為n），即1.txt中每一行
flag=1
for i in range(0,len(b)):
if n == b[i][0]: #n與列表b中的每一項對比，如果有相等的：
b[i][1]=b[i][1]+1 #那麼對應的出現計數加1
flag=0
break
if flag==1: #如果前面的比對沒有一個相等的，即該行是第一次出現：
b.append([n,1]) #那麼在列表b中添加改行為新的一項

f2=file("2.txt", "w") #打開2.txt文件，用於輸出
for n in b: #輸出格式為：行信息 （tab） 出現次數 （回車）
f2.write(str(n[0][0:-1]) + "\t")
f2.write(str(n[1]) + "\n")
f2.close

print "Finished" #完成

⑶ 如何用python實現兩個文件重復數據篩選並統計

本文實例展示了Python統計列表中的重復項出現的次數的方法，是一個很實用的功能，適合Python初學者學習借鑒。具體方法如下：
對一個列表，比如[1,2,2,2,2,3,3,3,4,4,4,4]，現在我們需要統計這個列表裡的重復項，並且重復了幾次也要統計出來。
方法1：
?

1234

mylist = [1,2,2,2,2,3,3,3,4,4,4,4]myset = set(mylist) #myset是另外一個列表，裡面的內容是mylist裡面的無重復 項for item in myset: print("the %d has found %d" %(item,mylist.count(item)))

方法2:
?

123456

List=[1,2,2,2,2,3,3,3,4,4,4,4]a = {}for i in List: if List.count(i)>1: a[i] = List.count(i)print (a)

利用字典的特性來實現。
方法3：
?

123

>>> from collections import Counter>>> Counter([1,2,2,2,2,3,3,3,4,4,4,4])Counter({1: 5, 2: 3, 3: 2})

這里再增補一個只用列表實現的方法：

?

12345678910

l=[1,4,2,4,2,2,5,2,6,3,3,6,3,6,6,3,3,3,7,8,9,8,7,0,7,1,2,4,7,8,9] count_times = []for i in l : count_times.append(l.count(i)) m = max(count_times)n = l.index(m) print (l[n])

其實現原理就是把列表中的每一個數出現的次數在其對應的位置記錄下來，然後用max求出出現次數最多的位置。
只用這段代碼的話，有一個缺點，如果有多個結果，最後的現實的結果只是出現在最左邊的那一個，不過解決方法也很簡單

⑷ python二維數組中的每一組元素重復的次數怎麼統計

代碼如下：

#coding=utf-8

if__name__=='__main__':

a=[
[2,3,34,56],
[14,23,45,6],
[2,3,34,56]
]

map={}

foritemina:
s=str(item)
ifsinmap.keys():
map[s]=map[s]+1
else:
map[s]=1

forkeyinmap.keys():
print('%s的次數為%d'%(key,map[key]))

運行結專果：屬

⑸ 如何使用python或者宏對excel中數據進行統計重復次數

把你錄制的宏裡面的工作表名稱改成activesheet就可以了
activesheet是表示當前工作表
甚至可以一次搞定，用循環語句一次讀取200多個工作表。

⑹ Python怎麼計算相同數字出現的次數

l=[1,2,3,3,3,3]
t=l.count(3)#t=4

⑺ python如何統計元組中重復元素個數

#獲取重復元數的個數，使用set可以將list中重復元數去掉
temp_list = [1, 3, 2, 3, 2, 4]
repeat_count = len(temp_list) - len(set(temp_list))

⑻ python怎麼統計元組中重復元素個數

Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)] on win32
Type "right", "credits" or "license()" for more information.
>>> rs = (('192.168.16.1',), ('192.168.41.1',), ('192.168.41.1',))
>>> d = {}
>>> for k in rs:
for v in k:
if v in d:
d[v] += 1
else:
d[v] = 1

>>> print d
{'192.168.16.1': 1, '192.168.41.1': 2}

⑼ 用python怎麼實現，找出一個字元串中的重復字元子串和字元串數量

|

代碼如下:

⑽ 如何用python統計文本中重復行的數目

這個應該不難
先取出一行,存入字典key value=0
然後next 後面一行判斷是不是在字典的key里,如果在key里,value+1

完了就結束了,這了字典就是結果
一開始想用用二維數組,好像不好理解,字典好處理一點