-
mongodump 在数据量大的时候非常缓慢
这边的解决方案是增加 --forceTableScan –forceTableScan Forces mongodump to scan the data store directly: typically, mongodump saves entries as they appear in the index of the _id field. Use –forceTableScan to skip the index and scan the data directly. Typi...…
-
python随笔之实现classmethod staticmethod
大概刚学python的时候就知道了classmethod和staticmethod的用法，后来看到描述器才知道描述器与他们之间千丝万缕的关系，是否能动手实现下这俩货嘞？这边先从bound和unbound method说起bound unbound看下面的例子class Cla(): def __init__(self,a): self.a = a def f(self): print self,self.a print Cla.f# &...…
-
pyredis中ttl的坑
问题复现在用py-redis 的redis类做redis悲观锁的时候发现了一个问题，ttl方法显示过期（返回None）的时候，redis中key实际上没有消失，大概还能存活0.5秒，但是如果换成strictRedis就没问题了，很有意思。下面是一个简单的复现的代码。r = redis.Redis()lock_name = "test_lock"r.set(lock_name, "test")r.expire(lock_name, 1)t1 = 0t2 = 0while True: #...…
-
LocalProxy作用的一点感悟
这里的LocalProxy是指 werkzeug.local中的一个类class werkzeug.local.LocalProxy(*local*, *name=None*)[]Acts as a proxy for a werkzeug local. Forwards all operations to a proxied object. The only operations not supported for forwarding are right handed operands...…
-
python随笔--socket关闭之后端口占用的问题
先上一段代码class MyHttpHandler(BaseHTTPRequestHandler): def do_GET(self): print "do get" self.send_response(code=200) self.end_headers() self.wfile.write("hello world")if __name__ == '__main__': serv = TCPServer(('', 2...…
-
mysql随笔之事务隔离级别
这是一个相当基础的问题 SQL标准定义了4类隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。 Read Uncommitted（读取未提交内容）在该隔离级别，所有事务都可以看到其他未提交事务的执行结果。本隔离级别很少用于实际应用，因为它的性能也不比其他级别好多少。读取未提交的数据，也被称之为脏读（Dirty Read）。 Read Committed（读取提交内容）这是大多数数据库系统的默认...…
-
python随笔之SocketServer
从SocketServer 讲起 +------------+ | BaseServer | +------------+ | v +-----------+ +------------------+ | TCPServer |------->| UnixStreamServer | +-----------+ +------------------+ | ...…
-
python随笔之从__dict__说起
先上一段代码，来源是github。class Borg(object): __shared_state = {} def __init__(self): self.__dict__ = self.__shared_state self.state = 'Init' def __str__(self): return self.stateclass YourBorg(Borg): passif __name__ == '__m...…
-
python随笔之瞎看看flask
wsgi在看flask之前，必须要看的是wsgi。wsgi 更像是一个为了让服务器和应用程序一起工作的标准，遵循标准的application(如flask)可以运行在遵循标准的server（uwsgi等）之上。这里有一篇实现标准的wsgi server的博客自己写一个 wsgi 服务器运行 Django 、Tornado 等框架应用flaskapp = Flask(__name__)app.run()上述代码发生了什么？#flaskdef run(self, host='localhost...…
-
爬虫之百度指数
蛮早之前公司有个产品问我能不能爬百度指数，我随便瞄了眼，直接回了可以，然后…光速打脸…今儿个有空，研究研究这玩意儿。嫌长的可以直接拉到最后看后记。####目标先明确下要做什么，目标不是要写出一个可用的完整的爬虫，只是要个思路。我们的目标仅仅只是爬取这边的数字，162和125，还有后边的比例。分析先说点题外话，业界对数字的加密真是做的丧心病狂，返回假数据然后js重新计算修改都是简单的了，复杂的还有某移动端网页返回数字234，然而因为使用了特殊的字体显示123的，这边还有个更恶心的迷之加密。开...…