Python利用Django如何寫restful api接口詳解
前言
用Python如何寫一個接口呢,首先得要有數(shù)據(jù),可以用我們在網(wǎng)站上爬的數(shù)據(jù),在上一篇文章中寫了如何用Python爬蟲,有興趣的可以看看:http://www.dbjr.com.cn/article/141661.htm
大量的數(shù)據(jù)保存到數(shù)據(jù)庫比較方便。我用的pymsql,pymsql是Python中操作MySQL的模塊,其使用方法和MySQLdb幾乎相同。但目前在python3.x中,PyMySQL取代了MySQLdb。
1.連接數(shù)據(jù)庫
# 連接數(shù)據(jù)庫,需指定charset否則可能會報錯 db = pymysql.connect(host="localhost", user="root", password="123", db="mysql", charset="utf8mb4") cursor = db.cursor() # 創(chuàng)建一個游標對象
2.創(chuàng)建數(shù)據(jù)庫
cursor.execute("DROP TABLE IF EXISTS meizi_meizis") # 如果表存在則刪除 # 創(chuàng)建表sql語句 createTab = """create table meizi_meizis( id int primary key auto_increment, mid varchar(10) not null, title varchar(50), picname varchar(10), page_url varchar(50), img_url varchar(50) );""" cursor.execute(createTab) # 執(zhí)行創(chuàng)建數(shù)據(jù)表操作
3.爬取數(shù)據(jù)
def html(self, href, title): lists = [] meiziid = href.split('/')[-1] html = self.request(href) max_span = BeautifulSoup(html.text, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].get_text() for page in range(1, int(max_span) + 1): meizi = {} page_url = href + '/' + str(page) img_html = self.request(page_url) img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src'] picname = img_url[-9:-4] meizi['meiziid'] = meiziid meizi['title'] = title meizi['picname'] = picname meizi['page_url'] = page_url meizi['img_url'] = img_url lists.append(meizi) # 保存到返回數(shù)組中 return lists
4.保存到數(shù)據(jù)庫
def all_url(self, url): html = self.request(url) all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a') for index, a in enumerate(all_a): title = a.get_text() href = a['href'] lists = self.html(href, title) for i in lists: # print(i['meiziid'], i['title'], i['picname'], i['page_url'], i['img_url']) # 插入數(shù)據(jù)到數(shù)據(jù)庫sql語句,%s用作字符串占位 sql = "INSERT INTO `meizi_meizis`(`mid`,`title`,`picname`,`page_url`,`img_url`) VALUES(%s,%s,%s,%s,%s)" try: cursor.execute(sql, (i['meiziid'], i['title'], i['picname'], i['page_url'], i['img_url'])) db.commit() print(i[0] + " is success") except: db.rollback() db.close() # 關(guān)閉數(shù)據(jù)庫
5.創(chuàng)建Web工程
運行我們的爬蟲,很快數(shù)據(jù)庫表里就有數(shù)據(jù)了。
然后開始寫接口。我是通過Django+rest_framework來寫的。
Django 是用Python開發(fā)的一個免費開源的Web框架,可以用于快速搭建高性能,優(yōu)雅的網(wǎng)站。Django 中提供了開發(fā)網(wǎng)站經(jīng)常用到的模塊,常見的代碼都為你寫好了,減少重復(fù)的代碼。
Django 目錄結(jié)構(gòu)
urls.py
網(wǎng)址入口,關(guān)聯(lián)到對應(yīng)的views.py中的一個函數(shù)(或者generic類),訪問網(wǎng)址就對應(yīng)一個函數(shù)。
views.py
處理用戶發(fā)出的請求,從urls.py中對應(yīng)過來, 通過渲染templates中的網(wǎng)頁可以將顯示內(nèi)容,比如登陸后的用戶名,用戶請求的數(shù)據(jù),輸出到網(wǎng)頁。
models.py
與數(shù)據(jù)庫操作相關(guān),存入或讀取數(shù)據(jù)時用到這個,當然用不到數(shù)據(jù)庫的時候 你可以不使用。
forms.py
表單,用戶在瀏覽器上輸入數(shù)據(jù)提交,對數(shù)據(jù)的驗證工作以及輸入框的生成等工作,當然你也可以不使用。
templates 文件夾
views.py 中的函數(shù)渲染templates中的Html模板,得到動態(tài)內(nèi)容的網(wǎng)頁,當然可以用緩存來提高速度。
admin.py
后臺,可以用很少量的代碼就擁有一個強大的后臺。
settings.py
Django 的設(shè)置,配置文件,比如 DEBUG 的開關(guān),靜態(tài)文件的位置等。
Django 常用操作
1)新建一個 django project
django-admin.py startproject project_name
2)新建 app
python manage.py startapp app_name
一般一個項目有多個app, 當然通用的app也可以在多個項目中使用。
還得在工程目錄的settings.py文件在配置
INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', 'django.contrib.staticfiles', 'rest_framework', 'meizi', ]
在app/views.py下編寫代碼
def index(request): return HttpResponse(u"你好")
在工程目錄urls.py配置
from learn import views as learn_views urlpatterns = [ url(r'^$', learn_views.index), ]
通過python manage.py runserver啟動,就會看到我們輸出的“你好”了
3)創(chuàng)建數(shù)據(jù)庫表 或 更改數(shù)據(jù)庫表或字段
在app下的models.py創(chuàng)建表
class Person(models.Model): name = models.CharField(max_length=30) age = models.IntegerField() def __unicode__(self): # 在Python3中使用 def __str__(self): return self.name
運行命令,就可以生成對應(yīng)的表
Django 1.7.1及以上 用以下命令 # 1. 創(chuàng)建更改的文件 python manage.py makemigrations # 2. 將生成的py文件應(yīng)用到數(shù)據(jù)庫 python manage.py migrate
在views.py文件里就可以獲取數(shù)據(jù)庫的數(shù)據(jù)
def create(request): # 新建一個對象的方法有以下幾種: Person.objects.create(name='xiaoli', age=18) # p = Person(name="WZ", age=23) # p = Person(name="TWZ") # p.age = 23 # p.save() # 這種方法是防止重復(fù)很好的方法,但是速度要相對慢些,返回一個元組,第一個為Person對象, # 第二個為True或False, 新建時返回的是True, 已經(jīng)存在時返回False # Person.objects.get_or_create(name="WZT", age=23) s = Person.objects.get(name='xiaoli') return HttpResponse(str(s))
6.寫接口
接口使用rest_framework,rest_framework是一套基于Django 的 REST 框架,是一個強大靈活的構(gòu)建 Web API 的工具包。
寫接口三步完成:連接數(shù)據(jù)庫、取數(shù)據(jù)、數(shù)據(jù)輸出
1)連接數(shù)據(jù)庫
在工程目錄下的settings.py文件下配置
DATABASES = { # 'default': { # 'ENGINE': 'django.db.backends.sqlite3', # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), # } 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'mysql', 'USER': 'root', 'HOST': '127.0.0.1', 'PASSWORD': '123', 'PORT': 3306, # show variables like 'character_set_database'; # 修改字段字符編碼 # alter table spiders_weibo modify text longtext charset utf8mb4 collate utf8mb4_unicode_ci; 'OPTIONS': {'charset': 'utf8mb4'}, } }
2)取數(shù)據(jù)
既然要取數(shù)據(jù),那model肯定得和數(shù)據(jù)庫的一致,我發(fā)現(xiàn)一個快捷的方式可以把數(shù)據(jù)庫中的表生成對應(yīng)的model,在項目目錄下執(zhí)行命令
python manage.py inspectdb
可以看到下圖
取我們表的model拷貝到app下的models.py里
class Meizis(models.Model): mid = models.CharField(max_length=10) title = models.CharField(max_length=50, blank=True, null=True) picname = models.CharField(max_length=10, blank=True, null=True) page_url = models.CharField(max_length=50, blank=True, null=True) img_url = models.CharField(max_length=50, blank=True, null=True) class Meta: managed = False db_table = 'meizi_meizis'
創(chuàng)建一個序列化Serializer類
提供序列化和反序列化的途徑,使之可以轉(zhuǎn)化為,某種表現(xiàn)形式如json。我們可以借助serializer來實現(xiàn),類似于Django表單(form)的運作方式。在app目錄下,創(chuàng)建文件serializers.py。
class MeiziSerializer(serializers.ModelSerializer): # ModelSerializer和Django中ModelForm功能相似 # Serializer和Django中Form功能相似 class Meta: model = Meizis # 和"__all__"等價 fields = ('mid', 'title', 'picname', 'page_url', 'img_url')
這樣在views.py就可以來獲取數(shù)據(jù)庫的數(shù)據(jù)了
meizis = Meizis.objects.all() serializer = MeiziSerializer(meizis, many=True) return Response(serializer.data)
3) 數(shù)據(jù)輸出客戶端或前端
REST框架提供了兩種編寫API視圖的封裝。
- @api_view裝飾器,基于方法的視圖。
- 繼承APIView類,基于類的視圖。
request.data會自行處理輸入的json請求
使用格式后綴明確的指向指定的格式,需要添加一個format關(guān)鍵字參數(shù)
http http://127.0.0.1:8000/getlist.json # JSON 后綴
http://127.0.0.1:8000/getlist.api # 可視化 API 后綴
http://127.0.0.1:8000/getlist/ code="print 123"post
@api_view(['GET', 'POST']) def getlist(request, format=None): if request.method == 'GET': meizis = Meizis.objects.all() serializer = MeiziSerializer(meizis, many=True) return Response(serializer.data) elif request.method == 'POST': serializer = MeiziSerializer(data=request.data) if serializer.is_valid(): serializer.save() return Response(serializer.data, status=status.HTTP_201_CREATED) return Response(serializer.errors, status=status.HTTP_400_BAD_REQUEST)
4)分頁
最后別忘了在urls.py配置URL,通過瀏覽器就可以看到j(luò)son數(shù)據(jù)了。
當然app也是可以調(diào)用我們的接口的
還有個問題
我們的數(shù)據(jù)有好幾千條,一塊返回來很不合理,所以需要分頁,當然rest_framework框架提供了這個功能,post請求不支持,需要自己查數(shù)據(jù)庫或者切片來進行返回。來看看rest_framework是如何來分頁的。在models.py里創(chuàng)建一個類
class StandardResultSetPagination(LimitOffsetPagination): # 默認每頁顯示的條數(shù) default_limit = 20 # url 中傳入的顯示數(shù)據(jù)條數(shù)的參數(shù) limit_query_param = 'limit' # url中傳入的數(shù)據(jù)位置的參數(shù) offset_query_param = 'offset' # 最大每頁顯示條數(shù) max_limit = None
在serializers.py創(chuàng)建倆個類,為什么是倆個?因為我們有倆個接口,一個明細,一個列表,而列表是不需要把字段的所有數(shù)據(jù)都返回的
class ListSerialize(serializers.ModelSerializer): class Meta: model = Meizis fields = ('mid', 'title') class ListPicSerialize(serializers.ModelSerializer): class Meta: model = Meizis fields = "__all__"
在views.py里編寫
@api_view(['GET']) def getlist(request, format=None): if request.method == 'GET': meizis = Meizis.objects.values('mid','title').distinct() # http: // 127.0.0.1:8000 / getlist?limit = 20 # http: // 127.0.0.1:8000 / getlist?limit = 20 & offset = 20 # http: // 127.0.0.1:8000 / getlist?limit = 20 & offset = 40 # 根據(jù)url參數(shù) 獲取分頁數(shù)據(jù) obj = StandardResultSetPagination() page_list = obj.paginate_queryset(meizis, request) # 對數(shù)據(jù)序列化 普通序列化 顯示的只是數(shù)據(jù) ser = ListSerialize(instance=page_list, many=True) # 多個many=True # instance:把對象序列化 response = obj.get_paginated_response(ser.data) return response @api_view(['GET', 'POST']) def getlispic(request, format=None): if request.method == 'GET': mid = request.GET['mid'] if mid is not None: # get是用來獲取一個對象的,如果需要獲取滿足條件的一些數(shù)據(jù),就要用到filter meizis = Meizis.objects.filter(mid=mid) obj = StandardResultSetPagination() page_list = obj.paginate_queryset(meizis, request) ser = ListPicSerialize(instance=page_list, many=True) response = obj.get_paginated_response(ser.data) return response else: return Response(str('請傳mid'))
到這里就完成了接口的編寫,都是對框架的簡單使用,希望對大家有幫助。
GitHub地址,歡迎star
爬蟲項目:https://github.com/peiniwan/CreeperTest(本地下載)
Web項目:https://github.com/peiniwan/mysite (本地下載)
APP項目:https://github.com/peiniwan/Ganhuo (本地下載)
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。
- python模塊restful使用方法實例
- 在Python的框架中為MySQL實現(xiàn)restful接口的教程
- Python restful框架接口開發(fā)實現(xiàn)
- Python實現(xiàn)Restful API的例子
- Python中Flask-RESTful編寫API接口(小白入門)
- 使用Python & Flask 實現(xiàn)RESTful Web API的實例
- Python進行Restful?API開發(fā)實例詳解
- python用post訪問restful服務(wù)接口的方法
- python Flask實現(xiàn)restful api service
- 探索?Python?Restful?接口測試的奧秘
相關(guān)文章
python中使用pyhook實現(xiàn)鍵盤監(jiān)控的例子
這篇文章主要介紹了python中使用pyhook實現(xiàn)鍵盤監(jiān)控的例子,包含pyhook的下載地址和手冊地址及一個Windows下的監(jiān)控實例,需要的朋友可以參考下2014-07-07Python數(shù)據(jù)結(jié)構(gòu)與算法之列表(鏈表,linked list)簡單實現(xiàn)
這篇文章主要介紹了Python數(shù)據(jù)結(jié)構(gòu)與算法之列表(鏈表,linked list)簡單實現(xiàn),具有一定參考價值,需要的朋友可以了解下。2017-10-10Pycharm最全報錯的原因與解決方法總結(jié)(推薦!)
這篇文章主要給大家介紹了關(guān)于Pycharm最全報錯的原因與解決方法的相關(guān)資料,文中記錄了Python各種報錯解釋及處理方法,屬于個人記錄型,需要的朋友可以參考下2022-07-07python目標檢測yolo3詳解預(yù)測及代碼復(fù)現(xiàn)
這篇文章主要為大家介紹了python目標檢測yolo3詳解預(yù)測及代碼復(fù)現(xiàn),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-05-05NumPy數(shù)組排序、過濾與隨機數(shù)生成詳解
這篇文章主要詳細給大家介紹了NumPy數(shù)組排序、過濾與隨機數(shù)生成,文中通過代碼示例給大家講解的非常詳細,對大家學(xué)習(xí)NumPy有一定的幫助,需要的朋友可以參考下2024-05-05