首页 Python,Knowledge 正文

发种姬修复之 "请填写必填项目上传失败！"

Rhilip 2018-05-31 PM 3781℃ 0条

这个其实是一个一致很困扰的问题，虽然以前大体可以定位是因为python的requests库原因，导致file的filename属性在上传的时候不能正确的被编码，故服务器接收失败。但是之前这个并不是很影响发种姬发布（实际被影响的种子只有几个）。故一直没有去解决。

但最近在配置新的发种姬的时候，却发现所有种子、所有站点都出现了同样的错误。那么就说明了这个问题需要解决了23333

error_log.jpg

额，如果你看不下去中间过程，请直接翻阅到最底下就行233333

环境准备

构造demo站点

为了更明确的定位问题所在，建个demo站点。NexusPHP构架建立站点特别简单，唯一需要注意的是使用的PHP版本不能太高，因为np构架使用了高版本PHP版本抛弃的mysql方法库，所以我选择了php 5.5.38。

另，不建议使用Github上的某官方源码 ZJUT/NexusPHP ，因为实测，这个版本引入了 UCenter 但很明显没有完成（缺少相关的数据库构造语句）。更推荐使用SourceForge上的 源码 进行搭建。

np_demo.jpg

搭建过程不是本文重点，你随便搜索个教程应该就能解决。（实际是这个demo站点很早之前就建好了，忘了当初是怎么建的了

服务器端takeupload.php

根据NP源码的takeupload.php分析，POST的body部分缺少descr、type、name、file字段时，会提示缺少必填项目，且字段缺少的情况在最开始的地方进行判断。且如果使用网页提交空表单的话，一般会进入后面的std_empty_filename（即提示信息为文件名不能为空！ ）

相关参考代码（站点均可能对该部分源码进行修改）如下：

foreach(explode(":","descr:type:name") as $v) {
    if (!isset($_POST[$v]))
    bark($lang_takeupload['std_missing_form_data']);
}
if (!isset($_FILES["file"]))
bark($lang_takeupload['std_missing_form_data']);

但这部分代码并不明确，故修改使之明确缺少信息。修改后的代码如下

foreach(explode(":","descr:type:name") as $v) {
    if (!isset($_POST[$v]))
    bark('std_missing_form_data, which is'.$v);
}
if (!isset($_FILES["file"]))
bark('std_missing_form_data, which is file');

使用Fiddler4抓包

在服务器与客户端之间使用Fiddler代理抓包，代理信息为127.0.0.1:8888。

在requests中这样设置代理

import requests

proxies = {
  "http": "http://127.0.0.1:8888",
  "https": "http://127.0.0.1:8888",
}

requests.get("http://example.org", proxies=proxies)

本地客户端临时Python脚本

首先更新本地的requests库到最新的2.18.4。（因为原先发种姬使用的2.9.1并没有出现很严重的问题）

并按照我们原先的发布方法新写一个基本的发布脚本。其源码如下：

# ！/usr/bin/python3
# -*- coding: utf-8 -*-
# Copyright (c) 2017-2020 Rhilip <[email protected]>

import requests
import os

from bs4 import BeautifulSoup
from utils.cookie import cookies_raw2jar

raw_cookies = "c_lang_folder=chs; c_secure_uid=MQ%3D%3D; c_secure_pass=0488b5e1d2441253cfd4c005ea3ce922; c_secure_ssl=bm9wZQ%3D%3D; c_secure_tracker_ssl=bm9wZQ%3D%3D; c_secure_login=bm9wZQ%3D%3D"
torrent_file = r"F:\[BYRBT].[VCB-Studio] Koi to Uso [Ma10p_1080p].torrent"
post_url = "http://nexusphp.localhost/takeupload.php"
proxies = {
  "http": "http://127.0.0.1:8888",
  "https": "http://127.0.0.1:8888",
}

tup = (
    ("file", (os.path.basename(torrent_file), open(torrent_file, 'rb'), 'application/x-bittorrent')),
    ("name", ('', "[BeanSub&FZSD][Saiki_Kusuo_no_Ψ-nan_S2][20][GB][720P][x264_AAC]")),
    ("small_descr", ('', "test file")),
    ("nfo", ('', "")),
    ("color", ('', "0")),
    ("font", ('', "0")),
    ("size", ('', "0")),
    ("descr", ('', "test file")),
    ("type", ('', "405")),
    ("medium_sel", ('', "5")),
    ("codec_sel", ('', "5")),
    ("standard_sel", ('', "5")),
    ("team_sel", ('', "5")),
)

r = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),files=tup,proxies=proxies)
if r.url != post_url:
    print(r.url)
else:
    outer_bs = BeautifulSoup(r.text, "lxml")
    outer_tag = outer_bs.find("td", id="outer")
    if outer_tag.find_all("table"):  # Remove unnecessary table info(include SMS,Report)
        for table in outer_tag.find_all("table"):
            table.extract()
    outer_message = outer_tag.get_text().replace("\n", "")
    print(outer_message)

试错

第一次尝试 （失败）

运行前面刚写的临时Python脚本，我得到了一个很奇怪的报错。

D:\Anaconda3\python.exe E:/Github_repo/Byrbt-Autoseed/test.py
上传失败！std_missing_form_data, which is descr

很奇怪，丢失的信息是descr。通过Fiddler 4抓包信息可以看到，我们非文件的信息提交也被当做了文件提交，故PHP在使用$_POST从POST信息中获取参数时就获取不到正确的信息。

first_try.jpg

修改服务器相关代码为下列后，重新运行脚本。

foreach(explode(":","descr:type:name") as $v) {
    if (!isset($_POST[$v]))
    bark('std_missing_form_data from POST, which is '.$v.'.In FILES it\'s'.$_FILES[$v]);
}

得到以下返回

D:\Anaconda3\python.exe E:/Github_repo/Byrbt-Autoseed/test.py
上传失败！std_missing_form_data from POST, which is descr.In FILES it's Array

可见在requests(2.18.4)库中，我们原先使用的方法是存在问题的——所有非文件的会被错误的编码成文件。而导致服务器端程序不能正确获取值。

第二次尝试 （失败）

那么如果不能使用files的话，那使用data会怎么样？

修改脚本为下列后，重新运行脚本。

r = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),data=tup,proxies=proxies)

得到以下返回

D:\Anaconda3\python.exe E:/Github_repo/Byrbt-Autoseed/test.py
上传失败！std_missing_form_data, which is file

看来困扰之前的问题解决了。descr等字段已经被服务器正确的解析了。但file并没有，同时Fiddler抓包显示的信息表示上传的已经不是 multipart/form-data 的形式。且file被错误的提交成了三个字段。

所以直接使用data属性也是不正确的举措。

second_try.jpg

第三次尝试

如果这样的话，那么复用files和data会这么样那？我们继续修改Python脚本。

file_tup = [
    ("file", (os.path.basename(torrent_file), open(torrent_file, 'rb'), 'application/x-bittorrent')),
]
other_data = {
    "name": "[VCB-Studio] Koi to Uso [Ma10p_1080p]",
    "small_descr":"test file",
    "nfo": "",
    "color": "0",
    "font": "0",
    "size": "0",
    "descr": "test file",
    "type":"405",
    "medium_sel": "5",
    "codec_sel": "5",
    "standard_sel":"3",
    "team_sel": "5",
}
r = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),
                  data=other_data,files=file_tup,
                  proxies=proxies)

这次很好，直接返回了我们想要的结果，同时Fiddler抓包也显示了正确的requests body。

D:\Anaconda3\python.exe E:/Github_repo/Byrbt-Autoseed/test.py
http://nexusphp.localhost/details.php?id=3&uploaded=1

thir_try.jpg

第四次尝试 （失败）

我们重新回到requests提供的files属性上，通过查阅源代码备注，我们可以看到以下提示

files: (optional) Dictionary of ``'name': file-like-objects`` (or ``{'name': file-tuple}``) for multipart encoding upload.
        ``file-tuple`` can be a 2-tuple ``('filename', fileobj)``, 3-tuple ``('filename', fileobj, 'content_type')``
        or a 4-tuple ``('filename', fileobj, 'content_type', custom_headers)``, where ``'content-type'`` is a string
        defining the content type of the given file and ``custom_headers`` a dict-like object containing additional headers
        to add for the file.

那么是不是我们之前写的files元组出错了那？

tup1 = (
    ("file", (os.path.basename(torrent_file), open(torrent_file, 'rb'), 'application/x-bittorrent')),
    ("name", "[VCB-Studio] Koi to Uso [Ma10p_1080p]"),
    ("small_descr",  "test file"),
    ("nfo", ""),
    ("color",  "0"),
    ("font",  "0"),
    ("size","0"),
    ("descr", "test file"),
    ("type",  "405"),
    ("medium_sel", "5"),
    ("codec_sel", "5"),
    ("standard_sel","3"),
    ("team_sel", "5"),
)
r1 = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),files=tup1,proxies=proxies)

tup2 = {
    "file": (os.path.basename(torrent_file), open(torrent_file, 'rb'), 'application/x-bittorrent'),
    "name": "[VCB-Studio] Koi to Uso [Ma10p_1080p]",
    "small_descr": "test file",
    "nfo": "",
    "color": "0",
    "font": "0",
    "size": "0",
    "descr": "test file",
    "type": "405",
    "medium_sel": "5",
    "codec_sel": "5",
    "standard_sel": "3",
    "team_sel": "5",
}
r2 = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),files=tup2,proxies=proxies)

更改代码并分别运行，结果均显示上传失败！std_missing_form_data from POST, which is descr.In FILES it's Array。且Fiddler抓包结果与第一次尝试相同。

正确的发布脚本应该怎样

通过上面的尝试，我发现了在最新的requests库中，在files属性中的信息均会被编码成file而被发送，不与之前的编写时候的结果一致。其他非文件上传信息应该与文件信息分开放在data属性中。经过上面一步步试错，我们知道了正确的应该复用data与files（即文件放在files中发，字段放在data中发）才能正确的向服务器发送正确的信息。

# ！/usr/bin/python3
# -*- coding: utf-8 -*-
# Copyright (c) 2017-2020 Rhilip <[email protected]>

import requests
import os

from bs4 import BeautifulSoup
from utils.cookie import cookies_raw2jar

raw_cookies = "c_lang_folder=chs; c_secure_uid=MQ%3D%3D; c_secure_pass=0488b5e1d2441253cfd4c005ea3ce922; c_secure_ssl=bm9wZQ%3D%3D; c_secure_tracker_ssl=bm9wZQ%3D%3D; c_secure_login=bm9wZQ%3D%3D"
torrent_file = r"F:\[BYRBT].[VCB-Studio] Koi to Uso [Ma10p_1080p].torrent"
post_url = "http://nexusphp.localhost/takeupload.php"
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}

file_tup = ("file", (os.path.basename(torrent_file), open(torrent_file, 'rb'), 'application/x-bittorrent')),
other_data = {
    "name": "[VCB-Studio] Koi to Uso [Ma10p_1080p]",
    "small_descr":"test file",
    "nfo": "",
    "color": "0",
    "font": "0",
    "size": "0",
    "descr": "test file",
    "type":"405",
    "medium_sel": "5",
    "codec_sel": "5",
    "standard_sel":"3",
    "team_sel": "5",
}

r = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),data=other_data,files=file_tup,proxies=proxies)
if r.url != post_url:
    print(r.url)
else:
    outer_bs = BeautifulSoup(r.text, "lxml")
    outer_tag = outer_bs.find("td", id="outer")
    if outer_tag.find_all("table"):  # Remove unnecessary table info(include SMS,Report)
        for table in outer_tag.find_all("table"):
            table.extract()
    outer_message = outer_tag.get_text().replace("\n", "")
    print(outer_message)

但这样还有问题没有解决。我们更改下种子文件。这样种子文件名中是带有特殊的，不能被ascii编码的字符。

torrent_file = r"F:\[BYRBT].[BeanSub&FZSD][Saiki_Kusuo_no_Ψ-nan_S2][20][GB][720P][x264_AAC].mp4.torrent"

运行脚本，提示上传失败！std_missing_form_data, which is file，但Fiddler抓包结果显示正常，唯一不同的是filename那里显示的和正常的有些不同。

虽然暂时不是很明白是requests库的问题还是PHP处理的问题，（Ps. 我觉得是requests的问题可能更大些。。

unasni_decode.jpg

因为np的机制，上传后的种子名字在存储的时候以 <tid>.torrent 存储，而显示以及下载的时候是以做种时选择的文件夹以及文件名为主，所以移除影响不大。

所以你可以这么写233333

file_tup = ("file", ("rhilip.torrent", open(torrent_file, 'rb'), 'application/x-bittorrent')),

当然最好的还是用编码的形式先移除这些non-ascii的字符来使种子名正确的被requests库处理。

原理大体这样： Python3: str -> bytes -> str

>>>"[BYRBT].[BeanSub&FZSD][Saiki_Kusuo_no_Ψ-nan_S2][20][GB][720P][x264_AAC].mp4.torrent".encode("ascii", errors="ignore").decode()
'[BYRBT].[BeanSub&FZSD][Saiki_Kusuo_no_-nan_S2][20][GB][720P][x264_AAC].mp4.torrent'

重新修改，那么最终我们得到一个在requests(2.18.4)下，可以用的发布脚本，撒花★,°:.☆(￣▽￣)/$:.°★ 。

# ！/usr/bin/python3
# -*- coding: utf-8 -*-
# Copyright (c) 2017-2020 Rhilip <[email protected]>

import requests
import os

from bs4 import BeautifulSoup
from utils.cookie import cookies_raw2jar

raw_cookies = "c_lang_folder=chs; c_secure_uid=MQ%3D%3D; c_secure_pass=0488b5e1d2441253cfd4c005ea3ce922; c_secure_ssl=bm9wZQ%3D%3D; c_secure_tracker_ssl=bm9wZQ%3D%3D; c_secure_login=bm9wZQ%3D%3D"
torrent_file = r"F:\[BYRBT].[BeanSub&FZSD][Saiki_Kusuo_no_Ψ-nan_S2][20][GB][720P][x264_AAC].mp4.torrent"
post_url = "http://nexusphp.localhost/takeupload.php"
proxies = {
    "http": "http://127.0.0.1:8888",
    "https": "http://127.0.0.1:8888",
}

file_name = os.path.basename(torrent_file).encode("ascii", errors="ignore").decode()
file_tup = ("file", (file_name, open(torrent_file, 'rb'), 'application/x-bittorrent')),
other_data = {
    "name": "[BeanSub&FZSD][Saiki_Kusuo_no_Ψ-nan_S2][20][GB][720P][x264_AAC]",
    "small_descr":"test file",
    "nfo": "",
    "color": "0",
    "font": "0",
    "size": "0",
    "descr": "test file",
    "type":"405",
    "medium_sel": "5",
    "codec_sel": "5",
    "standard_sel":"3",
    "team_sel": "5",
}

r = requests.post(post_url,cookies=cookies_raw2jar(raw_cookies),data=other_data,files=file_tup,proxies=proxies)
if r.url != post_url:
    print(r.url)
else:
    outer_bs = BeautifulSoup(r.text, "lxml")
    outer_tag = outer_bs.find("td", id="outer")
    if outer_tag.find_all("table"):
        for table in outer_tag.find_all("table"):
            table.extract()
    outer_message = outer_tag.get_text().replace("\n", "")
    print(outer_message)
标签: Python, Autoseed, request

非特殊说明，本博所有文章均为博主原创。

上一篇 R酱的Userscript笔记（2）： 新手入门篇
下一篇 某站5.20开放注册活动结果分析

评论啦~


栏目分类

博主动态 ~

  • 7月初，OneDrive封了一批A1的账号，个人之前备份的仓库很多也受牵连，索性就直接不做了。 相关可见他人博客讨论： https://luotianyi.vc/4151.html2020年07月23日 18:31:21

  • 经过一些考虑，把原来Vultr上的Blog迁移到虚拟主机上。但不知道为什么原来的主题一直出现问题，所以重新找了个主题，来自 [echo](https://www.echo.so/)。（最近也没时间看typecho的文档，所以也没空自己写，更何况原来的主题就是从别人那里找个慢慢改的）2020年02月11日 21:30:22

标签云

PT Python v6研究院 nexusphp userscirpt VPS CentOS Tampermonkey Transmission tracker rclone Autoseed ipv6 MOOC jQuery announce torrent javascript pt-gen LNMP vue 代理 Shadowsocks echart Ingress meanTorrent google drive Ubuntu sqlite3 byrbt

和我联系

友情链接

Pt-GenYeZi半醉博客NPCHK年更的杯具
© 2024 R酱小窝.个人博客 Poweed by Typecho Theme by Echo