Create app.py

app.py

@@ -0,0 +1,100 @@
+import requests
+from bs4 import BeautifulSoup
+import fitz  # PyMuPDF
+import os
+import openai
+import re
+import gradio as gr
+
+def download_paper(paper_url):
+    """指定したURLから論文のPDFをダウンロードし、ローカルに一時ファイルとして保存する。"""
+    response = requests.get(paper_url)
+    temp_pdf_path = "temp_paper.pdf"
+    with open(temp_pdf_path, 'wb') as f:
+        f.write(response.content)
+    return temp_pdf_path
+
+def extract_text_from_pdf(pdf_path):
+    """PDFファイルからテキストを抽出する。"""
+    doc = fitz.open(pdf_path)
+    text = ""
+    for page in doc:
+        text += page.get_text()
+    return text
+
+def summarize_paper(paper_id):
+    """論文IDを基に論文の内容を日本語で要約する。"""
+    paper_url = f"https://arxiv.org/pdf/{paper_id}.pdf"
+    pdf_path = download_paper(paper_url)
+    text = extract_text_from_pdf(pdf_path)
+    summary = summarize_text_with_chat(text)
+    os.remove(pdf_path)  # 一時ファイルを削除
+    return summary
+
+def fetch_paper_links(url):
+    """指定したURLから特定の形式に完全にマッチするリンクを取得し、重複を排除する（順序保持）"""
+    response = requests.get(url)
+    soup = BeautifulSoup(response.text, 'html.parser')
+    # パターンの開始(^)と終了($)を指定して、完全一致を検出
+    pattern = re.compile(r'^/papers/\d+\.\d+$')
+    links = []
+    for a in soup.find_all('a', href=True):
+        href = a['href']
+        if pattern.match(href) and href not in links:
+            links.append(href)
+    return links
+
+def summarize_text_with_chat(text, max_length=10000):
+    """テキストをOpenAIのChat APIを使用して要約する。"""
+    openai.api_key = 'OPEN_AI_API_KEYS'
+
+    # テキストを指定の最大長に制限
+    trimmed_text = text[:max_length]
+
+    response = openai.chat.completions.create(
+        model="gpt-3.5-turbo",
+        messages=[
+            {"role": "system", "content": "次の文書を要約してください。必ず'## タイトル', '## 要約', '## 専門用語解説'を記載してください。"},
+            {"role": "user", "content": trimmed_text}
+        ],
+        temperature=0.7,
+        max_tokens=1000
+    )
+
+    summary_text = response.choices[0].message.content
+    total_token = response.usage.total_tokens
+    return summary_text, total_token
+
+def gradio_interface():
+    papers_url = 'https://huggingface.co/papers'  # デフォルトURL
+    paper_links = fetch_paper_links(papers_url)
+    paper_ids = set(link.split('/')[-1] for link in paper_links)
+
+    total_tokens_used = 0
+    summaries = []
+
+    for paper_id in paper_ids:
+        summary_info = f"Processing paper ID: {paper_id}\n"
+        try:
+            summary, tokens_used = summarize_paper(paper_id)
+            total_tokens_used += tokens_used
+            summary_info += f'論文ID: {paper_id} の要約:\n{summary}\n'
+        except Exception as e:
+            summary_info += f"Error processing paper ID {paper_id}: {e}\n"
+        
+        summaries.append(summary_info)
+
+    summaries_markdown = "\n---\n".join(summaries)  # 要約を水平線で区切る
+    return summaries_markdown + f"\n全ての要約で使用されたトータルトークン数: {total_tokens_used}"
+
+# Gradioインターフェースの設定
+iface = gr.Interface(
+    fn=gradio_interface,
+    inputs=[],  # 入力部分を削除
+    outputs=gr.Markdown(),
+    title="論文要約ツール",
+    description="[Daily Papers](https://huggingface.co/papers)に掲載された本日の論文を取得し、それらを要約してMarkdown形式で表示します。"
+)
+
+if __name__ == "__main__":
+    iface.launch()