21 June 2010

Unduh Lagi KOMPAS ePaper dengan Skrip BASH

Saya belum tahu hukum melakukan ini, tapi inilah cerita saya.

Sekitar pertengahan 2009 lalu saat KOMPAS, koran harian favorit saya, memutuskan ePapernya mengganti teknologi dari yang bisa dibaca menggunakan semua peramban web dengan Java Script menjadi hanya bisa dibaca menggunakan peramban web yang terpasang Microsoft Silverlight (artinya hanya sempurna dibaca oleh sistem operasi Microsoft Windows), hal itu juga berpengaruh pada skrip BASH favorit saya hasil kreasi Sugeng Doyle untuk mengunduh halaman-halaman ePaper KOMPAS, tidak dapat bekerja lagi.

Awal tahun 2010, entah dengan motif apa, KOMPAS berubah pikiran dengan kembali menyediakan kembali layanan alternatif membaca dengan peramban web dengan Java Script aktif sehingga dengan senangnya saya dapat kembali menggunakan skrip BASH favorit saya itu untuk kembali mengunduh KOMPAS ePaper. Namun, menjelang akhir Februari 2010 skrip tersebut tidak dapat bekerja lagi. Saya tidak paham benar alasan tidak bekerjanya skrip tersebut dan saya juga tidak pernah mencari tahu agar skrip tersebut dapat kembali bekerja paling tidak sampai pagi ini. Setelah menjelajah beberapa halaman di internet saya menjadi tahu bahwa ternyata halaman KOMPAS ePaper berupa gambar .jpg dapat dibuka atau diunduh langsung menggunakan peramban web ataupun pengelola unduhan. Contoh dapat anda lihat pada tangkapapan layar dengan tautan di bawah ini:

Tautan:
http://images.cdn.realviewdigital.com/rvimageserver/Kompas/Kompas/21-Jun-2010/page0000001.jpg
Dari itu saya simpulkan bahwa seharusnya semua halaman bisa diunduh kembali menggunakan skrip BASH kreasi Sugeng Doyle dengan memodifikasinya sedikit. Dan setelah saya jalankan, ternyata berhasil dan saya kembali senang karena dapat kembali mengunduh koran harian favorit saya dan membacanya saat ada waktu yang pas untuk membaca.

Berikut skrip BASH yang saya modifikasi dari KOMPAS ePaper Downloader kreasi Sugeng Doyle. Anda juga dapat mengunduh skrip tersebut di sini (kompas-today.sh 1108 bytes) dan melihat video contoh menggunakannya di sini (kompas-today.ogg 7,1 MB). Semoga tidak melanggar hukum dan semoga bermanfaat.

#!/bin/bash

# KOMPAS ePaper Downloader
# Created by Sugeng Doyle, Modified by Utian Ayuba

# Now, it's just download today's KOMPAS ePaper .jpg direct link

# Today's Date
TGL=`date +%d-%b-%Y`

# Make a directory based on today's date
mkdir -p $TGL

# Major URL
URL="http://images.cdn.realviewdigital.com/rvimageserver/Kompas/Kompas/"

# Download first page
echo "Downloading first page of KOMPAS ePaper date $TGL..."
wget -nvc -P $TGL $URL$TGL"/page0000001.jpg"

# Open first page using firefox
echo "Opening first page using Mozilla Firefox..."
firefox $TGL"/page0000001.jpg" &

# Input the numbers of page
echo -n "Please check the numbers of page on the first page and input here: "
read PAGE

# Download from second page
echo "Downloading KOMPAS ePaper date $TGL from page #2 until page #$PAGE..."
CHAP=2

until [ $CHAP -gt $PAGE ]; do
if [ ${#CHAP} == 1 ]; then
CH="00"$CHAP
else if [ ${#CHAP} == 2 ]; then
CH="0"$CHAP
else CH=$CHAP
fi
fi

wget -nvc -P $TGL $URL$TGL"/""page0000"$CH".jpg"
let CHAP+=1
done

echo "Download completed. The KOMPAS ePaper is save to $TGL directory."

exit;

6 comments:

Anonymous said...

berguna banget nih script, btw saran aja wget mending disetting verbose biar keliatan prosesnya, kadang suka lama nunggunya

Utian said...

terimakasih, pak/bu. untuk proses wget agar verbose dapat diubah baris:
"wget -nvc..." menjadi "wget -vc...". :)

Anonymous said...

trimakasih banyak buat scriptnya,mau nanya saya download kadang ada hal yang hilang, gimana biar full?.johannes

Utian said...

gambar tidak dapat diunduh bisa jadi karena sebetulnya gambar belum selesai diunduh karena ukuran gambar per halaman yang cukup besar. bisa juga karena di servernya memang tidak tersedia karena sepertinya tautan yang tertera di skrip adalah tautan cermin dari server utama kompas epaper. sementara ini juga kita tidak bisa unduh langsung dari server utama. alasan lain karena pada hari tersebut adalah hari libur nasional dan kompas tidak terbit.
contoh tautan gambar yang tidak tersedia di server (22 Juni 2010):
http://images.cdn.realviewdigital.com/rvimageserver/Kompas/Kompas/22-Jun-2010/page0000001.jpg

namun tersedia kembali pada 23 Juni 2010
http://images.cdn.realviewdigital.com/rvimageserver/Kompas/Kompas/23-Jun-2010/page0000001.jpg

Bayu said...

versi windows xp ada mas?

Kim's Blog said...

Gimana cara pakai skripnya y? Taro dimn? Sori sy ga ngerti. Tolong dibantu ya. Thanks